【机器学习】核心分类及详细介绍

机器学习（Machine Learning, ML）是人工智能（AI）的核心分支，其核心目标是让计算机通过 “学习数据中的规律” 自动改进性能，无需人工编写具体规则，最终实现 “预测、分类、决策” 等智能化任务。简单来说，机器学习让计算机具备 “从经验中学习” 的能力，就像人类通过观察和实践积累知识一样。

机器学习按学习方式分类（核心维度）

分类	核心特点	关键场景示例
监督学习	用 “带标签” 的数据训练（输入→已知输出），目标是学习输入到输出的映射关系。	垃圾邮件识别（邮件→“垃圾 / 正常” 标签）、房价预测（面积 / 地段→价格）
无监督学习	用 “无标签” 的数据训练，目标是挖掘数据本身的内在结构（如聚类、规律）。	用户分群（无标签用户→按行为聚类）、异常检测（识别数据中的 “异类”）
半监督学习	结合 “少量带标签数据” 和 “大量无标签数据” 训练，平衡数据成本与模型效果。	文本分类（少量标注文章 + 大量未标注文章）、图像识别（少量标注图 + 大量原图）
强化学习	模型通过与环境 “交互试错” 学习：执行动作→获得奖励 / 惩罚→调整策略，目标是最大化长期奖励。	机器人导航、AlphaGo（围棋对战）、游戏 AI（如王者荣耀 AI）

---

一、监督学习

监督学习算法围绕 “从带标签数据中学习输入到输出的映射” 设计，核心分为分类算法（输出离散类别）和回归算法（输出连续数值）

1.1. 分类算法（解决 “类别预测” 问题）

适用于垃圾邮件识别、疾病诊断、图像分类等场景，目标是将数据划分到预设类别中。

算法名称	核心原理	优势	适用场景
逻辑回归	基于线性模型，通过 Sigmoid 函数将输出映射到 [0,1]，判断类别概率。	模型简单、可解释性强，易训练和部署。	二分类问题（如 “患病 / 健康”、“垃圾 / 正常邮件”）。
决策树	模拟人类决策逻辑，通过 “特征判断节点”（如 “年龄 > 30？”）逐步划分数据，生成树状结构。	可解释性极强（能可视化决策过程），无需特征归一化。	中小型数据集、需要明确决策依据的场景（如信贷审批）。
随机森林	集成多个独立决策树，通过 “投票” 确定最终类别（分类）或 “平均” 确定结果（回归），降低单棵树的过拟合风险。	鲁棒性强（抗噪声、抗过拟合），对异常值不敏感。	中大型数据集、高维度数据（如用户行为分类、图像特征分类）。
支持向量机（SVM）	寻找 “最优分隔超平面”，使两类数据到超平面的 “间隔最大”，可通过核函数处理非线性数据。	小样本下效果好，泛化能力强，适合高维数据（如文本分类）。	文本分类（如情感分析）、图像识别（早期应用广泛）、小样本分类任务。
K 近邻（KNN）	无 “训练过程”，预测时找待预测样本的 “K 个最近邻居”，按邻居的类别多数投票确定自身类别。	实现简单，无需训练，对数据分布无假设。	小型数据集、低维数据（如手写数字识别、简单的推荐初筛）。
朴素贝叶斯	基于 “贝叶斯定理” 和 “特征条件独立假设”，通过计算后验概率判断类别。	训练速度极快，内存占用小，适合高维稀疏数据。	文本分类（如垃圾邮件、新闻分类）、拼写纠错、推荐系统初筛。

1.2. 回归算法（解决 “数值预测” 问题）

适用于房价预测、销量预估、气温预测等场景，目标是输出连续的数值结果。

算法名称	核心原理	优势	适用场景
线性回归	假设输入特征与输出之间呈线性关系，通过最小化 “预测值与真实值的平方误差” 找到最优线性方程（y = wx + b）。	模型最简单、可解释性极强，能明确特征对输出的影响（如 “面积每增加 1㎡，房价平均涨 5000 元”）。	特征与输出线性相关的场景（如简单房价预测、销量与广告投入的关系预测）。
岭回归（Ridge）	在线性回归基础上加入 “L2 正则化”（惩罚系数 w 的平方和），防止模型过拟合。	解决多重共线性问题（如多个高度相关的特征），提升模型泛化能力。	特征间存在相关性的回归任务（如经济指标预测、多因素影响的销量预测）。
Lasso 回归	在线性回归基础上加入 “L1 正则化”（惩罚系数 w 的绝对值和），可自动实现特征选择（使部分 w=0）。	能筛选关键特征，简化模型，适合高维数据。	需要特征降维的回归任务（如基因数据预测、多变量环境指标预测）。
决策树回归	与分类决策树结构一致，但叶节点输出为 “该节点数据的均值”（而非类别），通过划分特征最小化误差。	可处理非线性关系，无需特征归一化，可解释性强。	特征与输出非线性相关的场景（如复杂房价预测、用户消费金额预测）。
随机森林回归	集成多个决策树回归器，最终结果为所有树预测值的 “平均值”，降低单棵树的过拟合风险。	鲁棒性强，对异常值不敏感，适合复杂非线性数据。	中大型数据集、复杂回归任务（如股票价格预测、商品销量精准预估）。

---

二、无监督学习

无监督学习算法核心是从无标签数据中挖掘内在结构（如聚类、关联、降维），无需人工定义输出目标，主要分为聚类算法、降维算法和关联规则学习三大类

2.1. 聚类算法（核心：按 “相似性” 自动分组）

目标是将数据划分为多个 “簇”（Cluster），同一簇内数据相似度高，不同簇间相似度低，是无监督学习最典型的应用。

算法名称	核心原理	优势	适用场景
K 均值聚类（K-Means）	1. 预先指定簇数 K；2. 随机初始化 K 个 “簇中心”；3. 迭代将样本分配到最近的簇中心，更新簇中心为该簇样本均值；4. 直至簇中心稳定。	实现简单、计算效率高，适合大规模数据。	需明确簇数的场景：用户分群（如电商高 / 中 / 低价值用户）、图像颜色 quantization（压缩色彩）、文档主题分组。
层次聚类（Hierarchical Clustering）	两种思路： - 凝聚式：从单个样本开始，逐步合并相似的簇； - 分裂式：从所有样本为一个簇开始，逐步拆分。最终形成 “树状图（Dendrogram）”，可自由选择簇数。	无需预先指定 K，结果直观（树状图可解释），适合小样本分析。	无需确定簇数的场景：生物进化树构建、客户分层分析、小数据集的类别探索（如科研样本分组）。
DBSCAN	基于 “密度” 划分簇：定义 “核心样本”（周围 ε 距离内有≥MinPts 个样本），通过核心样本连接形成簇，孤立样本（非核心且无核心邻居）视为异常值。	无需指定 K，能自动识别任意形状的簇（如环形、非凸簇），可同时检测异常值。	簇形状不规则、含异常值的场景：地理位置聚类（如城市商圈划分）、异常行为检测（如设备故障数据）、传感器数据聚类。
高斯混合模型（GMM）	假设数据由多个 “高斯分布”（正态分布）混合生成，通过概率模型计算每个样本属于不同高斯分布的概率，按最大概率分配簇。	输出 “概率” 而非硬分配（如样本 A 有 70% 概率属于簇 1，30% 属于簇 2），对数据分布假设更灵活。	需概率化聚类结果的场景：用户行为概率分群、图像分割、金融数据分布分析。

2.2. 降维算法（核心：简化数据，保留关键信息）

目标是在减少特征维度（如从 100 维降至 2 维）的同时，尽可能保留数据的核心结构（如距离、相关性），解决 “维度灾难”（高维数据计算量大、冗余多）。

算法名称	核心原理	优势	适用场景
主成分分析（PCA）	找到数据中 “方差最大的方向”（主成分），将数据投影到这些主成分上，用少数主成分替代原高维特征（方差越大，包含信息越多）。	线性降维的 “基准算法”，计算高效，可解释性较强（主成分可对应物理意义）。	高维数据可视化（如将 100 维图像特征降为 2D 展示）、数据预处理（如降维后再输入分类模型）、去除数据冗余（如传感器多维度数据压缩）。
t - 分布邻域嵌入（t-SNE）	基于 “概率分布” 降维：先在高维空间计算样本间的相似概率，再在低维空间优化分布，使低维概率尽可能匹配高维概率，重点保留 “局部结构”（近邻关系）。	降维后的数据聚类效果更直观，尤其适合可视化高维非线性数据。	高维数据可视化（如 MNIST 手写数字、人脸图像特征降维展示）、聚类结果验证（降维后观察簇是否清晰分离）。
自编码器（Autoencoder）	一种神经网络模型：输入高维数据→通过 “编码器” 压缩为低维向量（ latent code ）→通过 “解码器” 重构回原数据，训练目标是最小化重构误差，低维向量即为降维结果。	可处理非线性数据，降维能力灵活（通过调整网络结构适配复杂数据）。	复杂高维数据降维（如文本 Embedding 压缩、图像特征提取、推荐系统用户 / 物品向量压缩）。

2.3. 关联规则学习（核心：挖掘数据间的 “关联关系”）

目标是发现数据中 “频繁出现的组合”（如 “买面包的用户 80% 会买牛奶”），核心应用于零售、推荐等场景。

算法名称	核心原理	优势	适用场景
Apriori 算法	1. 找出 “频繁项集”（出现次数≥最小支持度的物品组合，如 {面包，牛奶}）；2. 从频繁项集中提取 “关联规则”（满足最小置信度，如 {面包}→{牛奶}，置信度 = 买面包且买牛奶的次数 / 买面包的次数）。	原理直观，易理解，是关联规则的基础算法。	零售购物篮分析（如超市商品关联推荐）、网页点击路径分析（如用户看 A 页面后常看 B 页面）、医疗症状关联挖掘（如症状 A+B 常伴随疾病 C）。
FP-Growth 算法	改进 Apriori 的效率问题：通过构建 “FP 树”（频繁模式树），将所有频繁项集压缩到树结构中，无需多次扫描数据即可挖掘频繁项集，避免生成大量候选集。	计算效率远高于 Apriori，适合大规模数据。	大规模零售数据、高频用户行为数据的关联规则挖掘（如电商平台亿级用户的购物篮分析）。

---

三、半监督学习

半监督学习算法的核心是结合少量带标签数据和大量无标签数据提升模型性能，核心思路可分为 “利用无标签数据辅助标注” 和 “通过一致性假设优化模型” 两类。

3.1 生成式模型（核心：建模数据整体分布）

假设所有数据（标签 + 无标签）都来自同一概率分布，通过无标签数据优化分布模型，再基于模型推断无标签数据的标签，典型代表为高斯混合模型（GMM） 和隐马尔可夫模型（HMM）。

算法名称	核心原理	优势	适用场景
半监督高斯混合模型（Semi-supervised GMM）	1. 基于少量带标签数据初始化多个高斯分布（对应不同类别）；2. 用大量无标签数据迭代优化分布参数（如均值、方差），使模型更贴合整体数据分布；3. 对无标签数据，按其属于各分布的概率分配标签。	能利用数据分布特性提升标签推断精度，对符合高斯分布的数据效果好。	数据近似正态分布的场景：用户行为分群（少量标注用户 + 大量未标注用户）、生物样本分类（如基因数据聚类）。
半监督隐马尔可夫模型（Semi-supervised HMM）	1. HMM 用于序列数据（如文本、语音），包含 “状态（如词性）” 和 “观测（如单词）”；2. 用少量带标签序列初始化模型参数（状态转移概率、观测概率）；3. 用大量无标签序列通过 EM 算法优化参数，提升序列标注精度。	适配序列数据，能挖掘时序依赖关系，优化标签预测的连贯性。	序列数据标注：半监督词性标注（少量标注句子 + 大量未标注文本）、语音识别（少量标注语音 + 大量原始语音）。

3.2. 自训练与协同训练（核心：“伪标签” 迭代优化）

通过模型自身预测无标签数据的 “伪标签”（高置信度预测结果），将其转化为 “带标签数据” 补充训练集，迭代提升模型性能，分为单模型自训练和多模型协同训练。

算法名称	核心原理	优势	适用场景
自训练（Self-Training）	1. 用少量带标签数据训练初始模型；2. 用模型预测无标签数据，筛选 “置信度≥阈值” 的样本（如预测概率 > 0.9），将其与伪标签加入训练集；3. 用新训练集重新训练模型，重复迭代至收敛。	实现简单，无需复杂模型结构，可适配任意监督学习基模型（如 SVM、决策树）。	标签稀缺但数据易获取的场景：文本分类（少量标注文章 + 大量新闻语料）、图像识别（少量标注图 + 大量风景 / 动物原图）。
协同训练（Co-Training）	1. 假设数据有两个独立的 “视图”（如文本的 “标题” 和 “正文”、图像的 “颜色特征” 和 “形状特征”）；2. 分别用两个视图训练两个基模型（Model A 和 Model B）；3. Model A 用高置信度伪标签标注无标签数据，反馈给 Model B 的训练集；反之 Model B 也反馈给 Model A；4. 迭代优化两个模型，最终融合结果。	利用数据多视图的独立性，降低伪标签误差，比自训练更鲁棒。	数据可拆分多独立视图的场景：文本分类（标题 + 正文双视图）、视频分析（帧图像 + 音频双视图）、推荐系统（用户行为 + 物品属性双视图）。

3.3. 基于图的半监督学习（核心：挖掘数据 “关联结构”）

将所有数据（标签 + 无标签）构建为图（样本为节点，样本间相似度为边权重），假设 “相邻节点标签相似”（平滑假设），通过标签在图上的 “传播”，为无标签节点分配标签。

算法名称	核心原理	优势	适用场景
标签传播算法（Label Propagation Algorithm, LPA）	1. 构建图：节点 = 样本，边权重 = 样本相似度（如余弦相似度、欧氏距离倒数）；2. 初始时，带标签节点保留真实标签，无标签节点标签为 “未定义”；3. 迭代更新：每个无标签节点的标签 = 其相邻节点中 “出现频率最高” 的标签（权重越高的邻居影响越大）；4. 迭代至标签不再变化，输出无标签节点的最终标签。	完全依赖数据结构，无需复杂计算，可解释性强（标签传播路径清晰）。	样本间关联明确的场景：社交网络用户分群（用户为节点，好友关系为边）、文档聚类（文档为节点，内容相似度为边）、小样本图像分类。
标签松弛算法（Label Spreading Algorithm, LSA）	对 LPA 的改进：不直接分配 “硬标签”，而是计算每个无标签节点属于各类别的 “概率”（软标签）；迭代时，节点的概率 = 邻居节点概率的加权平均（权重为边权重）；最终按最大概率确定标签，降低噪声干扰。	比 LPA 更鲁棒（抗噪声、避免局部最优），结果更平滑。	数据含少量噪声的场景：传感器数据分类（如温度 / 湿度传感器故障检测，少量标注正常 / 故障数据 + 大量实时数据）、带有噪声的文本语料分类。

3.4. 半监督支持向量机（核心：优化 “分类边界”）

在传统 SVM “最大化分类间隔” 的基础上，利用无标签数据调整分类边界，使边界更贴合数据分布（避开无标签数据密集区域）。

算法名称	核心原理	优势	适用场景
半监督 SVM（Semi-supervised SVM, S3VM）	1. 传统 SVM 用带标签数据找最优超平面；2. S3VM 额外引入 “无标签数据约束”：假设无标签数据大概率位于 “分类边界两侧的安全区域”，优化目标变为 “最大化间隔 + 最小化无标签数据到超平面的误分类风险”；3. 通过拉格朗日乘数法求解带约束的优化问题。	继承 SVM 的高泛化能力，能利用无标签数据优化边界，适合高维数据。	高维小样本场景：文本分类（如法律文档分类，少量标注 + 大量法规文本）、图像特征分类（如卫星图像地物识别）。

---

四、强化学习

强化学习算法围绕 “智能体（Agent）通过与环境交互试错、最大化长期奖励” 设计，核心按价值函数（Value-Based）、策略函数（Policy-Based）、 Actor-Critic 框架 及 **免模型 / 有模型 ** 四大维度划分

4.1. 按核心学习对象分类（最常用维度）

4.1.1. 价值函数类（Value-Based）

核心是学习 “状态（或状态 - 动作对）的价值”，即该状态 / 动作能带来的长期奖励期望，通过价值指导动作选择（如选价值最高的动作）。

算法名称	核心原理	优势	适用场景
Q-Learning	学习 “状态 - 动作对（s,a）” 的价值（Q 值），更新规则为：Q (s,a) = Q (s,a) + α[r + γ・maxₐ’Q (s’,a’) - Q (s,a)]（α= 学习率，γ= 折扣因子，r = 即时奖励，s’= 下一状态）。采用 “离线学习”（目标 Q 值与当前策略无关），保证收敛性。	实现简单，无需环境模型，适合离散动作空间，理论收敛性有保障。	离散动作场景：迷宫导航、简单游戏（如 Flappy Bird）、机器人基础控制（如开关电机）。
SARSA	与 Q-Learning 类似，但更新规则为 “在线学习”：Q (s,a) = Q (s,a) + α[r + γ・Q (s’,a’) - Q (s,a)]，其中 a’是当前策略在 s’下实际选择的动作（而非 maxₐ’Q），更注重 “策略安全性”（避免冒险动作）。	学习过程更贴合实际执行的策略，能减少高风险动作，稳定性更强。	需避免试错风险的场景：机器人避障（避免碰撞）、自动驾驶低速场景（减少急刹 / 变道风险）。
Deep Q-Network（DQN）	用深度神经网络替代传统 Q-Learning 的 “Q 表”（解决高维状态空间问题），核心改进： - 经验回放（Replay Buffer）：随机采样历史数据，打破数据相关性； - 目标网络（Target Network）：固定目标 Q 值更新频率，避免训练震荡。	能处理高维状态（如图像），拓展 Q-Learning 的适用范围，是深度强化学习的基础。	高维状态 + 离散动作场景：Atari 游戏（如打砖块、太空侵略者）、图像识别类控制（如基于摄像头的机器人导航）。
DQN 改进算法（Double DQN、Dueling DQN）	- Double DQN：拆分 “动作选择” 和 “价值评估”（用当前网络选动作，目标网络评价值），解决 DQN 高估 Q 值的问题； - Dueling DQN：将 Q 值拆分为 “状态价值（V (s)）” 和 “动作优势（A (s,a)）”，更精准评估状态本身价值，提升泛化能力。	比基础 DQN 更稳定、评估更精准，减少训练偏差。	复杂 Atari 游戏、需要精准价值评估的场景（如多目标机器人控制）。

4.1.2. 策略函数类（Policy-Based）

直接学习 “策略函数 π(a|s)”（给定状态 s 时选择动作 a 的概率分布），无需通过价值函数间接指导，更适合连续动作空间（如控制机器人关节角度、汽车油门开度）。

算法名称	核心原理	优势	适用场景
策略梯度（Policy Gradient, PG）	核心是 “沿着奖励期望提升的方向更新策略参数”：计算策略的 “目标函数”（累积奖励期望），通过梯度上升最大化目标函数，更新公式为：θ ← θ + α・∇θJ (θ)（J (θ) 为目标函数，∇θ 为梯度）。	天然支持连续动作空间，策略输出为概率分布，能实现 “随机探索”（避免陷入局部最优）。	连续动作场景：机器人关节控制（如机械臂抓取力度）、自动驾驶油门 / 方向盘控制、无人机飞行姿态调整。
优势演员 - 评论员（Advantage Actor-Critic, A2C）	属于Actor-Critic 框架（结合 Policy 和 Value）： Actor（演员）：学习策略 π(a|s)，负责选动作； Critic（评论员）：学习价值函数 V (s)，计算 “优势函数 A (s,a) = r + γV (s’) - V (s)”（衡量动作 a 比平均水平好多少），用 A (s,a) 指导 Actor 更新，减少 PG 的方差。	比纯 PG 方差小、训练更稳定，比纯 Value-Based 算法更适合连续动作。	中复杂度连续动作场景：机器人运动控制、简单机械臂操作、竞速游戏 AI（如赛车油门 / 转向）。
异步优势演员 - 评论员（Asynchronous A2C, A3C）	对 A2C 的改进：用多个并行智能体同时与环境交互，各自收集数据并独立计算梯度，再异步更新到全局模型，无需经验回放，提升训练效率和探索多样性。	训练速度快，探索更充分，适合多线程计算环境。	复杂连续动作场景：3D 游戏控制（如 Unity 环境中的角色移动）、多机器人协同简单任务。

4.1.3. 深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）

专为高维连续动作空间设计的 Actor-Critic 算法，核心改进：

• 确定性策略：Actor 输出 “确定的最优动作”（而非概率分布），再加入少量噪声用于探索；
• 目标网络与经验回放：继承 DQN 的思路，用目标 Actor/Critic 网络和经验回放，保证训练稳定。

核心优势	适用场景
1. 处理高维连续动作（如 20 维机器人关节控制）； 2. 训练稳定，无需复杂概率计算。	高复杂度连续控制场景：机械臂精密抓取、人形机器人步态控制、自动驾驶多参数调节（油门 / 刹车 / 转向协同）。

4.2. 按是否依赖环境模型分类

4.2.1. 免模型强化学习（Model-Free RL）

无需预先知道环境的 “状态转移概率” 和 “奖励函数”，智能体直接通过与环境交互试错学习，是目前应用最广的类型（上述 Q-Learning、DQN、A2C、DDPG 均属此类）。

• 特点：灵活性高，无需环境先验知识，但样本效率低（需大量交互数据）。
• 适用场景：环境模型难以构建的场景（如真实物理世界、复杂游戏）。

4.2.2. 有模型强化学习（Model-Based RL）

先通过数据学习 “环境模型”（预测 s→s’的转移概率和奖励 r），再基于模型模拟交互、规划最优动作（如 MCTS 蒙特卡洛树搜索）。

• 代表算法：蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS），常与深度学习结合（如 AlphaGo 的核心算法）。
• 特点：样本效率高（可在模型内模拟训练），但模型精度依赖数据，误差可能累积。
• 适用场景：环境模型可精准构建的场景：围棋 / 象棋等棋盘游戏（AlphaGo）、确定性物理仿真环境（如机器人仿真训练）。

4.3. 其他重要算法

算法名称	核心特点	适用场景
软 actor - 评论员（Soft Actor-Critic, SAC）	基于 DDPG 改进，核心是 “最大化熵正则化的奖励期望”（鼓励探索多样性），训练更稳定、样本效率更高，是当前连续控制的主流算法之一。	高难度连续控制场景：四足机器人动态行走、无人机复杂特技动作、工业机械臂高精度装配。
近端策略优化（Proximal Policy Optimization, PPO）	简化的 Policy-Based 算法，核心是 “限制策略更新的幅度”（通过裁剪目标函数，使新策略与旧策略差异不超过阈值），训练稳定、实现简单，是目前最常用的强化学习算法之一。	通用性极强，适合各类场景：游戏 AI（如《英雄联盟》AI）、机器人控制、推荐系统（用户点击奖励优化）。

---

五、神经网络

• 卷积神经网络（CNN）：专为网格数据（如图像、视频帧）设计，通过 “卷积层” 提取局部特征（如图像的空间关联性），广泛用于图像分类、目标检测、人脸识别。
• 循环神经网络（RNN/LSTM/GRU）：专为序列数据（如文本、语音、时间序列）设计，通过 “循环结构” 捕捉数据的时序依赖（如文本的上下文关系、语音的前后音调），用于机器翻译、语音识别、股价预测。
• Transformer：基于 “自注意力机制”，能并行处理序列数据（解决 RNN 的效率问题），可捕捉长距离依赖关系，是当前自然语言处理（NLP，如 ChatGPT）、多模态任务（如图文生成）的核心模型。
• 生成对抗网络（GAN）：由 “生成器” 和 “判别器” 两个网络对抗训练，生成器负责生成逼真数据（如假图像、假文本），判别器负责区分真假，用于 AI 绘画（如 MidJourney）、图像修复、数据增强。

---

如果这篇文章对你有所帮助，渴望获得你的一个点赞！