网站建设及托管合同如何做宣传自己公司网站
你的痛苦，我都心疼，想为你解决
—— 25.2.15
一、按学习范式分类
1. 监督学习（Supervised Learning）
-
核心思想：使用带有标签（已知输入-输出对）的数据训练模型。
-
常见任务：分类（如垃圾邮件识别）、回归（如房价预测）。
-
典型方法：
-
梯度下降法：通过反向传播调整模型参数，最小化损失函数。
-
批量训练（Batch Training）：每次迭代使用全部数据计算梯度。
-
小批量梯度下降（Mini-batch Gradient Descent）：每次使用一小部分数据（平衡速度和稳定性）。
-
随机梯度下降（SGD）：每次使用单个样本（收敛快但噪声大）。
-
2. 无监督学习（Unsupervised Learning）
-
核心思想：从无标签数据中学习数据的内在结构。
-
常见任务：聚类（如客户分群）、降维（如PCA）、生成（如GAN生成图像）。
-
典型方法：
-
K-Means聚类：通过迭代优化簇中心和样本分配。
-
自编码器（Autoencoder）：学习数据的低维表示。
-
生成对抗网络（GAN）：生成器和判别器对抗训练。
-
3. 半监督学习（Semi-supervised Learning）
-
核心思想：结合少量标注数据和大量未标注数据训练。
-
适用场景：标注成本高（如医学图像分析）。
-
典型方法：
-
自训练（Self-training）：用已训练模型预测未标注数据，扩展训练集。
-
一致性正则化（Consistency Regularization）：鼓励模型对扰动后的未标注数据预测一致（如FixMatch）。
-
4. 强化学习（Reinforcement Learning, RL）
-
核心思想：通过试错与奖励机制训练智能体（Agent）。
-
常见任务：游戏AI（如AlphaGo）、机器人控制。
-
典型方法：
-
Q-Learning：学习状态-动作价值函数。
-
策略梯度（Policy Gradient）：直接优化策略函数。
-
深度确定性策略梯度（DDPG）：结合深度学习和Actor-Critic框架。
-
5. 迁移学习（Transfer Learning）
-
核心思想：将预训练模型的知识迁移到新任务。
-
典型应用：
-
微调（Fine-tuning）：在预训练模型（如BERT、ResNet）基础上调整参数。
-
特征提取：冻结预训练层，仅训练新分类层。
-
6. 自监督学习（Self-supervised Learning）
-
核心思想：通过设计辅助任务（Pretext Task）自动生成标签。
-
典型方法：
-
对比学习（Contrastive Learning）：如SimCLR，通过对比样本增强视图。
-
掩码语言建模（Masked Language Modeling）：如BERT预测被遮蔽的词语。
-
二、按训练技术分类
1. 数据增强（Data Augmentation）
-
目的：增加数据多样性，防止过拟合。
-
方法：
-
图像：旋转、裁剪、加噪声。
-
文本：同义词替换、回译（Back Translation）。
-
音频：变速、加背景噪声。
-
2. 正则化（Regularization）
-
目的：限制模型复杂度，提高泛化能力。
-
方法：
-
L1/L2正则化：在损失函数中添加参数惩罚项。
-
Dropout：随机丢弃神经元（如全连接层设置0.5丢弃率）。
-
早停法（Early Stopping）：验证集性能不再提升时终止训练。
-
3. 优化算法（Optimization Algorithms）
-
常用优化器：
-
Adam：结合动量（Momentum）和自适应学习率（如NLP任务常用）。
-
RMSProp：自适应调整学习率（适合非平稳目标）。
-
AdaGrad：稀疏数据优化（如推荐系统）。
-
4. 模型集成（Ensemble Learning）
-
目的：结合多个模型提升鲁棒性。
-
方法：
-
Bagging：并行训练多个模型并投票（如随机森林）。
-
Boosting：串行训练，纠正前序模型的错误（如XGBoost）。
-
Stacking：用元模型组合基模型的输出。
-
5. 分布式训练（Distributed Training）
-
目的：加速大规模数据/模型的训练。
-
方法：
-
数据并行：多GPU同步训练（如PyTorch的
DataParallel）。 -
模型并行：将模型拆分到不同设备（如大型Transformer）。
-
三、按任务特性分类
1. 在线学习（Online Learning）
-
特点：模型逐步更新，适应数据流（如推荐系统实时反馈）。
2. 元学习（Meta-Learning）
-
特点：学习“如何学习”，快速适应新任务（如小样本学习）。
3. 课程学习（Curriculum Learning）
-
特点：从简单到复杂逐步训练（模仿人类学习过程）。
四、典型应用场景
| 方法 | 适用场景 |
|---|---|
| 监督学习 | 数据标注充足（如图像分类、文本情感分析） |
| 半监督学习 | 标注数据少，未标注数据多（如医学影像） |
| 强化学习 | 动态决策场景（如游戏、机器人控制） |
| 迁移学习 | 目标领域数据少，但有相关预训练模型（如NLP） |
| 自监督学习 | 无标注数据丰富（如预训练语言模型） |
五、选择训练方法的关键因素
-
数据量级：数据少时优先迁移学习或半监督学习。
-
标注成本：标注困难时考虑自监督或弱监督学习。
-
任务类型：分类/回归用监督学习，生成任务用GAN或VAE。
-
实时性要求：在线学习适合需要快速更新的场景。