深度学习与机器学习
深度学习与机器学习的定义
机器学习是人工智能的子领域，通过算法从数据中学习规律并做出预测或决策，无需显式编程。核心任务包括分类、回归、聚类等。
深度学习是机器学习的子集，基于多层神经网络（如卷积神经网络CNN、循环神经网络RNN）自动提取特征，尤其擅长处理非结构化数据（图像、语音、文本）。
核心区别
特征提取方式
- 传统机器学习依赖人工设计特征（如SIFT、HOG）。
- 深度学习通过神经网络自动学习多层次特征，例如CNN的底层识别边缘，高层识别物体部件。
数据需求与性能
- 机器学习在小规模数据上表现良好，特征工程对结果影响显著。
- 深度学习需要海量数据，数据量越大性能通常越优，但计算资源消耗更高。
模型复杂度
- 机器学习模型如决策树、SVM参数较少，易于解释。
- 深度学习模型参数量大（如GPT-3达1750亿），属于“黑箱”模型。
典型算法与应用场景
机器学习经典算法
- 监督学习：线性回归（预测）、随机森林（分类）。
- 无监督学习：K-means（聚类）、PCA（降维）。
- 应用：信用卡风控（逻辑回归）、推荐系统（协同过滤）。
深度学习主流模型
- CNN：图像识别（ResNet）、医学影像分析。
- RNN/LSTM：时序数据处理（语音识别、股票预测）。
- Transformer：自然语言处理（BERT、GPT系列）。
选择依据
优先深度学习的情况
- 数据量大且非结构化（如视频、文本）。
- 任务需要高精度且特征提取困难（如自动驾驶中的物体检测）。
优先传统机器学习的情况
- 数据规模小或结构化（表格数据）。
- 需模型可解释性（医疗诊断中的决策原因）。
数学基础对比
机器学习
- 核心数学：概率论（贝叶斯定理）、线性代数（矩阵分解）、优化理论（梯度下降）。
- 损失函数示例（逻辑回归）：
[ J(\theta) = -\frac{1}{m} \sum_{i=1}^m [y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x^{(i)}))] ]
深度学习
- 核心数学：张量运算、反向传播（链式法则）、正则化（Dropout）。
- 激活函数示例（ReLU）：
[ f(x) = \max(0, x) ]
发展趋势
- 机器学习：聚焦轻量化模型（如XGBoost）与AutoML（自动化特征工程）。
- 深度学习：向多模态（CLIP）、小样本学习（元学习）及节能模型（稀疏化）演进。