AI三大主义 和 深度学习三大主义
在人工智能（AI）研究领域，"三大主义"通常指三种核心方法论或思想流派，它们代表了不同的技术路径和哲学观点。以下是主流的划分方式：
1. 符号主义（Symbolicism）
- 核心思想：智能源于对抽象符号的逻辑推理和规则操作（即“物理符号系统假说”）。
- 特点：
- 依赖显式规则和知识表示（如专家系统、逻辑编程）。
- 可解释性强，适合推理和规划任务。
- 局限性：
- 难以处理不确定性和感知任务（如图像、语音）。
- 依赖人工设计知识，难以自动化学习。
- 代表技术：Prolog语言、专家系统、知识图谱。
2. 连接主义（Connectionism）
- 核心思想：智能通过模拟人脑神经元网络的并行分布式计算实现。
- 特点：
- 以深度学习为代表，依赖数据驱动的端到端学习。
- 擅长感知任务（如视觉、自然语言处理）。
- 局限性：
- 需要大量数据，可解释性差。
- 缺乏因果推理和符号操作能力。
- 代表技术：神经网络、Transformer、卷积神经网络（CNN）。
3. 行为主义（Behaviorism）
- 核心思想：智能表现为与环境交互的适应性行为，强调“行动优先”（即“智能即行动”）。
- 特点：
- 通过试错学习优化策略（如强化学习）。
- 适合动态决策问题（如机器人控制、游戏AI）。
- 局限性：
- 训练成本高，样本效率低。
- 难以处理复杂抽象任务。
- 代表技术：Q-Learning、深度强化学习（如AlphaGo）。
其他可能的“主义”补充
- 统计主义（如传统机器学习）强调从数据中归纳统计规律，但常被归入连接主义。
- 具身智能（Embodied AI）强调智能体与物理环境的互动，可视为行为主义的延伸。
三大主义的关系与融合
- 对立与互补：符号主义擅长推理，连接主义擅长感知，行为主义擅长交互。
- 融合趋势：
- 神经符号系统（Neural-Symbolic AI）：结合符号推理与神经网络（如DeepMind的AlphaGeometry）。
- 强化学习+深度学习：如ChatGPT结合了连接主义（Transformer）与行为主义（RLHF）。
与“深度学习三大主义”的区别
- AI三大主义：宏观方法论流派（符号/连接/行为）。
- 深度学习三大主义（LeCun提出）：特指深度学习领域的核心假设（梯度下降/端到端/概率建模）。
深度学习的“三大主义”（Three Dogmas of Deep Learning）是Yann
LeCun在2019年提出的概念，用于概括当前深度学习研究中的核心假设或局限性。这三大主义反映了当前主流深度学习方法的依赖性和潜在约束，具体如下：
1. 梯度下降（Gradient Descent）
- 核心假设：通过反向传播（Backpropagation）和梯度下降优化模型参数是训练神经网络的有效方法。
- 局限性：
- 依赖可微的模型结构，难以处理离散或不可微的组件。
- 容易陷入局部最优或鞍点，尤其在高维空间中。
- 计算成本高，尤其对于大规模模型。
- 替代方向：探索非梯度优化方法（如进化算法、强化学习中的策略梯度等）。
2. 端到端学习（End-to-End Learning）
- 核心假设：从输入到输出的完整映射应由单一模型直接学习，无需手工设计中间模块或特征。
- 局限性：
- 需要大量标注数据，对数据效率低。
- 可解释性差，难以分解问题或注入先验知识。
- 对复杂任务（如推理、规划）的泛化能力有限。
- 替代方向：模块化设计（如神经符号系统）、分阶段学习或结合领域知识。
3. 基于概率的建模（Probabilistic Modeling）
- 核心假设：用概率框架（如最大似然估计）描述不确定性是建模世界动态的最佳方式。
- 局限性：
- 对复杂分布（如高维数据）的建模困难。
- 难以处理未知或不可预测的分布外（OOD）数据。
- 过度依赖概率假设（如独立性假设）。
- 替代方向：基于能量的模型（Energy-Based Models）、对比学习或因果推理。
背景与意义
LeCun提出这三大主义的目的是反思深度学习的现状，并呼吁突破这些默认假设。他认为，未来AI需要：
- 更高效的优化方法（超越梯度下降）。
- 更灵活的学习范式（超越端到端）。
- 更鲁棒的世界模型（超越概率框架）。
例如，他倡导的自监督学习和基于能量的模型（EBM）正是试图突破这些限制的尝试。
关联概念
- 第四主义（潜在争议）：有人提出“深度网络必须深”（层级主义）或“大数据依赖”作为隐含的第四主义，但未被广泛接受。
- 与符号主义的对比：传统AI依赖符号逻辑，而深度学习三大主义体现了连接主义的典型路径。
