《深度学习：基础与概念》第一章 学习笔记与思考
《深度学习：基础与概念》第一章 学习笔记与思考
作者：Grey
原文地址：
博客园：《深度学习：基础与概念》第一章 学习笔记与思考
CSDN：《深度学习：基础与概念》第一章 学习笔记与思考
开篇的感悟：关于“啃硬书”与新的学习伙伴
有些书的名字真的会让人误会，以为读起来会比较“轻松”，比如《算法导论》。印象中“导论”不会很复杂吧？结果这本书真的不是想象中那么简单。这本《深度学习：基础与概念》也是类似，书中涉及到很多数学公式和专业名词，有些可能了解一些，有些则完全懵逼。读这类书需要极大的耐心和恒心，很容易半途而废，甚至没有到半途，就废了。
原先，读这类书要通过各种渠道，例如问老师、用搜索引擎。但有时候，由于自己的前置知识不够扎实，可能也得不到一个真正能解惑的回答。现在，人工智能的发展带来了一种新的可能：AI可以作为自己的辅助学习伴侣，来随时解决阅读过程中的疑问。
我个人最常使用的是Google的 Google AI Studio，它基本能满足我日常的各类需求，无论是理解文档、辅助编程，还是翻译和规划。虽然现在很多“AI智能体”可以把一份完整的章节内容总结为思维导图，但我很少这么用。我坚持阅读原文，仅针对自己不熟悉的内容和疑问和AI进行沟通和交流。这样，AI助手对我来说才是一个有针对性的老师和助教。如果由大模型直接生成某个章节的概览，往往生成完就不想看了，会有一种自己已经理解了的错觉，这其实非常危险。
一、我的学习范式：与AI结伴，进行“手术刀”式的学习
在这次学习第一章的过程中，我最大的感受是，AI学习伴侣能够非常出色地针对我的具体疑惑，给出通俗易懂的例子。从“开披萨店”理解模型复杂度，到“公司追责大会”理解反向传播，这些比喻让原本枯燥的数学原理变得生动起来。
这验证了我一直坚持的观点：有针对性地提问，远比让AI生成一份大而全的总结要有效得多。 在不断的互动过程中，AI似乎也逐渐熟悉了我的知识背景和理解能力，给出的解释也越来越贴合我的程度。这是一种真正的、个性化的“教与学”的过程，而不是单向的信息灌输。
附上本次我与AI学习伙伴沟通第一章内容的完整对话记录，它完整地展现了这种“探究式”学习的全貌：第一章学习完整对话
二、核心概念重温：那些生动的比喻背后
- 分类与回归：监督学习的两大基石。一个是做“选择题”（判断是猫是狗），一个是做“填空题”（预测房价多少）。
- 神经元的工作：两步走。第一步是“汇总所有证据”（输入的线性组合），第二步是“做出最终裁决”（通过非线性的激活函数）。我们用“猫咪识别委员会的尼奥”这个比喻，清晰地拆解了这一过程。
- 模型训练闭环：最生动的莫过于“公司追责大会”的比喻了。
- 正向传播：是“项目执行与发布”，得出预测结果。
- 计算误差：是“糟糕的市场反馈”，发现预测与现实的差距。
- 反向传播：是“从上到下的追责大会”，利用链式法则（面包价格的连锁反应）将责任从CEO一直分配到底层员工。
- 参数更新：是“制定绩效改进计划”，根据责任大小调整每个人的权重。
- 深度学习的“深”与“痛”：
- 表示学习：“从食材到佳肴的蜕变”。每一层网络都像一个更专业的厨师，把原始输入（食材）加工成更高级、更有意义的“表示”（半成品），让下一层的工作更简单。
- 梯度消失：“追责大会”的信号在层层传递中衰减了。这让我们理解了为什么早期的深层网络难以训练。
- 残差连接：“给信息修一条高速公路”。它确保了无论是正向的数据还是反向的“责任信号”，都能在深层网络中无损传递。
- 惨痛的教训（The Bitter Lesson）：与其依赖人类工程师的“精巧设计”（架构创新），不如相信“暴力美学”——用海量的算力去消化海量的数据。我们用“聪明的工程师”和“野蛮的实干家”两家造车公司的比喻，理解了为什么通用的大模型最终能胜过为特定任务设计的专业模型。
三、感悟延伸：AI不仅是学习伙伴，更是创造力工具
学习这些理论，最终是为了实践。在AI辅助学习之前，AI辅助创造就已经让我倍感震撼。
记得在2023年GPT-4刚发布时，为了满足业务部门做PPT和驾驶舱展示的需求，我用它做了一个小工具：在地图上根据各省的数值来渲染不同深浅的颜色，并能导出图片。作为一个程序员，我当时刻意扮演了一个“非程序员”的角色，完全依赖与GPT-4的对话来完成需求，包括功能的增加和Bug的修复，自己没有手写一行代码。我被它强大的代码生成和理解能力所震撼。
如今，Claude、Gemini等模型的编程能力已经炉火纯青，完成这类简单需求，可能一份精心设计的提示词十分钟就能搞定。这个经历让我深刻体会到，AI不仅能当老师，更能成为我们手中强大的创造工具，将我们的想法快速变为现实。
附上当时的部分项目与对话记录：
- 项目GitHub地址（前端小伙伴后面也做了很多修改）：data-gen-map
- 与GPT-4的部分对话记录1：对话记录一
- 与GPT-4的部分对话记录2：对话记录二
四、时代之思：工具的变迁与淡淡的忧伤
有了Cursor这样的AI原生代码编辑器后，曾经钟情的Jetbrains IDEA、Eclipse，已经在电脑上很久都没有打开过了。技术的浪潮滚滚向前，总有一些熟悉的工具会被更高效的新工具所替代。这其中有拥抱新时代的兴奋，也夹杂着一丝对过往习惯的、淡淡的忧伤。或许，这就是进步的代价，也是我们作为学习者和创造者，必须不断适应的常态。