唐宇迪2025最新机器学习课件——学习心得（1）

今天是10.21日，开始学习

这里推导了求似然函数，推导到最后让似然函数置零，得到最小二乘解，相当于构建了问题和问题的求解方向

下一步，需要用某个解法去更新他，不能求出来一个值就完事了，还要找到让目标函数最优的那个theta，即下图的梯度下降

批量下降和随机下降的区别就是运算量的区别，避免了m个样本数量过大带来计算量过大的问题，这么说，小样本是否是可以用枚举来满足目标函数最小的？

步长就是学习率

这里也侧面帮助理解梯度下降的本质其实就是一个搜索策略，每次将自变量往梯度的方向求解计算，然后直到目标函数不怎么变化

利用一个较小的值就可以约束目标函数的变化，就判断为收敛，比如设置一个阈值tolerance=1e-6

# 检查是否收敛if abs(prev_loss - current_loss) < tolerance:no_improvement_count += 1else:no_improvement_count = 0