损失函数，及其优化方法

什么是损失函数？

损失函数，也称为代价函数，是一个用来​​衡量机器学习模型预测结果与真实值之间差距​​的函数。

损失函数的优化方法有哪些，各自优缺点是什么，他们的应用范围是什么？

方法类别	代表算法	核心思想	优点	缺点	主要应用场景
​​一阶迭代法​​	​​梯度下降​​及其变种（SGD, Adam）	利用一阶导数（梯度）指引下降方向	简单、可扩展，适用于大规模问题	可能收敛慢、陷入局部最优	​​深度学习的主力军​​
​​二阶迭代法​​	牛顿法、L-BFGS	利用二阶导数（曲率）提供更精确的更新方向和步长	收敛速度极快	计算成本极高，对大规模问题不可行	传统小规模机器学习模型
​​无导数方法​​	贝叶斯优化、进化算法	通过采样、概率模型或种群进化来搜索最优解，不依赖梯度	不要求可导，擅长全局搜索	计算成本高，收敛慢	超参数调优、NAS、强化学习、不可导问题
​​解析法​​	正规方程	直接令梯度为零解方程	一步得到精确解	仅适用于极少数有解析解的简单模型	线性回归