什么是 “超参数” ?
超参数(Hyperparameter)是机器学习模型在训练前人为设定的参数,用于控制模型的训练过程或结构,不能通过训练数据自动学习。超参数的选择直接影响模型的性能、训练速度和效果。
示例:学习率(Learning Rate)
在梯度下降算法中,学习率(通常表示为 αα)是一个典型的超参数,它决定了每次参数更新的步长。
-
如果学习率过大,可能导致参数在最优解附近震荡,甚至无法收敛;
-
如果学习率过小,训练速度会变慢,甚至陷入局部最优。
例如,在训练神经网络时,通常需要手动尝试不同的学习率(如 0.1、0.01、0.001),或通过网格搜索(Grid Search)等方法找到最佳值。
其他常见超参数:迭代次数(Epochs)、批量大小(Batch Size)、正则化系数(如 λλ)、神经网络的层数/神经元数量等。