VIVO算法/大模型面试题及参考答案
逻辑回归的损失函数是什么?
逻辑回归的核心损失函数是对数损失(Log Loss),也常被称为交叉熵损失(Cross-Entropy Loss),其设计完全适配逻辑回归的二分类任务特性,是面试中的核心考点。
从原理来看,逻辑回归通过sigmoid函数将线性回归的输出映射到[0,1]区间,得到样本属于正类的概率预测值hθ(x)=1+e−θTx1,其中θ是模型参数,x是输入特征。对数损失的本质是基于极大似然估计推导而来,核心思想是让模型预测结果尽可能接近真实标签,最大化整个训练集的似然概率。
对于二分类问题,真实标签y∈{0,1},单个样本的对数损失表达式为:L(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))。当y=1时,第二项(1−y)log(1−hθ(x))消失,损失函数简化为−log(hθ(x)),此时hθ(x)越接近1,损失越小;当y=0时,第一项−ylog(hθ(x))消失,损失函数简化为−log(1−hθ(x)),hθ(x)越接近0,损失越小,完全符合分类任务的优化目标。
整个训练集的损失函数为所有单个样本损失的平均值,即J(θ)=m1∑i=1mL(hθ(xi),yi)=−m1[∑i=1myilog(hθ(xi))+(1−yi)log(1−hθ(xi))],其中m是训练样本数量。
面试加分点在于不仅要给出公式,还要说明损失函数的推导逻辑(极大似然估计),以及与sigmoid函数的适配性——对数损失能将sigmoid的非线性映射转化为凸函数,保证梯度下降能找到全局最优解。
记忆方法推荐场景关联记忆法”:将损失函数与二分类场景绑定,记住“
