人工智能通识速览（Part4. 评估指标）

四、评估指标

1.回归模型

均方误差（MSE）

• 
• 优点：数学性质良好，计算简单，对误差的惩罚力度较大，能很好地反映模型预测值与真实值之间的平均差异程度，便于比较不同模型的性能。
• 缺点：由于对误差进行了平方运算，使得 MSE 的量纲与数据的原始量纲不同，不便于直观理解误差的实际大小。而且，它对异常值较为敏感，一个较大的异常值可能会使 MSE 大幅增大，从而影响对模型整体性能的评估。

平均绝对误差（MAE）

• 
• 优点：量纲与数据的原始量纲相同，易于理解和解释，能直观地展示模型预测结果的平均误差大小。对异常值的敏感度相对较低，能更稳健地反映模型的一般性能。
• 缺点：在数学处理上相对 MSE 不够方便，例如在求导等运算时不如 MSE 简洁。而且，由于对所有误差同等对待，可能无法像 MSE 那样突出较大误差的影响，对于一些需要重点关注较大误差的场景，可能不太适用。

决定系数（R^2）

• 
• 优点：能够直观地反映模型解释数据变异的能力，是一个相对值，不受数据量纲和取值范围的影响，便于在不同数据集和模型之间进行比较。可以帮助判断模型是否过拟合，如果\(R^2\)很高但模型在新数据上表现不佳，可能存在过拟合问题。
• 缺点：当增加自变量时，即使这些自变量对因变量没有实际的预测能力，\(R^2\)也可能会增大，导致对模型性能的高估。因此，在自变量个数不同的模型之间比较时，\(R^2\)可能会产生误导。此外，\(R^2\)只能反映模型对数据的拟合程度，不能完全说明模型的预测能力和泛化能力。

均方根误差（RMSE）

• 
• 优点：量纲与原始数据一致，便于理解和解释模型预测误差的实际大小，在比较不同模型对同一数据集的预测效果时，RMSE 能更直观地反映出模型的优劣。与 MSE 相比，它对较大误差的惩罚仍然存在，但相对 MSE 来说，对异常值的敏感度有所降低，不过仍能在一定程度上体现模型对数据整体的拟合精度。
• 缺点：计算过程中涉及平方和开方运算，相对 MAE 等指标计算复杂度略高。虽然对异常值敏感度低于 MSE，但仍然会受到较大误差的影响，如果数据集中存在少量极端异常值，可能会使 RMSE 的值明显增大，从而影响对模型性能的准确评估。

平均绝对百分比误差（MAPE）

• 
• 优点：是一个相对指标，不受数据量纲的影响，能直观地展示模型预测结果在相对意义上的准确性，对于不同规模和量级的数据集，MAPE 可以提供一个统一的衡量标准，方便比较不同模型的性能。在实际应用中，特别是在一些对预测精度有明确百分比要求的场景，如经济预测、销售预测等领域，MAPE 能直接反映模型是否满足业务需求。
• 

调整后的决定系数（Adjusted \(R^2\)）

• 
• 优点：能够更准确地评估模型的拟合优度，尤其是在比较不同自变量个数的回归模型时，Adjusted (R^2^)可以避免(R^2^)因自变量增加而虚增的问题，从而更真实地反映模型的实际解释能力。它可以帮助选择最合适的自变量组合，避免过度拟合数据，使模型具有更好的泛化能力。
• 缺点：Adjusted \(R^2\)仍然依赖于\(R^2\)，如果数据本身存在问题或模型设定不合理，Adjusted \(R^2\)也可能会给出错误的指示。而且，它只是一个相对指标，只能说明模型在当前数据和自变量选择下的相对优劣，并不能完全确定模型的绝对性能和预测能力。此外，在样本量较小或自变量个数接近样本量时，Adjusted \(R^2\)可能会出现不稳定甚至不合理的值。

2.分类模型

准确率（Accuracy）

• 
• 优点：计算简单直观，能快速了解模型在整体上的分类性能，是最常用的评估指标之一，容易理解和解释，对于平衡数据集，准确率能较好地反映模型的优劣。
• 缺点：当数据集不平衡时，即正负样本比例差异较大，准确率可能会产生误导。例如，在一个正负样本比例为 9:1 的数据集上，即使模型将所有样本都预测为多数类（正例），也能获得 90% 的准确率，但实际上模型对少数类（反例）的预测能力很差。

精确率（Precision）

• 
• 优点：对于那些需要确保预测为正例的结果尽可能准确的场景非常重要，比如在垃圾邮件过滤中，希望将被标记为垃圾邮件的邮件确实是垃圾邮件，减少误判为垃圾邮件的正常邮件数量。
• 缺点：单独使用精确率可能会忽略对正例的全面覆盖。例如，一个模型只预测了少量样本为正例且这些样本都预测正确，精确率会很高，但可能遗漏了很多实际的正例，即召回率可能很低。

召回率（Recall）

• 
• 优点：在一些需要尽可能找出所有正例的场景中至关重要，如疾病检测，希望尽可能检测出所有患病的个体，避免漏诊。
• 缺点：与精确率类似，单独使用召回率可能会导致模型为了提高召回率而过度预测正例，从而降低精确率。例如，将大量负例预测为正例，虽然召回率可能很高，但精确率会很低，模型的实际效果可能并不理想。

F1 值

• 原理：F1 值是精确率和召回率的调和平均数，公式为\(F1 = 2\times\frac{Precision\times Recall}{Precision + Recall}\)。它综合了精确率和召回率的信息，能够更全面地评估模型在正例分类上的性能。
• 优点：当精确率和召回率都较高时，F1 值才会高，因此能较好地平衡精确率和召回率，避免了单独使用精确率或召回率可能带来的片面性，更全面地反映了模型的分类效果。
• 缺点：对于多分类问题，F1 值的计算和解释相对复杂一些。而且，如果数据分布发生变化，精确率和召回率的重要性可能会改变，此时 F1 值可能不能准确反映模型的实际价值。

受试者工作特征曲线（ROC 曲线）与曲线下面积（AUC）

• 
• 
• 优点：ROC 曲线和 AUC 对数据集中正负样本的分布不敏感，适用于不平衡数据集。它们能够提供关于模型分类性能的整体信息，而不仅仅是在某个特定阈值下的性能，有助于选择最佳的分类阈值。
• 缺点：ROC 曲线和 AUC 不能直接给出具体的分类准确率、精确率等指标，对于一些需要明确具体数值来评估模型性能的场景，可能不够直观。而且，AUC 只是一个总体的评估指标，无法详细了解模型在不同类别或不同数据子集上的表现。

混淆矩阵（Confusion Matrix）

• 原理：混淆矩阵是一个用于展示分类模型预测结果的矩阵，它以表格形式直观地呈现了真实类别与预测类别之间的关系。对于二分类问题，混淆矩阵是一个\(2\times2\)的矩阵，行表示真实类别，列表示预测类别，四个元素分别为TP、TN、FP、FN。对于多分类问题，矩阵的行数和列数等于类别数，矩阵中的元素\(C_{ij}\)表示真实类别为i但被预测为类别j的样本数量。通过混淆矩阵，可以清晰地看到模型在各个类别上的分类情况，以及不同类别之间的混淆程度。
• 优点：混淆矩阵提供了详细的分类结果信息，能够帮助用户全面了解模型的性能，不仅可以计算出准确率、精确率、召回率等常见指标，还能直观地发现模型容易混淆的类别，有助于进一步分析模型的错误原因，从而有针对性地改进模型。
• 缺点：对于大型的多分类问题，混淆矩阵可能会变得非常庞大，难以直观地理解和分析。而且，它本身只是一个数据展示工具，需要结合其他指标来综合评估模型性能，不能直接给出一个简洁的数值来概括模型的好坏。

PR曲线

PR 曲线是 Precision - Recall 曲线的简称，它是用于评估分类模型性能的一种可视化工具。以下是关于 PR 曲线的详细介绍：

定义与原理

• PR 曲线以精确率（Precision）为纵坐标，召回率（Recall）为横坐标。在不同的分类阈值下，模型会产生不同的精确率和召回率，将这些点连接起来就形成了 PR 曲线。精确率是指预测为正例的样本中真正正例的比例，召回率是指真实正例中被预测为正例的比例。PR 曲线展示了模型在精确率和召回率之间的权衡关系，曲线上的每个点代表了模型在某个特定阈值下的性能表现。

绘制方法

• 首先，使用分类模型对测试数据集进行预测，得到每个样本属于正类的概率得分。

• 然后，选择一系列不同的阈值，将概率得分转换为类别预测。例如，当阈值为 0.5 时，概率得分大于 0.5 的样本被预测为正类，小于等于 0.5 的样本被预测为负类。

• 对于每个阈值，计算相应的精确率和召回率。

• 最后，将这些精确率和召回率的值绘制成曲线，横坐标为召回率，纵坐标为精确率。

评估模型性能

• 曲线形状：PR 曲线越靠近右上角，说明模型的性能越好。理想情况下，完美的分类模型的 PR 曲线应该是从点 (0, 1) 开始，即召回率为 0 时精确率为 1，然后一直保持精确率为 1 直到召回率为 1，形成一个直角折线。实际的模型曲线通常是一条从左到右下降的曲线，曲线下的面积越大，代表模型性能越好。

• AUC - PR 值：与 ROC 曲线下面积（AUC - ROC）类似，PR 曲线下的面积（AUC - PR）也可以作为一个数值指标来衡量模型性能。AUC - PR 的取值范围在 0 到 1 之间，值越高表示模型在精确率和召回率的权衡上表现越优。例如，AUC - PR 为 1 表示模型在所有阈值下都能完美地平衡精确率和召回率，而 AUC - PR 为 0.5 则表示模型的性能与随机猜测相当。

优缺点

• 优点：在正负样本不均衡的情况下，尤其是正样本比例较低时，PR 曲线能更准确地评估模型对正样本的分类性能。因为精确率和召回率在这种情况下更能反映模型对于正例的预测能力，而 PR 曲线直接展示了这两个指标的关系，有助于更全面地了解模型在正例识别上的表现。

• 缺点：PR 曲线不能直接反映模型在不同类别上的具体表现，对于多分类问题，需要为每个类别分别绘制 PR 曲线，增加了分析的复杂性。此外，PR 曲线受数据分布影响较大，不同的数据分布可能导致 PR 曲线的形状和 AUC - PR 值有较大差异，从而影响对模型性能的评估和比较。

MAP

在信息检索和机器学习领域，MAP 通常指平均准确率均值（Mean Average Precision），是一种用于评估排序模型性能的指标，以下是其原理及优缺点：

原理

• MAP 是在多个查询或样本上计算平均准确率（Average Precision，AP）的均值。对于每个查询，AP 是通过计算在不同召回率水平下的准确率的平均值得到的。具体来说，首先根据模型对相关文档或正例的预测得分进行排序，然后从排序结果的顶部开始，依次计算每个位置的准确率，并根据该位置是否为真正例来决定是否将该准确率纳入平均计算。

• 例如，对于一个查询，模型返回了一系列文档，我们按照模型给出的相关性得分从高到低对文档进行排序。然后从第一个文档开始，计算当前位置的准确率（即当前已检索到的真正例数量除以当前已检索到的文档总数）。如果当前文档是真正例，则将该准确率纳入 AP 的计算；如果是假正例，则不纳入。通过这种方式，遍历整个排序结果，计算出该查询的 AP 值。最后，对所有查询的 AP 值求平均，得到 MAP。

优点

• 综合评估排序性能：MAP 考虑了模型对所有相关文档的排序能力，不仅仅关注是否能够找到相关文档，还关注这些相关文档在排序结果中的位置。因此，它能够全面地评估排序模型在不同召回率水平下的准确率，对于需要对结果进行排序的任务，如信息检索、推荐系统等，是一个非常有效的评估指标。

• 对不均衡数据不敏感：与一些基于分类准确率的指标不同，MAP 在处理正负样本不均衡的数据时表现较好。因为它主要关注的是相关文档的排序，而不是简单地判断类别，所以不会受到正负样本比例的影响，能够更准确地反映模型在实际应用中的性能。

缺点

• 计算复杂度较高：计算 MAP 需要对每个查询的排序结果进行详细的分析和计算，涉及到对每个位置的准确率的统计，因此计算量较大。在处理大规模数据集和大量查询时，计算 MAP 可能会比较耗时，这在一定程度上限制了它在一些实时性要求较高的场景中的应用。

• 难以直观理解：相比于一些简单直观的指标，如准确率、召回率等，MAP 的计算过程较为复杂，不太容易直观地理解和解释。对于非专业人员来说，可能需要一定的时间和知识储备才能理解 MAP 所代表的含义以及如何根据它来评估模型的性能。

3.聚类模型