当前位置：首页 > news >正文

机器翻译指标：BLEU

news 来源：原创 2025/6/14 7:14:16

全称： Bilingual Evaluation Understudy (双语评估替补)

目的： 自动评估机器翻译结果的质量，通过将机器生成的译文（Candidate Translation）与一个或多个高质量的人工参考译文（Reference Translation）进行比较。

核心思想： BLEU 主要基于一个简单的直觉：机器翻译的输出与专业人工翻译的参考译文在 n 元词组（n-gram）上重合度越高，其质量就越好。

特点： 它是自动化、快速、低成本且与人工评价有较高相关性的指标。自2002年提出以来，已成为机器翻译领域研究和产业应用中最广泛使用的自动评估指标之一。

计算方法

BLEU 的计算主要包含以下几个关键步骤和概念：

1.n-gram 精确度 (Modified n-gram Precision):

详细介绍请跳转：

BLEU 中的修正 n-gram 精确度 (Modified n-gram Precision)-CSDN博客https://blog.csdn.net/qq_54708219/article/details/148634207?spm=1001.2014.3001.5502

2.简洁惩罚 (Brevity Penalty, BP):

问题： 如果机器译文非常短（比如只输出一个高频词），它可能在某些 n-gram 精确度上得分很高，但这显然不是好的翻译。

解决： BLEU 引入了简洁惩罚因子 (BP) 来惩罚过短的译文。

计算：令 c = 机器译文的长度， r = 与机器译文长度最接近的参考译文的长度（称为“最佳匹配长度”）。则BP的计算公式是：

$BP=min\left ( (1, exp(1 - r/c)) \right )$

解释：

if c > r: BP = 1 (译文够长，不惩罚)
if c <= r: BP = e^(1 - r/c) (译文短于参考译文，进行惩罚)
当 c 远小于 r 时，BP 会显著小于 1，从而降低最终得分。
e^(1 - r/c) 确保了惩罚的平滑性。

3.几何平均 (Geometric Mean):

为了综合考虑不同长度的 n-gram（从单个词到词组）的匹配情况，BLEU 将计算出的 P₁, P₂, P₃, P₄ 【即(1-gram) (2-gram) (3-gram) 和(4-gram) 的修正精确度】取几何平均数。

公式：

$BLEU=BP\cdot exp\left ( \sum_{i=1}^{4} w_i *ln\left ( p_i \right )\right )$

其中：exp(...) 表示自然指数，ln(...) 表示自然对数。

$w_i$ 表示 P₁, P₂, P₃, P₄ 的权重分布，满足 $\sum_{i=1}^{4}w_i=1,w_i\geq 0\left ( i=1,2,3,4 \right )$ 。如果不指定，默认 $w_1=w_2=w_3=w_4=0.25$ ，即(ln(P₁) + ln(P₂) + ln(P₃) + ln(P₄)) / 4 ，相当于计算 ln(P₁), ln(P₂), ln(P₃), ln(P₄) 的算术平均数。exp() 把这个算术平均数转换回几何平均数。

范围： BLEU 分数是一个介于 0 到 1 之间的值（有时表示为 0 到 100 的百分比）。分数越高，表示机器译文与参考译文越相似，通常认为质量越好。1.0 或 100 分表示机器译文与（某个）参考译文完全一致。

举例

设参考译文 (reference)：

[['the', 'cat', 'is', 'on', 'the', 'mat'],  # 参考1 (6个词)['there', 'is', 'a', 'cat', 'on', 'the', 'mat']]  # 参考2 (7个词)

和候选译文 (candidate):

['the', 'the', 'the', 'cat', 'on', 'the', 'mat']  # 7个词

（1）n-gram 精确度 (Modified n-gram Precision)

具体跳转：

BLEU 中的修正 n-gram 精确度 (Modified n-gram Precision)-CSDN博客https://blog.csdn.net/qq_54708219/article/details/148634207?spm=1001.2014.3001.5502（2）简洁惩罚 (Brevity Penalty, BP)

候选长度 (c): 7 个词

参考长度 (r): 参考1: 6 词，参考2: 7 词 → 选择最接近候选长度的参考2 (|7-7|=0)

则： $BP = min(1, exp(1 - r/c)) = min(1, exp(1 - 7/7)) = min(1, exp(0)) = min(1, 1) = 1$

（3）计算最终BLEU分数

计算过程:

1.取各 n-gram 精确度的自然对数:

ln(p₁) = ln(0.7143) ≈ -0.3365，ln(p₂) = ln(0.6667) ≈ -0.4055

ln(p₃) = ln(0.4) ≈ -0.9163，ln(p₄) = ln(0.25) = -1.3863

2.计算加权和:

sum = 0.25 × (-0.3365 -0.4055 -0.9163 -1.3863)
= 0.25 × (-3.0446)
= -0.76115

3.指数运算: exp(-0.76115) ≈ 0.4671

4.应用简洁惩罚: BLEU = 1 × 0.4671 = 0.4671

代码实现

from nltk.translate.bleu_score import sentence_bleureference = [['the', 'cat', 'is', 'on', 'the', 'mat'], ['there', 'is', 'a', 'cat', 'on', 'the', 'mat']]
candidate = ['the', 'the', 'the', 'cat', 'on', 'the', 'mat']
score = sentence_bleu(reference, candidate)
print(score)  # 0.4671379777282001

BLEU 的优点

自动化与高效： 计算速度快，成本极低，可以方便地对大量翻译结果进行批量评估。
客观性： 避免了人工评估的主观性和不一致性。
相关性： 在语料库（文档集合）级别上，BLEU 分数与人类对翻译流畅性和充分性的整体评判通常有较好的统计相关性（尤其是在评估不同系统或同一系统的不同版本时）。
关注局部匹配： 对词汇和短语级别的匹配敏感。
标准化： 作为事实上的标准，方便不同研究或系统之间的比较。

BLEU 的缺点和批评

不考虑语义： BLEU 只计算表面词串的匹配，不涉及语法正确性、语义忠实度、语篇连贯性或文化适应性等更深层次的质量。一个 BLEU 分数高的译文可能在意思上完全错误。
不考虑语序： n-gram 匹配主要捕获局部词序，对长距离的语序错误（如从句结构混乱）不够敏感。
同义词和多样性惩罚： 如果机器译文使用了与参考译文不同的、但同样正确甚至更好的同义词或表达方式，BLEU 会扣分（因为它没匹配上参考译文的 n-gram）。这抑制了翻译的多样性。
对参考译文的依赖： BLEU 分数高度依赖于所使用的参考译文的质量和数量。一个单一的参考译文可能无法覆盖所有正确的表达方式。增加参考译文数量通常能提高 BLEU 的可靠性。
句子级别不可靠： BLEU 设计初衷是在语料库（文档）级别上评估整体性能。在单个句子级别，BLEU 分数往往与人工判断的相关性较差，波动很大。
偏向于字面翻译： 由于强调 n-gram 匹配，BLEU 可能更青睐比较保守、字面的翻译，而对需要更大灵活性和意译的翻译不利。
忽略功能词： 1-gram 精确度对功能词（the, a, of, on 等）的匹配很敏感，而这些词的选择有时并不影响核心意思。