BM25原理概述

1️⃣设定：对于查询 Q = { q 1 , q 2 , . . . , q n } Q\text{=}\{q_1,q_2,...,q_n\} Q={q1​,q2​,...,qn​}和段落集$\mathcal{P}\text{=}\left\{P^{(1)},P^{(2)},\dots ,P^{(\text{N})}\right\}$，其中$P^{(\alpha )}\text{=}\left\{p_1^{(\alpha )},p_2^{(\alpha )},...,p_m^{(\alpha )}\right\}$

2️⃣逆文档频率：$\text{IDF}(q_i)\text{=}\log \left(\frac{\text{N}–\text{DF}(q_i)\text{+}0.5}{\text{DF}(q_i)\text{+}0.5}\text{+}1\right)$

1. 段落频：$\text{DF}(q_i)$为文档频率，即在$\mathcal{P}\text{=}\left\{P^{(1)},P^{(2)},\dots ,P^{(\text{N})}\right\}$中有多少个段落包含词汇$q_i$
2. 含义：用于评估词$q_i$在段落集$\mathcal{P}$中的稀有程度，$\text{IDF}$值越高越稀有

1️⃣$\text{BM25}$评分：$\text{Score}\left(Q,P^{(\alpha )}\right)\text{=}\sum _{i=1}^n\text{IDF}(q_i)\text{×}\frac{(k_1\text{+}1)\text{TF}\left(q_i,P^{(\alpha )}\right)}{\text{TF}\left(q_i,P^{(\alpha )}\right)\text{+}{k}_1\left(1–b\text{+}\frac{b|P^{(\alpha )}|}{\text{avgdl}}\right)}$

1. 词频：$\text{TF}\left(q_i,P^{(\alpha )}\right)$为词频，即$q_i$在$P^{(\alpha )}$中出现的总次数
2. 归一化：即$1–b\text{+}\frac{b|P^{(\alpha )}|}{\text{avgdl}}$，其中$\text{avgdl}$是段落的平均长度，抹除长文档的固有相似度偏好
3. 调参：$k_1$与$b$可供调整，适应不同的检索任务