城乡建设局网站建设考试网站
背景：
在知识图谱（Knowledge Graph, KG）或时序知识图谱（Temporal Knowledge Graph, TKG）的任务中（如链接预测），评估模型性能时，通常需要生成一些“损坏的四元组”（corrupted quadruples）作为候选答案。为了避免模型因为预测了已经存在的正确事实而受到不公平的惩罚，Bordes 等人（2013）提出了过滤设置。
过滤设置的核心思想：
-
损坏的四元组：
- 在评估时，对于一个查询（例如 ((s, r, ?, t))），模型会通过替换对象实体 (o) 来生成一组候选四元组。这些候选四元组被称为“损坏的四元组”。
- 例如，对于查询 ((s_1, r_1, ?, t_1))，模型可能会生成以下候选：
- ((s_1, r_1, o_1, t_1))
- ((s_1, r_1, o_2, t_1))
- ((s_1, r_1, o_3, t_1))
-
过滤过程：
- 在排序之前，检查这些候选四元组是否已经存在于图谱 (G) 中。
- 如果某个候选四元组已经存在于图谱中（即 ((s, r, o’, t) \in G)），则将其从候选集中移除。
- 这样做的目的是确保模型不会被惩罚预测那些已经存在的正确事实。
-
排序与评估：
- 过滤后，剩下的候选四元组会根据模型的预测分数进行排序。
- 正确的实体 (o) 的排名被用来计算评估指标，如平均倒数排名（Mean Reciprocal Rank, MRR）或 Hits@k。
为什么需要过滤？
- 避免不公平的惩罚：
- 如果不进行过滤，模型可能会将已经存在的正确事实排名较低，仅仅因为这些事实已经存在于图谱中。这会导致模型性能被低估。
- 关注模型预测新事实的能力：
- 过滤设置确保评估的重点是模型预测缺失或未知事实的能力，而不是记忆已有事实的能力。
示例：
假设有一个时序知识图谱 (G)，包含以下四元组：
- ((s_1, r_1, o_1, t_1))
- ((s_2, r_2, o_2, t_2))
对于查询 ((s_1, r_1, ?, t_1))，模型生成的候选四元组可能包括：
- ((s_1, r_1, o_1, t_1))（已经存在于 (G) 中）
- ((s_1, r_1, o_2, t_1))
- ((s_1, r_1, o_3, t_1))
在过滤设置下，已经存在的四元组 ((s_1, r_1, o_1, t_1)) 会被移除。剩下的候选四元组 ((s_1, r_1, o_2, t_1)) 和 ((s_1, r_1, o_3, t_1)) 会被用来排序和评估。
在你的上下文中的应用：
在你的场景中，过滤设置被应用于时序知识图谱（TKG），其中四元组包含时间成分 (t)。逻辑与普通知识图谱相同：任何已经存在于 TKG (G) 中的损坏四元组 ((s, r, o’, t)) 都会被过滤掉，然后再进行排序。这样可以确保评估的公平性，并关注模型预测缺失时序事实的能力。