科普：“图相似性”与“文本相似性”

“图相似性”与“文本相似性”是在不同数据形态下衡量相似程度的概念。

一、“图相似性”与“文本相似性”的区别

• 定义
  • 图相似性：是指在图论的范畴内，衡量两个或多个图在结构、节点属性、边属性等方面的相似程度。图由节点和边组成，图相似性关注的是图的拓扑结构以及节点和边所携带的信息的相似情况。
  • 文本相似性：主要是衡量文本在语义、词汇、句法等层面的相似程度。文本是由文字、词语、句子等构成的序列，文本相似性侧重于文本所表达的内容和语言形式的相似性。
• 计算方法
  • 图相似性：常用基于结构的方法（如子图同构法、图编辑距离法）、基于特征的方法（如度序列法、谱方法）和基于节点嵌入的方法（如将节点映射到低维向量空间计算向量相似性）等。
  • 文本相似性：常见的有基于词袋模型计算词频向量的相似性，基于TF-IDF算法衡量词语在文本中的重要性来计算相似性，基于语义理解的词向量模型、预训练语言模型等计算文本的语义向量相似性等。
• 应用场景
  • 图相似性：广泛应用于生物信息学中的蛋白质相互作用网络分析、基因调控网络研究，计算机视觉中的图像识别与视频分析，社交网络分析中的社区发现与异常检测等领域。
  • 文本相似性：主要应用于信息检索、文本分类、机器翻译、问答系统、文本生成等自然语言处理领域，用于判断文本内容的相关程度、生成相似主题的文本等。

二、它们之间的联系

• 技术借鉴：在计算文本相似性时，有时会将文本构建为图结构，例如将句子中的词语作为节点，词语之间的关系作为边，然后利用图相似性的计算方法来分析文本的结构相似性。在图相似性计算中，对于具有文本属性的图，也会借鉴文本相似性的方法来处理节点或边的文本信息。
• 融合应用：在一些复杂的应用场景中，如知识图谱与自然语言处理的结合，既需要计算图结构的相似性，也需要计算文本描述的相似性，将两者结合起来可以更全面地分析和处理数据，提高对数据的理解和应用能力。

三、图相似性的计算方法

图相似性计算技术是图论领域中的一项重要技术，旨在衡量两个或多个图之间的相似程度

• 基于结构的方法

  • 子图同构法：检查一个图的子图是否与另一个图同构，如果能找到大量同构的子图，则认为这两个图相似。例如在化学分子结构分析中，若两个分子图存在多个相同的子结构，可通过子图同构来判断它们可能具有相似的化学性质。
  • 图编辑距离法：计算将一个图通过插入、删除、修改节点和边等操作转换为另一个图所需的最少操作次数，操作次数越少，图越相似。比如在社交网络分析中，通过图编辑距离可以判断两个不同时期的社交网络图的结构变化程度。

• 基于特征的方法

  • 度序列法：度序列是图中各节点度的有序排列。计算两个图的度序列的相似性，如通过计算欧氏距离或相关系数等，来衡量图的相似性。若两个图的度序列相似，说明它们在节点连接的密集程度等方面有相似性，常用于简单快速地初步判断图的相似性。
  • 谱方法：利用图的邻接矩阵或拉普拉斯矩阵的特征值和特征向量作为图的特征。因为这些特征值和特征向量反映了图的结构性质，通过比较它们之间的差异来计算图的相似性，在计算机视觉中的图像分割等领域有应用。

• 基于节点嵌入的方法

  • 传统嵌入法：将图中的节点映射到低维向量空间，使得节点之间的相似性在向量空间中得以保留。例如，采用随机游走等方式生成节点序列，再利用词向量模型等将节点序列映射为向量，通过计算向量的相似性来反映节点及图的相似性，适用于大规模图数据的相似性计算。
  • 深度学习嵌入法：利用图神经网络（GNN）等深度学习模型对图进行学习，生成节点的嵌入向量。这些模型能够自动学习图的复杂结构特征，通过池化等操作得到整个图的嵌入表示，进而计算图的相似性，在生物网络分析、推荐系统等领域表现出色。

• 应用举例：社交网络分析：比较不同社交网络用户群体的关系图，发现相似的社交圈子或社区结构。还可以通过图相似性计算来检测社交网络中的异常子图，如虚假账号群体或恶意传播网络。

四、文本相似性的计算

文本的相似性是指对两个或多个文本之间在内容、语义、结构等方面相似程度的度量和评估。

计算维度

• 词汇层面：主要考虑文本中出现的词语。包括相同词语的数量、词语的频率分布等。例如，如果两篇文章都频繁出现“人工智能”“机器学习”等词汇，在词汇层面就有一定的相似性。
• 句法层面：关注文本的句子结构和语法关系。例如，句子的主谓宾结构、修饰成分的使用等。相似的句子结构可能意味着文本在表达形式上具有一定的相似性。比如“我正在吃饭”和“他正在跑步”，在句法结构上是相似的，都是主谓宾的简单句式。
• 语义层面：着重理解文本所表达的意义。即使两篇文本在词汇和句法上有所不同，但如果它们传达的核心意思相近，也被认为具有相似性。例如，“小明喜欢吃苹果”和“苹果是小明喜爱的水果”，虽然表述不同，但语义是相似的。
• 语用层面：考虑文本的使用场景、目的和上下文等因素。比如在商务邮件和日常聊天中，即使使用了一些相同的词汇和句子，但由于语用环境不同，文本的相似性也会受到影响。

计算方法

• 基于词汇统计的方法：如词袋模型，将文本看作是词的集合，忽略词的顺序，通过计算两个文本中相同词的数量或词频来衡量相似性，简单易实现，但忽略了文本的语义和句法信息。改进后的TF-IDF算法，通过计算词在文本中的重要性来更精准地衡量文本相似性，在信息检索等领域应用广泛。
• 基于字符串匹配的方法：如编辑距离算法，计算将一个字符串通过插入、删除、替换字符等操作转换为另一个字符串所需的最少操作次数，操作次数越少，文本越相似，适用于对文本内容精确匹配要求较高的场景，如拼写检查。
• 基于语义理解的方法：利用深度学习中的词向量模型，如Word2Vec、GloVe等，将词映射到低维向量空间，通过计算向量的相似度来衡量词的语义相似性，进而计算文本相似性。更先进的预训练语言模型如BERT，能够更好地理解文本的语义和上下文信息，在语义相似度计算任务中表现出色。

五、大模型用于计算文本相似性

LLM（Large Language Model，大型语言模型）输出的“嵌入向量”可用于多种文本相似性计算。

语义相似性

• 文本匹配与检索：在信息检索系统中，将用户输入的查询语句和文档库中的文本都转换为LLM输出的嵌入向量，通过计算向量之间的相似度，如余弦相似度，来找到与查询语义最相似的文档。例如在学术文献检索中，能帮助用户快速找到与研究主题语义相关的论文。
• 问答系统：在问答系统中，将问题和已有的知识文档转换为嵌入向量，计算相似性后，找出与问题语义最匹配的答案文档或段落，为用户提供准确的回答。

文本风格相似性

• 文本生成与评估：在文本生成任务中，如生成诗歌、故事等，通过LLM输出的嵌入向量来评估生成文本与目标风格文本的相似性。比如判断生成的诗歌在语言风格、韵律等方面与某一诗人的作品风格是否相似，帮助调整生成策略，提高生成质量。
• 风格迁移：将一种风格的文本转换为另一种风格的文本时，利用嵌入向量来衡量源文本和目标风格文本的相似性，以确定迁移的方向和程度。例如，将一篇正式的商务文本转换为口语化的文本，通过嵌入向量可以更好地把握风格转换的效果。

上下文相似性

• 对话系统：在对话系统中，通过LLM输出的嵌入向量来计算当前对话内容与之前对话上下文的相似性，以便更好地理解对话语境，做出合适的回应。例如，判断用户当前的问题与之前讨论的话题是否相关，从而决定是继续深入讨论还是切换话题。
• 多轮文本交互：在多轮文本交互场景中，如智能客服与用户的多轮沟通，利用嵌入向量分析每一轮文本与整体交互上下文的相似性，有助于智能客服保持对整个交互过程的理解，提供更连贯、准确的服务。

知识相似性

• 知识图谱补全：将文本中的知识信息转换为LLM的嵌入向量，与知识图谱中的实体和关系向量进行相似性计算，发现知识之间的潜在联系，从而对知识图谱进行补全。例如，发现不同概念之间的相似性，为知识图谱添加新的边或节点。
• 知识推理：基于嵌入向量的相似性进行知识推理，从已知的知识文本中推断出相似的未知知识。比如在医疗领域，根据已有的病症描述和诊断知识的嵌入向量，推理出相似病症可能的诊断结果和治疗方案。