上海住房和城乡建设局网站首页贵州省建设执业资格促进会网站

一、TF-IDF

之前的一些笔记中已经介绍了TF-IDF的基本原理，参见 NLP05-jieba分词

这里介绍一下通过TF-IDF计算余弦相似度。

余弦相似度矩阵: 表示每两个文档之间的相似度值，取值范围为 [0, 1]，值越大表示两个文档越相似。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity# 示例文档集合
documents = ["今天天气很好","我们去公园散步","天气预报说今天有雨","出去玩需要带伞"
]# 创建 TF-IDF 向量化器
vectorizer = TfidfVectorizer()# 计算 TF-IDF 值并将文档转换为向量
tfidf_matrix = vectorizer.fit_transform(documents)# 打印每个文档的 TF-IDF 向量
print("TF-IDF 矩阵：")
print(tfidf_matrix.toarray())# 计算余弦相似度
cosine_sim = cosine_similarity(tfidf_matrix)# 打印余弦相似度矩阵
print("余弦相似度矩阵：")
print(cosine_sim)

二、其他常用文本向量化的方法

（一）基于计数的方法

（二）

...未完待续