NLP10-TF-IDF文本向量化

一、TF-IDF

之前的一些笔记中已经介绍了TF-IDF的基本原理，参见 NLP05-jieba分词

这里介绍一下通过TF-IDF计算余弦相似度。

余弦相似度矩阵: 表示每两个文档之间的相似度值，取值范围为 [0, 1]，值越大表示两个文档越相似。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 示例文档集合
documents = [
    "今天天气很好",
    "我们去公园散步",
    "天气预报说今天有雨",
    "出去玩需要带伞"
]

# 创建 TF-IDF 向量化器
vectorizer = TfidfVectorizer()

# 计算 TF-IDF 值并将文档转换为向量
tfidf_matrix = vectorizer.fit_transform(documents)

# 打印每个文档的 TF-IDF 向量
print("TF-IDF 矩阵：")
print(tfidf_matrix.toarray())

# 计算余弦相似度
cosine_sim = cosine_similarity(tfidf_matrix)

# 打印余弦相似度矩阵
print("余弦相似度矩阵：")
print(cosine_sim)

二、其他常用文本向量化的方法

（一）基于计数的方法

（二）

...未完待续