商业网站建设 武汉全球网站流量排名查询

毕业设计：基于CNN和词向量的句子相似性度量

注意：因为要计算WMD距离所以需要安装依赖库pyemd

开发环境

Anaconda + Pycharm

项目说明

按照老师要求复现论文(论文提出了一个新概念'相似元'，通过相似元来计算两个句子的相似度‘)，同时参考WMD以及论文中提到的WJ算法实现三个算法的比较

毕业设计主要针对于句子相似度的计算，尤其是长句相似度，使用GoogleNews预训练的模型

GoogleNews-vectors-negative300.bin

TODO

由于项目只实现了GoogleNews预训练模型中有的单词的句子相似度，没有拓展到中文

• 将相似度的计算拓展到中文
• 可以进行多个预训练模型的选择，而非GoogleNews
• 使用FAISS 框架优化相似向量的搜索

数据来源

存放于本项目DataSet下

项目运行

1. 配置config.json文件：model_path用于存放预训练模型存放的路径；dataset_path用于存放最后作实验评估的数据集存放的路径
2. 从main.py开始运行，首先要点击初始化按钮加载预训练模型
3. 在句子1和句子2处输入要计算相似度的句子
4. 计算结果显示在 相似度，WJ，WMD距离三个地方
5. 可以每次换一个句子，并点击计算
6. 计算完成，点击退出

结论验证

参考资料

1. WMD算法以及WJ算法参考
2. Word2Vec中的sentence_similarity方法出处
3. 理论依据
4. From Word Embeddings To Document Distances -- Matt J. Kusner等

代码结构

毕业设计源代码存放于GraduationDesign下，这里没有提到的代码文件均已过时，请以最新的代码为准

.
├── GraduationDesign
│   ├── main.py	项目运行点
│   ├── SSFN_V6_02		第6版：实现功能的垂直分割，同时实现三个算法的实验评估
│   │   ├── Methods
│   │   │   ├── SSFN
│   │   │   │──── └── SSF_V3.py 	复现论文中的SSF函数
│   │   │   ├── WJ
│   │   │   │──── └── wj_similarity.py	论文中的比对方法：计算两个句子的余弦相似度
│   │   │   ├── WMD
│   │   │   │──── └── wmd_distance.py	 论文中的比对方法2：计算两个句子的WMD距离
│   │   │   ├── Word2Vec.py			加载并使用GoogleNews预训练的模型进行计算
│   │   ├── util
│   │   │   │──── └── util.py	 工具模块，实现词语权重计算，模型的加载等
│   │   ├── view
│   │   │   │──── └── view_data.py	 使用PyQt5编写界面
│   │   ├── datahelper
│   │   │   │──── └── data_process.py	 对实验评估数据集的处理
│   │   ├── experiment_show
│   │   │   │──── └── result_img.py	 三种实验方法比对并在本地生成最后的比对结果图