RAG与数据预测的结合应用(1) - 语义相似度的提升
目录
引言
数据预测介绍
引出问题
大模型的关键因素维度
RAG与关键因素的转换
关键词提取
语义分析第一版
语义分析第二版
引言
因为前端时间有项目在忙，所以未及时更新本专题，今天开始继续更新本专题内容。这个系列聚焦课程聚焦在RAG，通过Milvus 与 Chroma 的实现，可以看到RAG的重点本身在语义的处理上。但光有RAG，其实不能构成完整的应用，因为RAG 主要用于语义检索，通俗的说就是语义查询资料。当然这么理解RAG也不是全面的，但是RAG的一个主要应用方向确实在资料语义检索。当然还包含了视频等语义检索。如果你对你这部分内容感兴趣，可以参看https://blog.csdn.net/talentyiyy/category_12774113.html，它将详细的讲解视频搜索的实现过程。今天，我们继续讲一讲RAG向前延伸，如何结合RAG做数据行为的预测。但就RAG本身来说，还有很多内功需要补充，我将一个完整的实例，来分析embedding结合一些其他向量算法的高阶应用。我不太喜欢一步一步教你该怎么做，而是首先讲解思想方法，再来一步一步的实现它。在很多情况下，只靠cosineSimilarity余弦相似度去对分词进行分析是不够的，或者说准确度任然比较低，特别是单纯的词汇匹配存在局限性，无法充分表达深层的语义关联，下面将介绍的一种方法，将弥补了纯数据驱动方法的不足，这个方法特别适合在标注数据有限但领域知识丰富的场景下使用