当前位置: 首页 > wzjs >正文

负责做网站的叫什么公司上海aso优化公司

负责做网站的叫什么公司,上海aso优化公司,如何开网站需要多少钱,移动电子商务的概念LlamaIndex 是领先的开发框架,专为结合大型语言模型(LLM)与个性化工作流打造高效的数据驱动型智能代理而设计。一般我们用它来做RAG检索增强生成。 (1)RAG的介绍 大型语言模型(LLM)虽然在海量数…

        LlamaIndex 是领先的开发框架,专为结合大型语言模型(LLM)与个性化工作流打造高效的数据驱动型智能代理而设计。一般我们用它来做RAG检索增强生成。

(1)RAG的介绍

        大型语言模型(LLM)虽然在海量数据上进行了训练,但通常并未基于自己的特定数据进行学习。为了解决这一问题,检索增强生成(Retrieval-Augmented Generation,RAG)技术通过将您的数据整合到 LLM 已有的知识中,实现对模型输入的个性化增强。

LamaIndex框架实现RAG的原理图


在构建大多数大型应用时,RAG通常包含五个核心阶段。这些阶段构成了整个流程的基础:

1. 数据加载(Loading)
        这是将数据从原始来源导入工作流程的过程。无论数据存储在文本文件、PDF、网页、数据库还是通过 API 提供,LlamaIndex 都提供了丰富的工具来完成这一任务。LlamaHub 更是提供了数百种现成的数据连接器,便于快速集成各类数据源。

2. 索引构建(Indexing)
        索引阶段的目的是创建一种高效的数据结构,以便后续查询使用。对于 LLM 应用而言,这通常涉及将数据转化为语义向量(vector embeddings),并结合多种元数据策略,从而实现对上下文相关数据的快速准确检索。

3.数据存储(Storage)
        一旦数据被索引,通常需要将索引结果及相关的元数据持久化存储下来,以避免重复执行耗时的索引过程。LlamaIndex 支持多种本地和远程存储方式,确保数据可复用且易于管理。

4. 查询处理(Querying)
        针对不同的索引策略,您可以采用多种方式进行查询操作。LlamaIndex 提供了灵活的查询接口,支持子查询、多步骤查询、混合检索策略等,帮助您充分利用 LLM 和底层数据结构的能力。

5. 效果评估(Evaluation)
        在任何系统中,评估都是不可或缺的一环。它可以帮助您客观地衡量不同策略的效果,或在进行更改后评估其影响。通过评估机制,您可以量化查询响应的准确性、信息忠实度以及响应速度,从而持续优化系统性能。

RAG通用处理流程

(2)LlamaIndex如何实现RAG?

① 加载HF模型

        使用 LlamaIndex 中的 HuggingFaceLLM 类来加载一个本地的大规模语言模型(LLM),并利用它来进行对话是必须要掌握的技能。

from llama_index.core.llms import ChatMessage
from llama_index.llms.huggingface import HuggingFaceLLM#使用HuggingFaceLLM加载本地大模型
llm = HuggingFaceLLM(model_name="/home/Qwen/Qwen1.5-1.8B-Chat",tokenizer_name="/home/Qwen/Qwen1.5-1.8B-Chat",model_kwargs={"trust_remote_code":True},tokenizer_kwargs={"trust_remote_code":True}
)
#调用模型chat引擎得到回复
rsp = llm.chat(messages=[ChatMessage(content="llamaindex是什么?")])print(rsp)

② 数据连接器

         数据连接器的作用是将不同数据源的数据提取到LlamaIndex中,最简单易用的阅读器是内置的 SimpleDirectoryReader。它可以遍历指定目录中的所有文件,并为每个文件创建对应的文档对象。该阅读器原生集成于 LlamaIndex 中,支持多种文件格式,包括 Markdown、PDF、Word 文档、ppt、图像、音频以及视频等。

from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.core import Settings,SimpleDirectoryReader,VectorStoreIndex
from llama_index.llms.huggingface import HuggingFaceLLM# 初始化一个HuggingFaceEmbedding对象,用于将文本转换为向量表示
embed_model = HuggingFaceEmbedding(#指定了一个预训练的sentence-transformer模型的路径model_name="/home/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
)# 将创建的嵌入模型赋值给全局设置的embed_model属性,这样在后续的索引构建过程中,就会使用这个模型
Settings.embed_model = embed_model# 使用HuggingFaceLLM加载本地大模型
llm = HuggingFaceLLM(model_name="/home/Qwen/Qwen1.5-1.8B-Chat",tokenizer_name="/home/Qwen/Qwen1.5-1.8B-Chat",model_kwargs={"trust_remote_code": True},tokenizer_kwargs={"trust_remote_code": True}
)# 设置全局的llm属性,这样在索引查询时会使用这个模型。
Settings.llm = llm# 从指定目录读取文档,将数据加载到内存
documents = SimpleDirectoryReader("/home/data").load_data()
# print(documents)# 创建一个VectorStoreIndex,并使用之前加载的文档来构建向量索引
# 此索引将文档转换为向量,并存储这些向量(内存)以便于快速检索
index = VectorStoreIndex.from_documents(documents)# 创建一个查询引擎,这个引擎可以接收查询并返回相关文档的响应。
query_engine = index.as_query_engine()
rsp = query_engine.query("llamaindex是什么?")
print(rsp)
http://www.dtcms.com/wzjs/128217.html

相关文章:

  • dw做新闻网站优化大师免费安装下载
  • 网站建设系统服务鞍山seo外包
  • 怎么做淘宝联盟网站今日军事新闻头条新闻
  • 域名备案掉了网站还可以用吗北京做的好的seo公司
  • 大数据新闻网站怎么做如何优化seo技巧
  • 陕西找人做网站多少钱青岛seo建站
  • 建设局网站怎么在百度做宣传广告
  • 南昌营销型网站建设查图百度识图
  • 网站建设系统总体结构功能图h5下一页
  • 广州市建设招标管理办公室网站哪些平台可以做推广
  • 经典网站案例郑州高端网站建设哪家好
  • 免费建网站平台教seo标题优化是什么意思
  • wordpress破解模板保定seo推广公司
  • 成都网站制作工作室网页优化怎么做
  • wordpress 301 https江北seo
  • 龙信建设集团有限公司网站石家庄百度关键词优化
  • 西安网站建设哪家强广州新闻报道
  • 机械产品做哪个网站宁波 seo整体优化
  • 做网站选哪家公司线上宣传渠道
  • 汕头中文建站模板汕头seo代理商
  • java 做直播网站seo一般包括哪些内容
  • 自适应 网站开发百度手机浏览器
  • 湖南网站建站系统哪家好南宁seo公司
  • 吉林省建设工程质监站网站2023最火的十大新闻
  • 自己做个网站需要什么长沙h5网站建设
  • 前端网站开发实例网络营销的方法包括哪些
  • 上海市网站开发公司排名百度指数人群画像哪里查询
  • 教务管理网站开发站长工具下载app
  • 可视化建站网站源码网络推广什么做
  • 让做网站策划没经验怎么办舆情监测软件免费版