Datawhale AI秋训营|RAG 多模态相关 TASK1 /Task 2 Baseline笔记（待优化）

教程地址：Datawhale-AI活动

准备

1.报名比赛

链接：https://www.marsbigdata.com/competition/details?id=3845468616549

2.申请大模型API

链接（硅基流动）：https://cloud.siliconflow.cn/i/FcjKykMn

3.启动魔搭Notebook

链接：https://www.modelscope.cn/my/mynotebook/preset

4.下载Baseline文件

git lfs install
git clone https://www.modelscope.cn/datasets/Datawhale/Smart-Emergency-Response.git

结果：

运行Baseline

如果没有在workplace没有进入Smart-Emergency-Response需要先进去一下，保证相对路径正确

cd Smart-Emergency-Response

然后执行教程中的代码

chmod +x ./baseline/run_baseline.sh
./baseline/run_baseline.sh

结果硅基流动一直报错 System is too busy

于是改换了Deepseek的API，前面顺利生成，但是部分报错使用零向量，最终得分22。

重要提醒：在比赛中， OPENAI_API_BASE 应该指向你自己本地部署的模型服务地址.。可以使用xinference部署，因为他可以生成一个适配openai sdk兼容的api 接口方便你进行调用。

Xinference入门指南：入门指南 — Xinference

（待优化）

优化（Task2)

根据Task 2的内容

Baseline 的局限性 ：为了快速搭建一个可运行的系统，我们本次的 Baseline 将 只处理文本数据 。这意味着它能够较好地回答政策、法规、标准类的问题，但 无法回答 需要查询表格数据的统计类问题。认识到这一点，是后续优化的第一步。

估计是因为Baseline没有识别表格内容。需要作为下一步优化方向。

多模态RAG参考：

爆改RAG！让你的AI不再“只会读书”——多模态RAG与图片描述的实战指南 - 知乎

硬核攻略！图像+文本多模态 RAG 全能指南_怎么将文本、图片、视频创建单模态向量和多模态向量-CSDN博客