数据集制作--easy-dataset
一、概述
Easy Dataset 是一个专为创建大型语言模型（LLM）微调数据集而设计的应用程序。它提供了直观的界面，用于上传特定领域的文件，智能分割内容，生成问题，并为模型微调生成高质量的训练数据。
通过 Easy Dataset，您可以将领域知识转化为结构化数据集，兼容所有遵循 OpenAI 格式的 LLM API，使微调过程变得简单高效。
二、安装
2.1、Docker安装
1、克隆仓库
git clone https://github.com/ConardLi/easy-dataset.git
cd easy-dataset
2、构建Docker镜像
docker build -t easy-dataset .
3、运行容器
docker run -d -p 1717:1717 -v {YOUR_LOCAL_DB_PATH}:/app/local-db --name easy-dataset easy-dataset
4、打开浏览器，访问 http://localhost:1717
2.2、使用 NPM 安装
1. 克隆仓库：
git clone https://github.com/ConardLi/easy-dataset.git
cd easy-dataset
2. 安装依赖：
npm install
3. 启动开发服务器：
npm run build
npm run start
4. 打开浏览器并访问 http://localhost:1717
三、使用方法
3.1、创建项目
1. 在首页点击"创建项目"按钮；
2. 输入项目名称和描述；
3. 添加模型，测试模型
3.2、处理文档
1. 右上角选择模型
2. 在"文献处理"页面上传您的文件（支持 PDF、Markdwon、txt、DOCX）；
3. 查看和调整自动分割的文本片段；
4. 查看和调整全局领域树
3.3、生成问题
1. 基于文本块“批量生成问题”；
2. 查看并编辑生成的问题；
3. 使用标签树组织问题
3.4、创建数据集
1. 基于问题“批量构造数据集”；
2. 使用配置的 LLM 生成答案；
3. 查看、编辑并优化生成的答案
3.5、导出数据集
1. 在数据集管理页面，勾选问题，"导出数据集"按钮；
2. 选择您喜欢的格式（Alpaca 或 ShareGPT）；
3. 选择文件格式（JSON 或 JSONL）；
4. 根据需要添加自定义系统提示；
5. 导出您的数据集
四、参考
easy-dataset/README.zh-CN.md at main · ConardLi/easy-dataset
Easy Dataset × LLaMA Factory: 让大模型高效学习领域知识 - 飞书云文档
【2025最新】从0打造大模型 微调数据集，一键将领域知识转化为结构化数据集，使数据集构造过程变得简单高效！超详细讲解，原理详解+项目实战！_哔哩哔哩_bilibili