大模型开源的工具包有哪些特殊符号可以使用；SEP 是什么
大模型开源的工具包有哪些特殊符号可以使用
目录
-
- 大模型开源的工具包有哪些特殊符号可以使用
-
- 自定义特殊token：special_tokens=True
- 一、**对话轮次分隔符（必选）**
- 二、**系统提示标记（提升指令理解）**
- 三、**中文特色分隔符（贴合书写习惯）**
- 四、**开源模型专属符号（按文档适配）**
- 五、**小样本训练自定义符号（灵活扩展）**
- 六、**符号使用避坑指南（针对中文特性）**
- 七、**总结：中国特色符号的3大价值**
- 大模型微调中 SEP 分隔符是什么
-
- 一、<SEP>的典型应用场景与案例
-
- 1. 问答对分隔（最常见）
- 2. 多轮对话分隔
- 3. 混合任务数据分隔
- 二、<SEP>的核心价值
- 三、实践建议（结合大模型微调）
- 四、反例：缺乏<SEP>的风险
- 🔍 **为什么需要<SEP>？**
- 📝 **你的业务场景示例**
- 🔧 **技术实现细节（你的代码适配）**
- 📌 **与其他分隔符的区别**
- ✅ **总结（针对你的微调任务）**
自定义特殊token：special_tokens=True
tokenizer.add_tokens([“[症状]”, “[诊断]”], special_tokens=True)
一、对话轮次分隔符（必选）
| 符号 | 全称/含义 | 适用模型 | 场景示例（客服对话） |
|---|---|---|---|
| `< | User | >` | 用户输入起始 |
| `< | Bot | >` | 助理回复起始 |
【用户】 |
中文方括号角色标记 | 悟道、书生模型 | 【用户】单号123<SEP>【客服】已加急处理 |
代码适配（ChatGLM训练）：
tokeni