深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题
文章目录
-
- 问题背景
- 初始测试与问题发现
-
- LLaMA Factory测试结果
- 对照实验：Ollama测试
- 系统性排查与解决方案探索
-
- 1. 尝试更换模板
- 2. 深入研究官方文档
- 3. 自定义模板实现
- 优化界面展示：实现思考过程的可视化
-
- 实现方法
- 参数调整影响分析
-
- 实验一
- 实验二
🎉进入大模型应用与实战专栏 | 🚀查看更多专栏内容
问题背景
最近在本地环境中部署了DeepSeek-R1-Distill-Qwen-1.5B，即由Qwen2.5-Math-1.5B基础模型蒸馏出来的具有思维能力的模型。这是一个由Qwen2.5-Math-1.5B基础模型蒸馏出来的、据说具有增强思维能力的小型语言模型。然而，在实际使用过程中，我发现模型似乎并未展示出预期的思维过程，这引发了我对如何正确配置和优化这类模型的深入探究。
