用kiln微调大模型第二篇

前言

上篇我们讲完了如何安装kiln和如何运用kiln去借用大模型去生成数据集，这篇我们来将一下如何借用数据集去微调我们的大模型，让其也具有deepseek的推理能力！

如果不会安装和使用ollama的小伙伴也可以在本篇的最后学到如何安装ollama和下载我们需要的大模型！

开始微调

接着上一篇博客的内容我们合成完数据

记得这里的model选择你想微调的模型能力的模型，比如像训练思考能力，选择deepseekr1（这里需要一定的时间去跑）

点击fine tune

进行创建微调

选择需要微调的模型

 

选择数据集并进行过滤 （选择只有推理过程）

剩下的保存默认即可，点击开始微调

我们只需要等待微调完成，我们就可以在run里面去使用我们微调策略的模型了

Ollama安装

官网链接：Ollama

进入官网点击下载

下载好双击下载的exe文件进行安装，这里一般会直接默认安装到C:\Users\你的用户名\.ollama

更换ollama默认安装位置

ollama默认安装在c盘，后续的模型和文件都会存储在默认安装位置里，而模型资源一般都会比教大，像deepseekr1 671b需要404GB内存，直接c盘爆红，而c盘的爆红又会导致你的电脑卡的不行

那么我们是否可以将c盘安装到别的位置呢？

of course no problem

第一步停止ollama服务

你可以在电脑右下角的箭头里面，右键ollama的图标

然后quit ollama就好了

第二步迁移安装目录

将c盘的.ollama文件夹迁移到你想迁移的位置，比如D：ollama

第三步设置环境变量

打开设置，搜索环境变量，然后设置用户变量的path

C:\Users\你的用户名\.ollama地址改为你迁移过后的位置

第四步检查是否迁移完成

先将现在的这个命令行窗口关闭，然后win+r然后输入cmd，重新打开一个命令行窗口，然后输入ollama serve 启动ollama服务，然后ollama -v检查版本号，就能知道成功迁移了没有

第五步更换模型默认存储位置

1. 设置模型存储路径：

   • 添加用户path环境变量 OLLAMA_MODELS，指向新的模型存储路径，例如 D:\ollama\models。

   • 操作方法同上，在环境变量中添加：

     • 变量名：OLLAMA_MODELS

     • 变量值：D:\ollama\models。

2. 移动模型文件：

   • 如果已经下载了模型，可以将 C:\Users\你的用户名\.ollama\models 文件夹中的内容复制到 D:\ollama\models。

下载对应需要的模型、

进入ollama官网点击modles

然后进行模型界面选择你需要的模型

点击进去，选择你需要的模型大小

复制对应的模型拉取命令，在命令行界面输入（前提启动ollama服务）