极简本地体验deepseek大模型教程
一 题外随感:时代之问
就像狄更斯在双城记中所述,“这是最好的时代,这是最坏的时代”。每一代人都有其所处的时代,每一个时代都有其所谓好的一面和不那么好的一面。很多时候随口的一句大环境不好,就似乎给了自己一个最好的借口。物质世界的丰富并不能改变这一点。所以,这个时代就是属于我们这一代人的时代,无论好坏,都是自己的。
时代大浪潮下,没有一朵浪花可以置身事外。对于人工智能的爆发式发展,躲避它、无视它、抗拒它都不是明智之举,正视它、了解它、接纳它、甚至有机会利用它、参与改造它才是把握时代脉搏,拥抱时代大浪的应有之举。所以,deepseek大火之后,主动了解、学习一点相关的知识,甚至上手操作一番,而且是马上就做,也是缓解各种推送消息的有效药方。
二 环境准备
如题所述,这里,我们是要在自己的电脑上搭建一个本地环境来跑大模型。不同于上网后在浏览器中跟大模型沟通或者是用手机APP方式,本地方法不需要联网也可使用大模型提供的能力。就好比将云服务上的大模型搬到自己电脑上。当然,差异是会损失模型能力和响应速度,好处是安全和隐私保护,毕竟所有信息都是在自己电脑上存储着。
要做到这一点,首先,我们需要下载一个叫 ollama 的软件,并安装它。有了它,就可以加载大模型,并向模型提问。
下载这个软件的最大困难在于速度过慢。本人尝试过几次,都是中途提示超时,断开链接。但最终还是让我下载下来了,网上有很多方法,有些并不管用,下面我就说一下本人试过可行方法。
如果是在Windows上体验,就使用迅雷。登录ollama官网,点击download跳转到下载界面,如下(链接:https://ollama.com/download):
复制链接地址到迅雷中,很快就下载下来了。这个目前是0.5.12版本,大概760多M。
Linux下,我用官网介绍的这个方法也成功了,只不过试了好几次,每次都是晚上挂在那里下载。对于大部分只是体验一下的用户来讲,这个方法并不推荐,毕竟过于麻烦。
curl -fsSL https://ollama.com/install.sh | sh
下载后,即可安装。如果默认双击应用图标来安装,会安装到C盘下。如果不介意这一点的用户,可以跳过这一部分,否则,可以使用如下命令行来将软件安装到其他盘。
OllamaSetup.exe /DIR="E:\ollama"
上面,双引号部分的内容可以替换为自己实际要安装的位置。需要打开cmd命令窗口来执行上面的命令。这个时候稍微慢点,可以省去后续因为空间不够带来的迁移麻烦。
之后会弹出安装界面,点击Install即可,不再详述。
以上,只是调整了模型运行基座ollama的安装位置。后续,我们还需要下载训练好的模型文件,让ollama加载模型文件后才可以体验大模型带来的智能化惊喜。因为模型文件都比较大,所以,我们还需要调整模型存放位置。默认情况下,模型文件会放在C盘 usr 目录下的 .ollama (注意,前面有个点 . ) 目录下的 models 目录下。
打开电脑 设置 系统 关于 界面,可以看到 高级系统设置,如下:
进去后,选择环境变量,新建一项,如下图
可以自己定义一个models目录,将其设置到环境变量中。后续 一路确定后即可。
注意,修改环境变量后,建议重启电脑,保证环境变量生效。我本人重新打开命令窗口,用ollama 下载模型,仍然在C盘下。后来重启一下就好了。如果环境变量没有生效,就重启一下电脑。
至此,就完成了环境准备工作。
三 下载模型并体验模型能力
在cmd命令窗口中,执行 ollama run deepseek-r1:1.5b 即可下载 deepseek r1进行离线体验。
一堆100%之后,我们就完成了模型下载。
之后就可以提问了。本人问了几个诗歌方面的问题,很快发现,本地方式存在比较明显的问题
真实应了网上说的 一本正经的胡说八道。不过,在线版本正确率会高很多。
除了deepseek,大家也可以下载其他模型体验一下。
四 后记
很多事情做了以后,就会有不同的感受,完全不同于在原地 “想” “想” “想”。大家可以试一试。