本地部署DeepSeek R1满血版大模型
一、前言
老周上一篇分享了《本地部署DeepSeek R1大模型》,本地受硬件条件限制,只跑了80亿参数量的模型。
1.5b模型基本可以在大部分个人电脑甚至手机中运行,如果你有 6G 显存以上,那么可以部署7b模型,如果有16G显存,可以尝试14b的模型。而对于32b的模型,则需要24G显存的显卡,例如 3090 / 4090 系列;70B模型,则需要至少2张24G显存的显卡。 如果显存资源不足但内存足够,也可以尝试运行,只不过会使用CPU+GPU混合推理的模式,运行速度相比单纯的GPU模式会下降很多。
一般来说,参数量越大,模型的性能越好,尤其是在复杂任务(如自然语言理解、生成、推理等)上。
你可能要说,老周啊,我想本地部署参数量大的模型,但我硬件资源有限。老周笑了笑说,你是既要又要还要啊!不过没关系,老周帮你安排好。
二、实操
2.1 注册硅基流动账号
登录 https://cloud.siliconflow.cn/
用手机号注册一个账号
2.2 提取API key
登录后,打开API密钥,新建一个API密钥,如下图这样,点击复制一下。
打开Cherry Studio软件,点击模型服务这里的硅基流动,粘贴刚刚的API密钥。
我同样让DeepSeek帮我安排一个行程,CPU还剩93%,基本上不吃我本地的CPU和内存。
2.3 我让DeepSeek帮我生成一个网页端的五子棋小游戏
直接可以在浏览器中打开:
我执黑方,AI执白方,感觉匹配的是一个新手AI,老周七步秒了AI。
三、总结
这种方案即不要求电脑配置,还能用上满血版的DeepSeek-R1,回答速度还很快,算是目前最优方案了,免费的真香。
当然,这个方案是备选方案,官网能使用的情况下还是推荐直接官网使用,不过最近DeepSeek经常提示服务器繁忙,让你想用的时候没得用,没关系,老周这本地部署DeepSeek R1满血版大模型也很香,速度也算快关键免费不吃你的硬件资源。