当前位置: 首页 > news >正文

【DeepSeek】本地PC部署和运行DeepSeek-R1-70b

本地PC配置:

1、硬盘:SSD 512GB;

2、CPU:i9-10900X(10核、20线程)

3、内存:128GB

4、显卡:RTX2060-EV0 6GB

5、系统:Windows 11 Ltsc x64

首先,我们需要下载一个大模型部署工具,这里使用的是开源的 Ollama ,其最新版本为0.5.11。由于我的模拟环境是 Windows PC,所以 Ollama 下载的是 Windows 版本。

下载地址如下:

https://github.com/ollama/ollama/releases/download/v0.5.11/OllamaSetup.exe

这个程序下载速度非常慢,无论是从 Github 下载,还是从官网下载。所以,需要一个加速网站,比如下面的这个网站:

https://github.akams.cn/

我们将 Ollama 的 Github 下载地址黏贴在后面的URL地址框里面,然后点击后边的开始下载按钮即可开始下载,速度还是可以的。

下载后,双击安装 Ollama ,这里就不展示安装过程了。安装结束后,在任务栏的隐藏图标区域里面就可以看见 Ollama 的图标了(白的的那个)。

安装完成后,我们再下载一个可以本地与DeepSeek进行界面交互的聊天软件 - Chatbox,下载地址如下:

https://download.chatboxai.app/releases/Chatbox-1.9.8-Setup.exe

下载后一路安装即可,后面会在启动界面配置相关 DeepSeek 的版本信息。

接下来,就要进行最重要的一步了,使用 Ollama 下载 DeepSeek 了。我先后下载了 DeepSeek 的8b和70b版本,8b版本的使用,感觉很流畅,但是AI给出的答案,很多都是驴头不对马嘴,给我的感觉非常不好。所以下面我给大家演示的是 70b 版本的下载和使用。

打开一个CMD窗口,输入并执行下面的命令即可(有点像 docker 镜像的下载),这个模型体积非常大,达到了42GB,8b的体积好像是4.7GB(记不太清了)。

ollama run deepseek-r1:70b

等完全下载结束后,解压成功了,就可以打开 Chatbox,并做如下设置:

在模型这个标签页下面,执行下面的配置,然后保存即可。

  • 选择模型提供方:OLLAMA API
  • API域名默认即可
  • 选择模型为deepseek-r1:70b

 

下面我们就可以在 Just chat这个专栏里面与 DeepSeek-R1:70b的模型进行交流了,不过我的电脑配置,运行70b这个版本的模型,DeepSeek的思考(Thinking)和回复的输出,非常、非常、非常卡!不过相比于 8b 的模型,这个模型给出的答案,相对来说,准确度会高很多,但是由于这个模型无法联网,因此回复里面的部分结果,还是有问题的,比如给的JDK的下载地址感觉就有问题,一个是无法访问,另外下载的JDK是Oracle的商业JDK,但是JAVA环境变量配置又是OpenJDK。

实在是太卡了,无法进行更多的测试,下面是我问的这个问题后,CPU和内存消耗的情况,看起来CPU 被消耗了接近一半,内存消耗了 39GB。

 看来我的PC跑 70b 确实压力山大,明天换 32b 版本试试。

相关文章:

  • 人工智能知识架构详解
  • 自学Java-面向对象高级(final、单例类、枚举类、抽象类、接口)
  • Leetcode 146 LRU缓存 的三种解法
  • 基于Ollama安装deepseek-r1模型搭建本地知识库(Dify、MaxKb、Open-WebUi、AnythingLLM)
  • 算法1-1 玩具谜题
  • FreeBSD系统使用pyenv安装不同版本python,比如python3.12
  • win11 labelme 汉化菜单
  • 集成测试总结文档
  • JMeter工具介绍、元件和组件的介绍
  • 【复现DeepSeek-R1之Open R1实战】系列1:跑通SFT(一步步操作,手把手教学)
  • Python有哪些应用场景
  • 等距节点插值公式
  • 动态规划:解决复杂问题的高效策略
  • 目标检测中的数据增强:翻转、旋转、缩放、裁剪、亮度、模糊等【附完整源码】
  • 用Python实现线性回归:从数学原理到代码实战
  • 【16】思科AireOS:创建使用 LWA 认证的 WLAN
  • CPT205 计算机图形学 OpenGL 3D实践(CW2)
  • 基于GFF3文件提取基因的位置信息
  • ram的使用——初始化很重要
  • 通过用户登录案例,详细说明线程的7种状态
  • 澳大利亚大选今日投票:聚焦生活成本与“特朗普问题”
  • 五大白酒去年净利超1500亿元:贵州茅台862亿领跑,洋河营收净利齐降
  • 国际油价重挫!美股道指连跌三月,啥情况?
  • 伊朗外长:伊美第四轮间接谈判将于5月3日举行
  • 新希望一季度归母净利润4.45亿,上年同期为-19.34亿
  • 锦江酒店:第一季度营业收入约29.42亿元,境内酒店出租率同比增长