海洋公园网站建设方案网站开发加设计要多少钱

前言

最近DeepSeek大模型很火，实际工作中也有使用，很多人觉得需要很好的显卡才能跑起来，至少显存需要很高，但实际上一般的核显机器也能跑起来，只不过内存要求要大，对于个人而言，实际上Mac M芯片的内存也行，就是有点贵（戏称黄金内存）😅，实际上AMD也有专门供给AI的APU AI Max系列（增大内存带宽和通道）或者NVIDIA的定制机，当然真实生产力另说。

实际体验

还是使用Ollama启动器：M2 Mac mini跑Llama3_在m2上运行llama3-8b-CSDN博客

这一块就不说了，说点真实体验

执行模型拉取，笔者使用M4 macmini 丐版可以运行14b模型，运行流畅

ollama run deepseek-r1:14b

大约9G左右

内存并没怎么占用，经测试使用Intel 12400 Ubuntu核显都能跑，但是速度要比macmini慢一些，建议如果是核显机器跑7b或者8b模型，毕竟是运行模型并不是训练模型并不怎么耗显存。

预测：8G的电脑可以跑7b或者8b的模型，占用应该在6G左右

16G的电脑跑14b模型，占用在9G左右

32G电脑可以跑32b模型，占用估计24G左右

UI

笔者以前基本上不使用UI，直接就是命令行，其实也没事，不过图形化还是可以增加使用效率，这里就用一个免费的软件ChatBox为例，当然也可以使用docker运行各种UI，也是免费的，我这里为了不允许docker，就用了桌面端软件。

简单设置一下就可以用了

我这里使用的Ollama，如果使用其他启动器，相对应即可，这个UI已经默认选择就配置好了API接口（启动器官网有相关说明）。

然后选择

其他的也可以自己设置，随便问一个问题

相对于Llama3，中文不会水土不服

使用体验而言，14b已经很不错了，当然模型越大越好，但是越大的模型就越需要显存。

总结

仅仅是分享体验感受，实际上体验本地的AI模型的门槛是很低的，一般的Intel 核显就行，也需要一定的显存，不过不是特别消耗，如果实在不足那么也可以降低模型的大小，当然蒸馏模型越小失真就越严重，物理定律是不能违背的。另外也可以配置一个UI界面，如果是生产环境就建议部署docker应用，自己本地体验实际上用免费的桌面软件就好了。