当前位置：首页 > news >正文

大模型推理：LM Studio在Mac上部署Deepseek-R1模型

news 来源：原创 2025/5/20 2:56:24

LM Studio

LM Studio是一款支持离线大模型部署的推理服务框架，提供了易用的大模型部署web框架，支持Linux、Mac、Windows等平台，并提供了OpenAI兼容的SDK接口，主要使用LLama.cpp和MLX推理后端，在Mac上部署时选择MLX推理后端会显著提升大模型的生成速度。

环境信息

机器信息：Mac studio M2 192G， MacOS
部署模型：部署DeepSeek-R1-Distill-LLama-70B 8bit / DeepSeek-R1-Distill-Qwen-32B 8bit 模型
部署框架：LM Studio 0.3.13

安装

LM Studio官网下载安装文件，正常安装即可。

模型下载

通过命令行或者web界面进行大模型下载时，默认走huggingface.co，国内需要特殊设置才能访问，因此推荐换掉该源使用modelscope或者hf-mirror进行下载。

下载源更换：
- 命令行进入目录：/Applications/LM Studio.app/Contents/Resources/app/.webpack，执行open . ，会以文件形式弹出该目录
- 文本编辑器分别打开文件：main/index.js和rederer/main_window.js，选择用 modelscope.cn 或者 hf-mirror.com 替换掉 huggingface.co，全部替换，保存关闭
- 重启LM Studio即可。
大模型下载：
- 方式一：web页面下载
  在web页面选择需要下载的大模型，等待完成即可，完成后在web界面l或者命令行load（lms load [模型名称]）。
- 方式二：命令行形式下载
  在命令窗口使用命令 lms get [model name], 模型名称需要上述下载源里面存在，完成后在web界面l或者命令行load（lms load [模型名称]）。
- 方式三：Git lfs 下载
  上述两种方式，我这儿下载时经常遇到下载暂停的形象，为解决这个问题，推荐 Git 大文件下载方式（推荐Modelscope）。
  - 安装Git lfs、初始化git lfs，可自行deepseek问下。
  - 模型下载后（Mac上通常选择mlx-community仓库中的mlx模型）将其放入目录：~/.lmstudio/models，结构是：仓库名称(可自定义)->包含文件权重的文件夹（文件夹名称可自定义）
  - 最后在web界面l或者命令行load（lms load [模型名称]）。
  - 注意：也可通过lms imort命令去导入，但是文件夹下只能含有一个文件，而safetensors文件基本是多个，所以不是很推荐