吉林省住房和城乡建设厅网站6搜索引擎哪个好

MATLAB联动本地部署的 DeepSeek 大模型

1. 为什么要本地部署DeepSeek模型

1. 保护个人/公司数据隐私：

   • 部署本地大模型能有效避免敏感数据上传至云端，保障隐私安全。

2. 无网络情况（如野外作业等）：

   • 在无网络环境下依然可以使用强大的 AI 模型，特别适用于野外科研、偏远地区办公等场景。

3. 研究学习：

   • 开发者和研究人员可通过本地部署，深入学习和调试模型参数，方便进行实验和个性化定制。

2. 运行效果

测试环境：MacBook M3, 16GB RAM

3. 本地部署步骤

B站演示视频

3.1 下载 LM Studio (大模型部署软件)

LM Studio 是一款便捷的大模型部署工具，支持多平台，下载方式如下：

1. 访问 LM Studio 官网。
2. 根据操作系统选择合适版本下载并安装。
3. 安装过程非常简单，按提示操作即可。

3.2 下载开源模型权重及部署到指定位置

下载 DeepSeek 开源模型权重，确保硬盘空间充足。模型权重文件大小因版本不同而有所差异：

• 完整模型：约 2GB，适用于对模型精度要求较高的场景。
• 量化版本：约 700MB，更适合硬件资源有限的设备。

3.3 模型权重文件放置位置

将模型文件按照以下路径结构存放，确保 LM Studio 能正确识别：

/发布者文件夹/模型名称/模型权重文件（.gguf 格式）

示例路径：

/DeepSeek/ChatModel/deepseek-chatmodel.gguf

3.4 加载模型

1. 打开 LM Studio，进入聊天界面。
2. 点击 “选择模型”，找到已配置的 DeepSeek 模型。
3. 点击加载。

3.5 模型加载设置（默认即可）

加载模型时，会弹出配置界面，包括以下参数：

• 上下文长度：默认最大，适合大多数使用场景。
• 使用设备：可选择 CPU 或 GPU，推荐使用 GPU 提升性能。
• CPU 线程数：默认即可，特殊需求可根据硬件配置调整。

3.6 开启本地服务端

如果需要通过 API 调用本地模型，可开启服务端功能：

1. 在 LM Studio 中找到 “开启服务端” 选项。
2. 记录下服务端的地址和端口，供后续调用使用。

3.7 使用 MATLAB 调用本地模型

以下是使用 MATLAB 调用本地部署的 DeepSeek 模型的示例代码：

clc;
clear;
close all;% 设置API URL
url = 'http://localhost:1234/v1/chat/completions';  % 本地模型服务地址% 构建消息体，保持与API要求一致
messages = struct(...'role', {'system', 'user'}, ...'content', {'You are a helpful assistant.', 'matlab写一段求解二元一次方程根的程序'} ...
);% 定义请求体
payload = struct(...'model', 'deepseek', ...  % 替换为你的本地模型名称'messages', {messages} ...
);% JSON编码请求体
payloadJson = jsonencode(payload);% 设置请求头，确保格式正确
options = weboptions(...'HeaderFields', {...'Authorization', ['Bearer ' 'sk-']; ...'Content-Type', 'application/json'; ...}, ...'MediaType', 'application/json', ...'Timeout', 30 ...  % 延长超时时间
);% 发送POST请求
response = webwrite(url, payloadJson, options);% 输出响应结果
disp(response);
responseText = response.choices.message.content;

4. 常见问题排查

4.1 模型无法识别？

• 检查文件夹结构是否正确，确保三层路径完整。
• 确认模型权重文件格式为 .gguf。

4.2 加载模型卡顿？

• 模型加载时 CPU 和内存占用较高是正常现象。
• 尝试使用量化版本，或调整加载设置。

4.3 模型响应慢？

• 硬件配置是否满足模型运行需求？
• 尝试切换至 GPU 加速模式。

5. 附录资料

百度网盘链接提取码: xhjn