deepseek本地集群部署调研

deepseek本地集群部署调研

硬件要求

大致显卡需求：运行 7B 机型至少需要 8GB 内存，运行 13B 机型至少需要 16GB 内存，运行 33B 机型至少需要 32GB 内存。

技术

Ollama

项目地址：https://github.com/ollama/ollama

vLLM

项目地址：https://github.com/vllm-project/vllm

openwebui

大模型对话界面

项目地址：https://github.com/open-webui/open-webui

k8s*

文档：https://kubernetes.io/zh-cn/docs/home/

集群部署方案，可选用其他技术

实验室原有配置是否有集群管理

备选方案

部署蒸馏模型

接入第三方api

deepseek官网(被攻击，不稳定)

硅基流动（首次注册有免费额度）

火山引擎（首次注册有免费额度）

腾讯云平台（首次注册有免费额度）

阿里云平台（首次注册有免费额度）

天翼云（首次注册有免费额度）

超算互联网

纳米AI

费额度）

阿里云平台（首次注册有免费额度）

天翼云（首次注册有免费额度）

超算互联网

纳米AI

Azure