当前位置： 首页 > news >正文

centos系统sglang单节点本地部署大模型

news 2025/8/8 5:04:32

前置工作

本地部署大模型的基本概念和前置工作-CSDN博客

模型部署

这里通过docker容器进行部署。我这里是h20*8，部署deepseek-v3-0324，这个配置和模型都比较大，大家根据自己的硬件对应调整

步骤一

我们要通过sglang部署模型，先拉取sglang的docker镜像，这里下载失败的话就考虑调整docker的镜像源：

 docker pull lmsysorg/sglang:latest

步骤二

通过modelscape下载模型到本地

modelscape模型介绍

http://www.dtcms.com/a/318757.html

相关文章：

  • Sklearn 机器学习 数据降维PCA 自己实现PCA降维算法
  • 如何打造一支AI时代下的IT团队，为企业战略目标快速赋能
  • Java面试宝典：JVM的垃圾收集算法
  • MCU中的晶振（Crystal Oscillator）
  • 【Zephyr】02_从零教你开发芯片级ADC驱动（HAL层篇）
  • 每日五个pyecharts可视化图表-bars（6）
  • 嵌入式硬件中MOSFET基本原理与实现
  • 基于 Socket.IO 实现 WebRTC 音视频通话与实时聊天系统（Spring Boot 后端实现）
  • C语言中级_动态内存分配、指针和常量、各种指针类型、指针和数组、函数指针
  • MATLAB科研数据可视化
  • cuda编程笔记（13）--使用CUB库实现基本功能
  • 嵌入式硬件中MOSFET基本控制详解
  • 嵌入式硬件学习（十一）—— platform驱动框架
  • OpenAI 开源模型 GPT-OSS深度拆解：从1170亿参数到单卡部署，重构AI开源生态
  • 亚马逊采购风控突围：构建深度隐匿的环境安全体系
  • 360纳米AI、实在Agent、CrewAI与AutoGen……浅析多智能体协作系统
  • LabVIEW实验室测试框架
  • 《深入浅出 Django ORM：设计理念与惰性查询实现详解》
  • 炫酷圆形按钮调色器
  • 共识算法介绍
  • macOS 彻底卸载 Python 的完整指南
  • Mac+Chrome滚动截图
  • mac中多版本JDK配置和切换
  • 数据推荐|标贝科技方言自然对话数据集 构建语音交互新基建
  • 两种格式数据介绍——bin 、 yuv文件
  • 【C语言】文件操作全解析
  • 【感知机】感知机(perceptron)模型与几何解释
  • 第14届蓝桥杯Scratch_选拔赛_初级及中级（STEMA）真题2022年12月18日
  • 深度学习之pytorch安装与tensor（张量）
  • 美式期权定价模型之Barone-Adesi-Whaley定价模型