云平台一键部署【SGLang】适用于大型语言模型和视觉语言模型的快速服务框架

SGLang 是一个适用于大型语言模型和视觉语言模型的快速服务框架。它通过共同设计后端运行时和前端语言，使您与模型的交互更快、更可控。

优点：

• 1.吞吐量碾压级优势 

• 2.结构化输出快如闪电 

• 3.多 GPU 优化

SGLang模型已经在趋动云『社区项目』上线，无需自己创建环境、下载模型，一键即可快速部署，快来体验SGLang带来的精彩体验吧！

Github：https://kkgithub.com/sgl-project/sglang 

项目入口：https://open.virtaicloud.com/web/project/detail/548095845019824128

启动开发环境

进入【SGLang】项目主页中，点击运行一下，将项目一键克隆至工作空间，『社区项目』推荐适用的算力规格，可以直接立即运行，省去个人下载数据、模型和计算算力的大量准备时间。

配置完成，点击进入开发环境，根据主页项目介绍进行部署。

使用方法

找到1、使用说明.ipynb和2、调用open-webui界面操作.ipynb分别选中2.1单元格，点击运行，等待生成local URL，分别在右侧添加端口8000和8080，浏览器访问8080外部访问链接，教程图3有服务器的各种参数说明。

教程图1

教程图2

教程图3

项目使用方法：

 

示例展示：

➫温馨提示： 完成项目后，记得及时关闭开发环境，以免继续产生费用！

智汇全球，趋动未来

『社区项目』汇聚全球智慧，是促进技术交流的宝贵平台，期待每一位AI爱好者体验一键部署功能的强大魅力。

同时，我们也热切盼望每一位码友加入，分享您的精品作品，共筑这个充满活力与创新的技术乐园。

趋动云

连接算力・连接人