当前位置： 首页 > news >正文 VLLM专题（二十六）—使用 Docker news 来源：原创 2025/5/15 12:44:50 使用 vLLM 的官方 Docker 镜像 vLLM 提供了一个官方 Docker 镜像用于部署。该镜像可用于运行与 OpenAI 兼容的服务器，并可在 Docker Hub 上获取，名称为 vllm/vllm-openai。 docker run --runtime nvidia --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HUGGING_FACE_HUB_TOKEN=<secret>" \ 相关文章： 使用HTML+JavaScript生成一个贪吃蛇游戏-demo 案例5_1:单位数码管显示0 ERC-6909 最小多代币标准 2000-2023年各地级市二氧化碳排放量数据/地级市CO2排放量 高数1.4 无穷小与无穷大 React-state响应式内部数据(类组件Hook两种方式整理) Infura 简介 英文LaTeX中左右引号怎么打 Unet nn-Unet 【动手学深度学习】简单多层感知机实现图像分类处理 linux 常用命令及命令作用 驱动通信封装 【VUE】ant design vue实现表格table上下拖拽排序 Node.js框架Express、Koa、Koa2、Egg 和 NestJS 的对比分析 4张图，9个方法，搞定 “信贷风控策略调优” 在vue项目中，使用Patch请求，实现根据id修改某张发票的日结状态 【前端】入门基础（二）格式化标签、img标签 【免费】2004-2017年各地级市进出口总额数据 单片机外设快速入门篇（六）——中断篇 kali通过永恒之蓝漏洞攻击目标机 北京13日冰雹过后，已受理各险种报案近3万件 上海145家博物馆、73家美术馆将减免费开放 费高云不再担任安徽省人民政府副省长 乌拉圭前总统何塞·穆希卡去世 “一码难求”的Manus开放注册但价格不菲，智能体距离“实用”还有多远 中国巴西关于乌克兰危机的联合声明
使用 vLLM 的官方 Docker 镜像 vLLM 提供了一个官方 Docker 镜像用于部署。该镜像可用于运行与 OpenAI 兼容的服务器，并可在 Docker Hub 上获取，名称为 vllm/vllm-openai。 docker run --runtime nvidia --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HUGGING_FACE_HUB_TOKEN=<secret>" \ 相关文章： 使用HTML+JavaScript生成一个贪吃蛇游戏-demo 案例5_1:单位数码管显示0 ERC-6909 最小多代币标准 2000-2023年各地级市二氧化碳排放量数据/地级市CO2排放量 高数1.4 无穷小与无穷大 React-state响应式内部数据(类组件Hook两种方式整理) Infura 简介 英文LaTeX中左右引号怎么打 Unet nn-Unet 【动手学深度学习】简单多层感知机实现图像分类处理 linux 常用命令及命令作用 驱动通信封装 【VUE】ant design vue实现表格table上下拖拽排序 Node.js框架Express、Koa、Koa2、Egg 和 NestJS 的对比分析 4张图，9个方法，搞定 “信贷风控策略调优” 在vue项目中，使用Patch请求，实现根据id修改某张发票的日结状态 【前端】入门基础（二）格式化标签、img标签 【免费】2004-2017年各地级市进出口总额数据 单片机外设快速入门篇（六）——中断篇 kali通过永恒之蓝漏洞攻击目标机 北京13日冰雹过后，已受理各险种报案近3万件 上海145家博物馆、73家美术馆将减免费开放 费高云不再担任安徽省人民政府副省长 乌拉圭前总统何塞·穆希卡去世 “一码难求”的Manus开放注册但价格不菲，智能体距离“实用”还有多远 中国巴西关于乌克兰危机的联合声明
