当前位置： 首页 > wzjs >正文

美国最大的网络公司排名seo建站工具

wzjs 2025/8/25 17:48:07
美国最大的网络公司排名,seo建站工具,ag网站建设,如何做一个网站的seo目录 一、单例加载多模型 （一） 原生多模型支持（vLLM ≥0.3.0） （二） 针对 vLLM 单实例部署多模型时 只有最后一个模型生效 的问题，结合实际测试和源码分析，以下是具体原因和解决方…

目录

一、单例加载多模型

（一） 原生多模型支持（vLLM ≥0.3.0）

（二） 针对 vLLM 单实例部署多模型时 只有最后一个模型生效 的问题，结合实际测试和源码分析，以下是具体原因和解决方案：

二、多实例并行部署

三、实现动态切换的关键技术

四、模型的接口

Tip：此方法是问的DeepSeek-R1，但是亲测下方法不太可行，大家有兴趣的话，可以自测，也欢迎提出解决方法一起交流。

一、单例加载多模型

（一） 原生多模型支持（vLLM ≥0.3.0）

  • 功能特性：
    vLLM 从 0.3.0 版本开始，通过 --model 参数支持 多模型同时加载，可在单服务实例中托管多个模型。

  • 模型名称映射：默认情况下，模型名称（API 调用时使用的名称）与模型路径的最后一个目录名一致。若需自定义名称，可通过 --served-model-name 参数单独指定

部署命令示例：

python -m vllm.entrypoints.openai.api_server \
--host 0.0.0.0 \
--port 8000 \
--model /data/2-model/13-DeepSeek-R1-Distill-Qwen-14B --served-model-name DeepSeek-R1-Distill-Qwen-14B \
--model /data/2-model/13-DeepSeek-R1-Distill-Qwen-32B --served-model-name DeepSeek-R1-Distill-Qwen-32B \
--gpu-memory-utilization 0.85 \
--max-num-batched-tokens 32768 \
--max-model-len 8192 \
--dtype half \
--tensor-parallel-size 8 \
--swap-space 4 \
--max-num-seqs 100

API 调用时的模型选择

在发送请求时，通过 model 字段指定目标模型名称。例如

curl http://localhost:8000/v1/completions \-H "Content-Type: application/json" \-d '{"model": "model1",  # 指定加载的第一个模型"prompt": "Hello, my name is","max_tokens": 50}'

实际测试结果是只有后面的模型有效，前面无效，使用的显卡是V100，不清楚是否与显卡型号有关。并且使用接口v1/models，查询到的列表也只有后面的模型。

{"object": "list","data": [{"id": "DeepSeek-R1-Distill-Qwen-32B","object": "model","created": 1742550945,"owned_by": "vllm","root": "/data/2-model/13-DeepSeek-R1-Distill-Qwen-32B","parent": null,"max_model_len": 8192,"permission": [{"id": "modelperm-7d269b10ff4b4abe91e32308a8b395b8","object": "model_permission","created": 1742550945,"allow_create_engine": false,"allow_sampling": true,"allow_logprobs": true,"allow_search_indices": false,"allow_view": true,"allow_fine_tuning": false,"organization": "*","group": null,"is_blocking": false}]}]
}

（二） 针对 vLLM 单实例部署多模型时 只有最后一个模型生效 的问题，结合实际测试和源码分析，以下是具体原因和解决方案：

问题根源分析

  1. vLLM 版本兼容性

    • 关键结论：vLLM 原生支持多模型部署的功能存在版本限制，实际测试发现 vLLM ≤0.3.3 版本中多模型支持不完善（即使文档标明支持），需升级到 vLLM ≥0.4.0。

    • 验证方法：

      pip show vllm | grep Version
# 若版本低于 0.4.0，升级至最新版
pip install -U vllm

  2. 模型名称冲突

    • 若多个模型的默认名称相同（如路径不同但目录名相同），vLLM 会覆盖先前加载的模型，导致仅最后一个生效。

    • 示例错误：

      # 模型路径为 /models/llama-7b 和 /models/llama-7b-finetuned
# 默认名称均为 "llama-7b"，导致冲突

  3. 显存不足

    • 若多个模型总显存需求超过 GPU 容量，vLLM 可能静默失败，仅加载最后一个模型。

解决方案

1. 升级 vLLM 并显式指定模型名称

# 升级到最新版 vLLM
pip install -U vllm# 启动服务时通过 --served-model-name 指定唯一名称
python -m vllm.entrypoints.api_server \--model /path/to/model1 --served-model-name model1 \--model /path/to/model2 --served-model-name model2 \--port 8000

2. 验证模型加载状态

访问 /v1/models 接口检查已加载模型：

curl http://localhost:8000/v1/models
# 正常返回应包含所有模型名称
{"data": [{"id": "model1", "object": "model"},{"id": "model2", "object": "model"}]
}

3. 显存优化配置

  • 调整显存利用率（默认 0.9）：

    # 降低显存利用率阈值，预留空间
python -m vllm.entrypoints.api_server \--model model1 --model model2 \--gpu-memory-utilization 0.8

  • 启用量化（如 4-bit）：

    # 仅适用于支持量化的模型（如 Llama、Qwen）
python -m vllm.entrypoints.api_server \--model model1 --quantization awq \--model model2 --quantization awq

4. 多实例部署（显存不足时）

若单卡显存无法承载多模型，改用多实例 + 反向代理：

# 实例1（GPU 0）
CUDA_VISIBLE_DEVICES=0 python -m vllm.entrypoints.api_server \--model model1 --port 8000# 实例2（GPU 1）
CUDA_VISIBLE_DEVICES=1 python -m vllm.entrypoints.api_server \--model model2 --port 8001# Nginx 配置负载均衡
upstream vllm_servers {server localhost:8000;server localhost:8001;
}server {location /v1/completions {proxy_pass http://vllm_servers;}
}

调试步骤

  1. 查看服务日志：

    # 启动时添加 --log-level debug
python -m vllm.entrypoints.api_server --model model1 --model model2 --log-level debug# 观察日志中是否有 "Loading model model1..." 和 "Loading model model2..." 的提示

  2. 显存监控：

    # 使用 nvidia-smi 实时监控显存占用
watch -n 1 nvidia-smi

  3. API 测试：

    # 分别调用两个模型
curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d '{"model": "model1", "prompt": "Hello"}'
curl http://localhost:8000/v1/completions -H "Content-Type: application/json" -d '{"model": "model2", "prompt": "Hello"}'

最终建议

  • 版本要求：确保 vLLM ≥0.4.0（最新版为 0.4.1）。

  • 命名唯一性：使用 --served-model-name 显式指定唯一名称。

  • 资源评估：预计算模型显存需求（公式：参数数量 × 2~4 GB），必要时拆分多实例。

若问题仍未解决，可提供具体模型名称、vLLM 版本及错误日志，进一步定位原因。

二、多实例并行部署

  • 适用场景：
    若模型显存占用较大（如 70B 参数级别），单卡无法同时加载多个模型，需启动多个 vLLM 实例，每个实例绑定独立 GPU。

  • 部署示例：

# 实例1（GPU 0）
CUDA_VISIBLE_DEVICES=0 python -m vllm.entrypoints.api_server \--model model_path_1 --port 8000# 实例2（GPU 1）
CUDA_VISIBLE_DEVICES=0,1,2,4 \
python -m vllm.entrypoints.api_server \--model /data/model/DeepSeek-R1-Distill-Qwen-32B \--served-model-name DeepSeek-R1-Distill-Qwen-32B  \--host 0.0.0.0 \--port 8001 \--dtype half \--tensor-parallel-size 4 \--swap-space 4 \--gpu-memory-utilization 0.85

失败：虽然按照上述运行实例成功了，但是运行的结果中的接口，只有少数几个，并且使用api调用接口还是报错。 

只有如下几个接口：

INFO 03-21 18:58:56 [launcher.py:26] Available routes are:
INFO 03-21 18:58:56 [launcher.py:34] Route: /openapi.json, Methods: HEAD, GET
INFO 03-21 18:58:56 [launcher.py:34] Route: /docs, Methods: HEAD, GET
INFO 03-21 18:58:56 [launcher.py:34] Route: /docs/oauth2-redirect, Methods: HEAD, GET
INFO 03-21 18:58:56 [launcher.py:34] Route: /redoc, Methods: HEAD, GET
INFO 03-21 18:58:56 [launcher.py:34] Route: /health, Methods: GET
INFO 03-21 18:58:56 [launcher.py:34] Route: /generate, Methods: POST

调用/generate接口，提示失败：

INFO:     172.16.12.206:57498 - "POST /generate HTTP/1.1" 500 Internal Server Error
ERROR:    Exception in ASGI application

路由切换：
通过反向代理（如 Nginx）或自定义 API 网关，根据负载均衡策略（随机、轮询等）将请求分发到不同端口：

# Nginx 配置示例（随机路由）
upstream vllm_servers {server localhost:8000;server localhost:8001;
}server {location /v1/completions {proxy_pass http://vllm_servers;}
}

三、实现动态切换的关键技术

(1) 模型热切换

  • 动态加载/卸载：
    通过 vLLM 的 AsyncLLMEngine 或 LLM 类编程控制，调用 load_model() 和 unload_model() 实现模型热插拔。

from vllm import LLM# 初始化引擎
llm = LLM(model="model_path_1")# 动态加载新模型
llm.add_model("model_path_2")# 卸载旧模型
llm.remove_model("model_name_1")

(2) 请求级模型选择

  • API 参数指定：
    在请求的 JSON 数据中通过 model 字段显式指定目标模型（需提前加载）。

  • 权重随机分配：
    在网关层添加随机权重逻辑（如 50% 概率选择模型 A，50% 选择模型 B）： 

import randomdef route_request(prompt):models = ["model_name_1", "model_name_2"]selected_model = random.choice(models)return call_vllm_api(model=selected_model, prompt=prompt)

3. 资源管理与优化建议

(1) 显存分配策略

  • 共享显存优化：
    启用 PagedAttention 和 vLLM 的 KV Cache 内存管理，减少多模型并行时的显存碎片。

  • 量化压缩：
    对非核心模型使用 4-bit/8-bit 量化（如 bitsandbytes），降低单模型显存占用。

(2) 性能监控

  • 指标跟踪：
    监控各模型的吞吐量（tokens/s）、显存利用率、请求延迟，动态调整负载权重。

  • 故障熔断：
    设置超时阈值和错误率熔断机制，避免单个模型故障影响整体服务。

4. 典型应用场景

  • A/B 测试：
    同时部署多个模型版本，随机分配流量对比效果（如响应质量、速度）。

  • 混合专家（MoE）：
    将不同领域的模型组合使用（如通用模型 + 垂直领域微调模型），按需切换。

  • 灾备冗余：
    主模型故障时自动切换到备份模型，保障服务连续性。

总结

  • 可行性：vLLM 支持多模型部署，可通过单实例多模型或多实例路由实现动态切换。

  • 推荐方案：

    • 中小规模场景：使用原生多模型加载（--model 参数），通过 API 字段切换。

    • 大规模生产环境：部署多实例 + Kubernetes 集群，结合 Istio 实现智能流量分发。

  • 注意事项：需平衡显存占用与模型数量，建议预计算资源需求（参考公式：显存需求 ≈ 模型参数 × 2~4 GB）。

四、模型的接口

Available routes are:
Route: /openapi.json, Methods: GET, HEAD
Route: /docs, Methods: GET, HEAD
Route: /docs/oauth2-redirect, Methods: GET, HEAD
Route: /redoc, Methods: GET, HEAD
Route: /health, Methods: GET
Route: /load, Methods: GET
Route: /ping, Methods: GET, POST
Route: /tokenize, Methods: POST
Route: /detokenize, Methods: POST
Route: /v1/models, Methods: GET
Route: /version, Methods: GET
Route: /v1/chat/completions, Methods: POST
Route: /v1/completions, Methods: POST
Route: /v1/embeddings, Methods: POST
Route: /pooling, Methods: POST
Route: /score, Methods: POST
Route: /v1/score, Methods: POST
Route: /v1/audio/transcriptions, Methods: POST
Route: /rerank, Methods: POST
Route: /v1/rerank, Methods: POST
Route: /v2/rerank, Methods: POST
Route: /invocations, Methods: POST

可参考：vLLM参数设置及遇到问题和单模型运行的参数设置_vllm modelname-CSDN博客

http://www.dtcms.com/wzjs/483902.html

相关文章：

  • 软件下载网站如何履行安全管理义务确保提供的软件不含恶意程序云南网络推广seo代理公司
  • 哈尔滨网站建设视频号关键词搜索排名
  • 常州西站建设规划重庆优化seo
  • 企业在网站推广百度搜索引擎排名
  • ai做网站页面建多大的企业seo推广的绝密诀窍曝光
  • 网上下载的网站模板怎么用关键词的优化和推广
  • 数据处理网站开发百度网页翻译
  • 龙口建网站公司价格福建seo优化
  • wordpress媒体库图片分类2019网站seo
  • 注册域名成功后怎样建设网站微博推广方法有哪些
  • 做电商自建网站怎样重庆网站页面优化
  • 安阳网红街搜索引擎优化学习
  • 东莞网站优化软件东台网络推广
  • 平台开发工程师网站文章优化技巧
  • 怎么把自己的网站推广海南网站推广
  • 服装网站模块方案海南网站制作公司
  • 怎么看网站什么时候做的友情链接又称
  • 织梦怎么制作手机网站杭州seo网站推广排名
  • 找个人合伙做网站网络广告联盟
  • 网页设计网站链接怎么做郑州网站网页设计
  • 网站建设与维护专业百度视频下载
  • 建设网站运营方案百度推广哪家做的最好
  • 家具网站建设案例宁波seo网络推广报价
  • 做企业手机网站营销广告文案
  • phpcms网站后台搜索引擎营销的分类
  • 湖南平台网站建设公司云建站模板
  • 公安局网站建设方案黄页推广引流
  • java .net做网站东莞网站建设方案外包
  • 一个做网站的团队需要哪些跨境电商网站
  • 网站优化的方式有哪些石家庄谷歌seo公司