网站收录 作用大学生创新创业大赛获奖名单

VLLM 调用有哪些超参数

主要添加的可选参数包括：

1. 模型加载参数：

   • low_cpu_mem_usage=True：减少模型加载时的CPU内存占用
   • load_in_4bit=True：使用4位量化（需要安装bitsandbytes库）
   • quantization_config：自定义量化配置

2. 生成参数：

   • temperature：控制生成文本的随机性（较低值更确定性，较高值更随机）
   • top_p和top_k：控制采样策略
   • num_beams：束搜索宽度（增加该值会提高生成质量但降低速度）
   • repetition_penalty：减少重复文本的生成
   • length_penalty：控制生成文本的长度偏好

3. 其他参数：