sglang使用笔记

目录

1. sglang修改docker中的源代码

2. 参数解读

1. sglang修改docker中的源代码

长度过长会报max_req_input_len超过  

长度过长想要自动截取长度，但是原始的代码有bug，加上"--allow-auto-truncate"最终输出只有6个token，需要自己修改，修改流程为

sglang不能自己截断的bug修改，
1. 直接使用docker-compose启动镜像获得一个container_id，然后使用
2 . docker exec -it container_id bash
3. 直接修改docker里面的源代码
4. 重新启动container_id,使代码生效
docker restart container_id

设置"--context-length", "50000"
如果一个170000的就取前面30000加上后面300个，取后面300个是为了可能的结束符或其他符号

─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────