php网站建设培训班优化软件有哪些
fastchat 一年没发版了,但是代码里是支持 llama3 的,参考这里直接修改pip依赖源码:https://github.com/lm-sys/FastChat/blob/main/fastchat/conversation.py#L164
【搜LLAMA3关键字】只有几处;
其次修改 PAIR_config.yaml,在里面配置llama3模型:
local_llama3_8b_instruct:target_model:model_name_or_path: 【你自己的模型本地路径】use_fast_tokenizer: Falsedtype: bfloat16pad_token: <|end_of_text|>num_gpus: 1use_vllm: Truefschat_template: llama-3