LLaMA-Factory 微调可配置的模型基本参数

LLaMA-Factory 微调可配置的模型基本参数

flyfish

基本参数

一、模型加载与路径配置

参数名	类型	描述	默认值
model_name_or_path	Optional[str]	模型路径（本地路径或 Huggingface/ModelScope 路径）。	None
adapter_name_or_path	Optional[str]	适配器路径（本地路径或 Huggingface/ModelScope 路径），多路径用逗号分隔。	None
adapter_folder	Optional[str]	包含适配器权重的文件夹路径。	None
cache_dir	Optional[str]	保存从 Hugging Face 或 ModelScope 下载的模型的本地路径。	None
model_revision	str	所使用的特定模型版本。	main
hf_hub_token	Optional[str]	用于登录 HuggingFace 的验证 token。	None
ms_hub_token	Optional[str]	用于登录 ModelScope Hub 的验证 token。	None
om_hub_token	Optional[str]	用于登录 Modelers Hub 的验证 token。	None

二、分词器与词表配置

参数名	类型	描述	默认值
use_fast_tokenizer	bool	是否使用 fast_tokenizer。	True
resize_vocab	bool	是否调整词表和嵌入层的大小。	False
split_special_tokens	bool	是否在分词时将 special token 分割。	False
new_special_tokens	Optional[str]	要添加到 tokenizer 中的 special token，多个用逗号分隔。	None

三、内存优化与加载策略

参数名	类型	描述	默认值
low_cpu_mem_usage	bool	是否使用节省内存的模型加载方式。	True
device_map	Optional[Union[str, Dict[str, Any]]]	模型分配的设备映射（自动管理，无需手动指定）。	None
offload_folder	str	卸载模型权重的路径。	offload
disable_gradient_checkpointing	bool	是否禁用梯度检查点。	False
use_reentrant_gc	bool	是否启用可重入梯度检查点。	True

四、性能优化与加速技术

参数名	类型	描述	默认值
flash_attn	Literal["auto", "disabled", "sdpa", "fa2"]	是否启用 FlashAttention 加速训练和推理。	auto
shift_attn	bool	是否启用 Shift Short Attention (S²-Attn)。	False
mixture_of_depths	Optional[Literal["convert", "load"]]	模型转换为 Mixture of Depths (MoD) 模式的方式。	None
use_unsloth	bool	是否使用 unsloth 优化 LoRA 微调。	False
use_unsloth_gc	bool	是否使用 unsloth 的梯度检查点。	False
enable_liger_kernel	bool	是否启用 liger 内核以加速训练。	False
moe_aux_loss_coef	Optional[float]	MoE 架构中 aux_loss 系数（控制专家负载均衡）。	None

五、数值精度与计算配置

参数名	类型	描述	默认值
upcast_layernorm	bool	是否将 layernorm 层权重精度提高至 fp32。	False
upcast_lmhead_output	bool	是否将 lm_head 输出精度提高至 fp32。	False
compute_dtype	Optional[torch.dtype]	用于计算模型输出的数据类型（自动管理，无需手动指定）。	None
infer_dtype	Literal["auto", "float16", "bfloat16", "float32"]	推理时的模型数据类型。	auto

六、推理与生成配置

参数名	类型	描述	默认值
infer_backend	Literal["huggingface", "vllm"]	推理时使用的后端引擎。	huggingface
use_cache	bool	是否在生成时使用 KV 缓存。	True
model_max_length	Optional[int]	模型的最大输入长度（自动管理，无需手动指定）。	None
block_diag_attn	bool	是否使用块对角注意力（自动管理，无需手动指定）。	False

七、安全与调试配置

参数名	类型	描述	默认值
trust_remote_code	bool	是否信任来自 Hub 上数据集/模型的代码执行。	False
print_param_status	bool	是否打印模型参数的状态。	False
train_from_scratch	bool	是否随机初始化模型权重（从头训练）。	False

八、位置编码与注意力机制

参数名	类型	描述	默认值
rope_scaling	Optional[Literal["linear", "dynamic", "yarn", "llama3"]]	RoPE 缩放策略。	None