填充标记左填充及标签只包含补全内容解析（117）
填充标记左填充及标签只包含补全内容解析（117）
假设我们使用的是低端 GPU，且没有 Flash Attention 2，那么最佳选择如下：
- 若要同时对提示（prompts）和补全（completions）进行训练，可设置
packing=True且data_collator=None。 - 若仅对补全进行训练，可设置
packing=False、data_collator=DataCollatorForCompletionOnly，同时将tokenizer.padding_side设为'left'。
pack_trainer = SFTTrainer(
model=peft_model,
processing_class=tokenizer,
train_dataset=dataset