unsloth笔记：基本介绍
更快的速度、更省的内存训练、运行、评估大模型
1 支持的模型
All Our Models | Unsloth Documentation
1.1 Dynamic GGUF/instruct 4-bit
- llama.cpp使用的新模型格式，专为高效、本地推理设计
- 注：GGUF无法微调
- 只保留推理所需的内容，如量化后的权重、推理元信息
-
不包含训练所需的梯度结构、参数层名、优化器状态
-
不支持反向传播
-
通常是 4-bit 静态量化，已经丢失了训练精度所需的权重信息
-
Instruct 4-bit (safetensors)
-
Instruct：代表模型是指令微调（Instruction-Tuned）版本，即已经训练过能更好理解指令/对话任务
-
4-bit：表示该模型已经被4-bit 量化（通常用于 QLoRA），显著降低了显存需求。
-
safetensors：是一种更安全的模型文件格式（相对
.bin），支持高效加载、避免执行恶意代码。 -
可直接用于低成本推理或继续进行LoRA / QLoRA 微调
-
1.1.1 deepseek家族
1.1.2 llama家族
1.1.3 gemma家族
1.1.4 Qwen家族
1.1.5 mistral家族
1.1.6 Phi家族
1.1.7 其他
1.2 16-bit and 8-bit Instruct
基本上instruct 4-bit的有的这边都有
也可用于推理和微调，区别主要在于精度和资源消耗
1.3 Base 4 + 16-bit
未经过指令微调的模型的4-bit和16-bit量化版本
1.3.1 llama家族
1.3.2 qwen家族
1.3.3 gemma 家族
1.3.4 Mistral家族
1.4 unsloth版本模型命名后缀说明
| unsloth-bnb-4bit | Unsloth 的动态 4bit 量化模型，精度更高，占用略多显存 |
| bnb-4bit | 普通 BitsAndBytes 4bit 量化模型 |
| 无后缀 | 原始模型（16/8bit） |
2 可调参数推荐
| max_seq_length | 下文长度，Llama-3 支持到 8192，但建议先用 2048 测试 |
| dtype | 默认None，若使用新 GPU 可设为 torch.float16 或 bfloat16 |
| load_in_4bit | 启用 QLoRA，减少 4 倍显存消耗 QLoRA 的准确性如今已经接近甚至超过 LoRA，建议默认使用 |
| full_finetuning | 若设为 True，则执行全参数微调（不推荐） |
3 选择instruct模型还是base模型
| 数据量情况 | 推荐选择 | 说明 |
|---|---|---|
| 超过 1000 行 | Base 模型 | 数据量充足，能充分训练出新行为 |
| 300–1000 行高质量数据 | Base 或 Instruct | 视任务而定，两者都可以 |
| 少于 300 行 | Instruct 模型 | 小样本建议保留已有指令能力，仅做轻微定制 |
-
任务明确 + 数据少 → 用 Instruct 模型做轻微定制即可
-
任务复杂 / 数据多 → 从 Base 模型开始训练，得到效果更稳的定制模型