accelerate并行计算:训练环境和训练参数的配置字典
accelerate config default

compute_environment:
- 值为
"LOCAL_MACHINE",表示计算环境是在本地机器上进行训练,而不是在云端或其他分布式计算集群环境。
debug: - 值为
false,意味着当前训练过程没有开启调试模式。如果设置为 true,通常会输出更多详细的调试信息,便于排查问题。
distributed_type: - 值为
"MULTI_GPU",说明采用的是多 GPU 分布式训练方式,即利用多块 GPU 并行处理数据来加速训练过程。
downcast_bf16