启智平台华为昇腾910B使用MS-Swift微调Janus-Pro-7/1B

最近想要微调一下DeepSeek出品的Janus多模态大模型

利用启智平台的昇腾910B国产计算卡进行大模型的微调

查看了一下MS-Swift支持了Janus模型的微调，LLamafactory好像暂时还不支持该模型的微调

看到了MS-Swift有单独对昇腾的支持，因此首先要安装swift，根据下述指令安装即可

pip install ms-swift -U
# 安装torch-npu
pip install torchvision==0.18.1
pip install torch-npu==2.3.1 decorator
pip install pillow -U

然后需要安装昇腾版本的Janus

git clone https://gitee.com/ascend/ModelZoo-PyTorch.git
cd ModelZoo-PyTorch/MindIE/MultiModal/Janus-Pro
pip install -r requirements.txt 
pip install torch-npu
pip install -e .

然后需要下载一个数据集启动模型的LoRA微调训练，我在这下载了Modelscope的LaTeX_OCR数据集，使用其中的human_handwrite进行模型的训练，训练脚本如下保存在 swift_lora.sh中

ASCEND_RT_VISIBLE_DEVICES=0 \
swift sft \
    --model /home/ma-user/work/pretrainmodel/Janus-Pro-7B \
    --train_type lora \
    --dataset /home/ma-user/work/dataset/human_handwrite#50 \
    --torch_dtype bfloat16 \
    --num_train_epochs