第二次中医知识问答微调

由于昨天微调效果并不理想，因此更换数据集和参数进行重新进行了微调

本次微调参数如下：

llamafactory-cli train \

    --stage sft \

    --do_train True \

    --model_name_or_path /home/qhyz/zxy/LLaMA-Factory/model \

    --preprocessing_num_workers 16 \

    --finetuning_type lora \

    --template deepseek3 \

    --flash_attn fa2 \

    --dataset_dir data \

    --dataset knowledge \

    --cutoff_len 4096 \

    --learning_rate 1e-05 \

    --num_train_epochs 2.0 \

    --max_samples 70309 \

    --per_device_train_batch_size 2 \

    --gradient_accumulation_steps 12 \

    --lr_scheduler_type cosine \

    --max_grad_norm 1.0 \

    --logging_steps 5 \

    --save_steps 100 \

    --warmup_steps 0 \

    --packing False \

    --report_to tensorboard --logging_dir single_log4 \

    --output_dir saves/DeepSeek-R1-7B-Distill/lora/train_4.0 \

    --bf16 True \

    --plot_loss True \

    --trust_remote_code True \

    --ddp_timeout 180000000 \

    --include_num_input_tokens_seen True \

    --optim adamw_torch \

    --lora_rank 4 \

    --lora_alpha 8 \

    --lora_dropout 0.1 \

    --lora_target q_proj,v_proj \

    --deepspeed cache/ds_z2_config.json

数据集部分数据截图：