昇思学习营-【模型开发与适配】学习心得_20250724

一、认识香橙派

通过对《昇思+昇腾开发板：软硬结合玩转DeepSeek开发实战》视频课程的学习
了解了以下信息：
1.1 AIpro（20T 24G）香橙派
1.2 了解了香橙派tf卡系统的制卡流程

二、认识大语言模型

通过对课程的学习了解了许多小的大语言模型，如：
• DeepSeek-R1-Distill-Qwen-1.5B
• DeepSeek-Janus-Pro-1B
• Qwen1.5-0.5b
• TinyLlama-1.1B
• MiniCPM3-4B
本次咱们是在香橙派上跑DeepSeek-R1-Distill-Qwen-1.5B大语言模型

三、了解本次课程的软件需求

3.1 需要对香橙派设置一定的swap缓存
3.2 CANN版本要求社区版 8.0.0beta1
3.3 MindSpore版本要求2.5.0
3.4 MindSpore NLP 版本要求0.4分支

四、了解了模型LoRA的微调流程

4.1 在加载模型时，直接加载fp16的权重
4.2 限制拉起的python进程数
4.3 手动限制进程最大内存占用，开了swap然后再限制内存就可以空出来给NPU用

五、了解了模型推理和性能优化的方案

5.1 加载LoRA adapter调优
5.2 在generate_kwargs中添加repetition_penalty=1.2调优
5.3 使用jit优化