昇思学习营-昇思+香橙派+deepseek介绍课程内容及心得

DeepSeek V3/R1轰动全球，带动模型结构和训练方式转变，包含下面三个方面：

• MoE模型结构成为业界主流和后续模型的标准配置
• 类o1/R1慢思考模型
• 大模型开发框架中的预训练、后训练、推理部署环节
  1. 1. 自研模型的moe结构
     2. 自研模型的强化学习
     3. 推理场景下的数据蒸馏及模型吞吐等

昇思MindSpore 2.6框架支持DeepSeek V3/R1 MoE等结构及自研模型特性及昇思mindspore2.6框架的基础结构和cann之间的关系

1. 高性能MOE预训练，性能提升30%
2. 类R1高性能推理，吞吐提升2.8x
3. 易用性提升，SOTA模型Day0迁移
4. 后训练强化学习套件，训推一体
5. AI+科学计算的持续演进

昇腾开发板 - OrangePi AIpro介绍：香橙派OrangePi AIpro采用昇腾AI技术路线，具体为4核64位处理器+AI处理器，集成图形处理器，支持8/20 TOPS AI算力，广泛适用于AI边缘计算、深度视觉学习及视频流AI分析等各个行业。满足大多

数AI算法原型验证、推理应用开发的需求。相关资料可以参考下面的截图。

昇思MindSpore+香橙派的特性及支持训练的深度学习模型列表

特性：

1. 开发友好：动态图易用性提升，类huggingface风格降低开发调试门槛
2. 性能提升：mindspore.jit编译成图，三行代码实现推理性能提升一倍
3. 全流程支持：在香橙派上支持模型训推

支持训练和推理模型名称列表：DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-Janus-Pro-1B 、Qwen1.5-0.5b 、TinyLlama-1.1B 、MiniCPM3-4B DctNet ResNet50 、ViT 、FCN 、ShuffleNet 、SSD 、RNN 、LSTM+CRF GAN 、DCGAN 、Pix2Pix 、Diffusion 、ResNet50_transfer

学习心得：

1. 了解mindspore2.6现有的技术路线及支持的模型训练和推理的支持状况
2. 对昇腾开发板-香橙派的相关产品有一定了解，以及对围绕香橙派开发板的镜像资源库、开发社区及论坛有一定了解，为后续在开发板上进行模型训练和部署做好准备。
3. 对香橙派板上支持的mindspore昇腾开发框架和支持模型有进一步了解，为后续开发相关应用做好基础。