DeepSeek-R1自写CUDA内核跑分屠榜：开启GPU编程自动化新时代
引言
在AI领域，深度学习模型的性能优化一直是研究者们关注的核心。最近，斯坦福和普林斯顿的研究团队发现，DeepSeek-R1生成的自定义CUDA内核不仅超越了OpenAI的o1和Claude 3.5 Sonnet，还在KernelBench框架中取得了总排名第一的好成绩。本文将深入探讨这一突破性进展，并分析其对未来GPU编程自动化的深远影响。
DeepSeek-R1的突破
KernelBench框架下的表现
KernelBench是一个旨在评估大型语言模型（LLM）编写GPU内核能力的开源框架。它包含250个涵盖各种AI工作负载的任务，分为三个级别：
- Level 1：包含100个单个基本操作，如卷积、矩阵乘法等。
- Level 2：包含100个操作序列，如卷积、ReLU和Bias的组合。
- Level 3：包含50个完整的机器学习架构，如AlexNet和MiniGPT等。
DeepSeek-R1在这些任务中的表现令人瞩目，尤其是在Level 2上，通过迭代优化过程，它的fast1分数从36%提升到了72%。
硬件感知与优化潜力
研究团队还探索了提供硬件信息对模型生成内核的影响。尽管当前的模型很少能够生成针对特定硬件优化的内核，但DeepSeek-R1展示了利用上下文示例进行优化的潜力。例如，在大约50%的Level 1矩阵乘法问题中，R1尝试生成warp矩阵乘加指令（wmma），尽管大多数未能编译成功。
GPU编程自动化的挑战与机遇
挑战
尽管DeepSeek-R1展现了强大的能力，但LLM在生成正确且优于PyTorch基线速度的内核方面仍面临诸多挑战。主要问题包括：
- 执行错误：如CUDA/nvcc/Python编译时错误、CUDA内存违规和运行时错误等。
- 功能正确性问题：输出张量形状和值不匹配。
- 硬件通用性不佳：生成的内核在不同硬件平台上的表现差异显著。
机遇
然而，KernelBench框架及其评估指标fast_p为解决这些问题提供了新的途径。通过重复采样和迭代优化，研究团队发现这些方法能够显著提升模型生成内核的质量。特别是，DeepSeek-R1在Level 2上的改进最为显著，其中执行反馈E和分析器反馈P的组合将fast1从36%提升至72%。
展望未来
进一步的研究方向
为了进一步推动GPU编程自动化的发展，未来的研究可以集中在以下几个方面：
- 开发先进的微调和推理技术：包括智能体工作流（agentic workflows），以提高模型生成内核的准确性和效率。
- 使用其他编程抽象：如ThunderKittens、CUTLASS、Triton等，简化生成问题，使语言模型更容易利用张量核心指令。
- 扩展到其他硬件加速器：当前的评估仅限于GPU，未来的工作可以探索适用于其他硬件平台的应用场景。
结语
DeepSeek-R1在KernelBench框架中的表现标志着一个重要的里程碑，它不仅展示了AI驱动的GPU编程自动化的巨大潜力，也为未来的创新奠定了基础。随着技术的进步和更多高质量数据的开源，我们有理由相信，AI将在不久的将来彻底改变GPU编程的方式。