【AI学习】关于Kimi的MoBA

一直想学习一下这个注意力机制，没顾上

先摘录相关的一点信息，作为备忘：
2 月 18 日，在 DeepSeek 发布新作 NSA（全称）时，Kimi 也发布了一个稀疏注意力架构，叫 MoBA（全称），二者都对传统的 Transformer 注意力机制发起了挑战，这两天在知乎站内引起了热烈的技术讨论，包括苏剑林、章明星在内的多名技术大佬纷纷下场答疑解惑。

其中MoBA论文一作、知乎答主【Andrew Lu】的回答详述了研发过程中三次踩坑的经起伏历，被知友形容为「思维链背后的思维链开源」。也许就像【ZHANG Mingxing】说的，「大模型这套架构最神奇的一点我感觉就是它似乎自己就指出了前进的路线，让不同的人从不同的角度得出了相似的前进方向。」