EMO模型详解及代码复现
EMO定义
EMO（Efficient Mobile Networks）是一种 面向移动端的轻量化网络模型 ，旨在 在参数、FLOPs和性能之间实现平衡 ，特别适用于 密集预测任务 。EMO的设计理念源于对CNN和Transformer架构的深入理解，通过整合两者的优势，实现了高效的模型性能。
EMO的核心是 反向残差移动块（iRMB） ，它巧妙地结合了CNN的效率和Transformer的动态建模能力。iRMB的数学表达式可以抽象为：
F(·) = Conv(MHSA(·))
这个表达式反映了iRMB的结构：先应用多头自注意力（MHSA）操作，然后进行卷积（Conv）操作。
通过堆叠不同层级的iRMB，EMO构建了一个类似于ResNet的高效模型。EMO的网络结构设计遵循以下原则：
-
简约性 ：仅由iRMB组成，没有多样化的模块。
-
高效性 ：采用逐渐增加的扩展率和通道数，以平衡模型复杂度和性能。