CMSIS-NN：2.神经网络到CMSIS-NN的转换

---

更多内容：XiaoJ的知识星球

---

---

二、神经网络到CMSIS-NN的转换

要将任何网络转换为CMSIS-NN，遵循以步骤：

.

1.检查支持层：

CMSIS-NN只支持几个层，不支持的层，应尝试CMSIS-NN和CMSIS-DSP功能的等效组合。

例如，CMSIS-NN中没有 LSTM(长短期记忆网络) 层的实现，但是可以用CMSIS-NN和CMSIS-DSP表示如下:

全连接层(CMSIS-NN)
s型和双曲正切激活(CMSIS-NN)
元素向量积(CMSIS-DSP)

.

2.比较ML框架和CMSIS-NN数据布局。

使用的术语：

• 一维张量称为向量

• 二维张量称为矩阵

• 大于2D张量称为张量

与CMSIS-NN相比，ML框架中张量的布局可能遵循不同的约定。

例如，矩阵中的元素可以在内存中按行或列顺序排列。对于一般张量，有更多的排序选择来对应维度的排列。

如果出现以下情况，则必须对层的权重进行重新排序，以便与CMSIS-NN一起使用：

• ML框架和CMSIS-NN排序不同

• 该层是卷积层或全连接层

• 层的输入是矩阵或张量

.

（1）具有全连接层的示例

例如，我们看一下全连接层跟随卷积层的常见情况。这种情况，输入是一个张量。

a.对于 ML 框架：

假设，输入是一个维度是 {2,3,4} 的张量 T_org：

图a1. 输入张量T_org

全连接层使用向量 FT_org 作为输入。它是张量 T_org 的扁平化版本：

图a2. 输入向量 FT_org

假设全连接层的输出有两个元素，则权重矩阵 W_org 的维度为 {2,24}：

图a3. 权重矩阵 W_org

全连接层的目的是计算矩阵乘积： W_org. FT_org

图a4. 全连接层输出

b.对于CMSIS-NN：

CMSIS-NN 对数据的排序方式与 ML 框架的不同。

输入张量T_new 是 T_org 的转置张量 ，维度为 {4,3,2} ：

图b1. 输入张量T_new / T_org 的转置张量

T_new 对应的扁平化向量 FT_new ：

图b2. 扁平化向量 FT_new

要保持全连接层的输出不变，将权重矩阵 W_org 重新排序为 W_new：

图b3. 重新排序的权重矩阵W_new

最终输出 W_new . FT_new = W_org . FT_org

.

（2）卷积层示例

CMSIS-NN中：

• 卷积层的输入和输出的维度：{in通道，x 维度，y 维度}

• 卷积层权重张量的维度：{in通道、x 维度、Y 维度、out通道}

现在，假设您的 ML 框架正在处理维度：

• 输入：{y 维度，x 维度，in通道}

• 权重张量维度：{y 维度、x 维度、in通道、out通道}

必须对 ML 框架维度进行重新排序，以便新的权重张量具有 CMSIS-NN 预期顺序的维度：

• {in通道、x 内核、y 内核、out通道}

在 NumPy 中，可以通过以下方式完成：T_new = T_org.transpose(2,1,0,3)

.

3.量化：

（1）量化

网络量化是个难题。因为从浮点运算切换到定点运算时，会引入截断噪声和饱和效应。

截断噪声：数值被截断而产生的误差。

饱和效应：网络中的激活函数，当输入值过大或过小，它们的输出值会趋于饱和，即输出值接近于最大或最小值。

有两种方法可以解决量化网络的问题：

• 使用量化网络进行训练：在网络训练过程中，使用低精度的数据（如8位或16位定点数）来进行训练。

• 量化现有网络：将已经训练好的浮点网络转化为定点网络。

.

（2）计算激活统计信息。

要确定网络层的输入/输出，必须知道值的范围。意味着要在多个模式上评估网络，并记录每个层的输入和输出值。通常记录统计数据方式：

保留最小值和最大值。

为每个输入和输出计算直方图

.

（3）选择量化方案。

从上面的直方图中，可以看到值往往是集中的。这意味着可以测试几种策略：

• 使用全范围的值，基于最小值和最大值进行量化

• 只关注最可能的值，使用直方图的xx%值范围进行量化

• 更复杂的方案，以检测和删除这个值分布中的异常值

选择一个方案进行量化。

.

4.数据计算：

（1）计算层Q格式。

有了每层的统计数据和量化方案的选择，就可以推导出层的输入和输出的Q格式。

某些层会对输出格式施加约束，例如：

最大池的输出的Q格式与其输入格式相同，因为该算法在CMSIS-NN中是如此实现的。因此，您不能自由选择最大池层的输出格式。

对于全连接层和卷积层，可通过偏移偏置和输出值来独立于输入格式选择输出格式。

在这一步，你需要为每个输入和输出选择一个Q格式。您需要考虑：

• 各层如何连接

• 哪些图层允许自定义输出格式

从基于训练模式统计的网络输入Q格式开始。如果输入层是全连接或卷积层，则基于输出统计定义输出Q格式。否则，根据输入格式和层的性质计算输出Q格式。

过程如下：

tuned：调整。

.

（2）计算shift

shift操作：

是指将数据样本沿着某个方向平移一定的像素。这可以生成更多的训练样本，增加模型的泛化能力。

知道输入和输出的Q格式，你就可以计算偏置移位和输出移位。

如果 fi 是输入的小数位数，fo是输出，fw是权重，fb是偏置，则：

bias shift : (fi + fw) - fb

out shift : (fi + fw) - fo

.

5.生成CMSIS-NN实现：

知道了Q格式以及偏置和输出shift，就可以生成量化系数和代码，以供CMSIS-NN使用。

• 将量化数据和权重数据，转存储到C数组中。第一层CMSIS-NN函数调用。

• 将计算的bias shift、out shift、层API参数转储到buf。其他层调用CMSIS-NN函数。

  • 参数包括：步幅、填充、内核大小、输入维度和输出维度等等。

• CMSIS-NN函数调用，得到输出。

图1. 第一层过程

Reorder：重新调整。

.

6.优化：

• 测试最终的定点版本。

  • 如果定点版本不够好，可更改量化方法或更改网络。最终得到个好的表现。

• 优化最终的CMSIS-NN代码。

  • 使用每个层函数的最有效版本。

  • 通过尽可能多地重用缓冲区来最小化内存使用。

.

三、应用示例

1.使用CMSIS-NN在Cortex-M上部署卷积神经网络

本示例，演示如何把以下神经网络部署到Cortex-M上：

采用CIFAR-10数据集，遵循本教程，能轻松在PC上训练数据集。

上面神经网络由三个卷积层组成，中间穿插着ReLU激活层和最大池化层，最后是一个完全连接的层。该网络的输入是一个32x32像素的彩色图像，它将被分类到10个输出类之一。

可以将每层想象为一个软件框架API。选择适当的CMSIS-NN API 即可实现此网络，如图：

.

（1）量化

将浮点权重/激活数据转换为Qm.n格式，Python转示例如下，主要分三步：

• 查找最小/最大重量

• 找到Qx.y

• 量化权重数据

min_wt = weight.min() 
max_wt = weight.max()# 需要几位二进制位数表示整数、小数。   # np.ceil() 向上取整。
int_bits = int(np.ceil(np.log2(max(abs(min_wt),abs(max_wt))))) 
frac_bits = 7-int_bits # 缩放到[-128,127]范围。      # np.round() 四舍五入。
quant_weight = np.round(weight*(2**frac_bits))
# 将quant_weight映射到原始权重的范围。
weight = quant_weight/(2**frac_bits)

按相同流程将激活数据转换为Qm.n格式，然后总的计算流程将是：

Weight Qx.y * Activation Qx.y + Bias Qx.y -> Output Qx.y

量化权重/激活数据后，将数据导出到头文件中，用于编译嵌入式代码。

#define CONV1_WT {-9,-1,2,6,-4,6,4,-11,8, ...}
#define CONV1_BIAS {-49,-18,-7,-20,-12,-15, ...}
#define CONV2_WT {-3,-9,-16,-14,8,-17, ...}
#define CONV2_BIAS {55,50,34,43,-37,35, ...}
#define CONV3_WT {15,10,3,1,-20,-11,5, ...}
#define CONV3_BIAS {18,36,-46,-45,64,8, ...}
#define IP1_WT {38,-13,5,-20,15,-4,-3, ...}
#define IP1_BIAS {30,-121,-51,77,40,20, ...}

.

（2）应用

训练了网络层并量化了权重/激活数据，可以开始部署我们的网络了。

我们基于Cortex-M微控制器，选择合适开发环境和代码库，并确保在项目中添加CMSIS-NN头文件。

下面，使用CMSIS-NN API 映射网络层：

Layer1：

arm_convolve_HWC_q7_RGB（）四组参数是：输入、卷积核、偏置和输出。

请确保设置了正确的内核大小/填充/步幅，与训练模型相同。

Layer2：

该层包括两个API，arm_maxpool_q7_HWC（）和arm_relu_q7（）。

与第1层一样，请参考网络模型参数，检查池化内核设置。

Layer3：

当输入张量维度是4的倍数时，使用arm_convolve_HWC_q7_fast（），因为这可以很好地利用8位操作上的SIMD 32读取和交换行为。

Layer4：

对于bufferA大小非零的情况，使用arm_avepool_q7_HWC（）。

Layer5：

再次使用卷积API arm_convolve_HWC_q7_fast（）。

Layer 6：

再次使用arm_avepool_q7_HWC（）。

Layer7：

使用arm_fully_connected_q7_opt（），此优化函数旨在使用交错权重矩阵。

最终的代码应该如下：

void run_nn() {q7_t* buffer1 = scratch_buffer;q7_t* buffer2 = buffer1 + 32768;arm_convolve_HWC_q7_RGB(input_data, CONV1_IN_DIM, CONV1_IN_CH, conv1_wt, CONV1_OUT_CH, CONV1_KER_DIM, CONV1_PAD, CONV1_STRIDE, conv1_bias, CONV1_BIAS_LSHIFT, CONV1_OUT_RSHIFT, buffer1, CONV1_OUT_DIM, (q15_t*)col_buffer, NULL);arm_maxpool_q7_HWC(buffer1, POOL1_IN_DIM, POOL1_IN_CH, POOL1_KER_DIM, POOL1_PAD, POOL1_STRIDE, POOL1_OUT_DIM, col_buffer, buffer2);arm_relu_q7(buffer2, RELU1_OUT_DIM*RELU1_OUT_DIM*RELU1_OUT_CH);arm_convolve_HWC_q7_fast(buffer2, CONV2_IN_DIM, CONV2_IN_CH, conv2_wt, CONV2_OUT_CH, CONV2_KER_DIM, CONV2_PAD, CONV2_STRIDE, conv2_bias, CONV2_BIAS_LSHIFT, CONV2_OUT_RSHIFT, buffer1, CONV2_OUT_DIM, (q15_t*)col_buffer, NULL);arm_relu_q7(buffer1, RELU2_OUT_DIM*RELU2_OUT_DIM*RELU2_OUT_CH);arm_avepool_q7_HWC(buffer1, POOL2_IN_DIM, POOL2_IN_CH, POOL2_KER_DIM, POOL2_PAD, POOL2_STRIDE, POOL2_OUT_DIM, col_buffer, buffer2);arm_convolve_HWC_q7_fast(buffer2, CONV3_IN_DIM, CONV3_IN_CH, conv3_wt, CONV3_OUT_CH, CONV3_KER_DIM, CONV3_PAD, CONV3_STRIDE, conv3_bias, CONV3_BIAS_LSHIFT, CONV3_OUT_RSHIFT, buffer1, CONV3_OUT_DIM, (q15_t*)col_buffer, NULL);arm_relu_q7(buffer1, RELU3_OUT_DIM*RELU3_OUT_DIM*RELU3_OUT_CH);arm_avepool_q7_HWC(buffer1, POOL3_IN_DIM, POOL3_IN_CH, POOL3_KER_DIM, POOL3_PAD, POOL3_STRIDE, POOL3_OUT_DIM, col_buffer, buffer2);arm_fully_connected_q7_opt(buffer2, ip1_wt, IP1_IN_DIM, IP1_OUT_DIM, IP1_BIAS_LSHIFT, IP1_OUT_RSHIFT, ip1_bias, output_data, (q15_t*)col_buffer);
}

现在，将相机硬件或其他图像驱动程序添加到代码中，即可使用这个网络啦。

.

---

声明：资源可能存在第三方来源，若有侵权请联系删除！