在线量化算法(QAT) --学习记录2
在线量化算法 --2
- 三、在线量化算法（伪量化节点的梯度反传）
-
-
- DoReFa-Net
- PACT
- DSQ
- LSQ & LSQ+
- 在线量化算法小结
-
在线量化算法(QAT) --学习记录1
当我们开始要做一个QAT任务的时候，需要确定好以下事项
- 1.硬件的量化setting
- 2.硬件的量化拓扑特性:
- 3.做好BN模拟fuse;
- 4.做好节点的插入
- 5.做好伪量化节点的梯度反传
- 6.先做一个PTQ(min-max /mse)，存下来量化参数给QAT
- 7.设置好QAT的超参数，开始训练
- 8.导出模型和相应的量化参数。
注意
- 上述步骤中，1.2.3.4.8与硬件推理引擎相关
- 6.7是通用的QAT训练技巧5:12345
步骤5，往往就是QAT量化的精度损失所在，也是算法的可以改进的地方