在线量化算法(QAT) --学习记录1
在线量化算法
- 一、在线量化基础概念
-
- **同义名词说明：**
- 离线量化和在线量化的区别
- 二、在线量化基本流程
-
- 2.1、QAT整体的 pipeline
- 2.2、QAT超参选择
- 2.3、QAT的几个关键点
一、在线量化基础概念
在线量化工程师:真实量化的硬件(手机等)没法训练网络，所以在显卡上用模拟量化来训网络，一直训到网络完全适应模拟量化为止。
怎么在训练的时候，模拟量化这个过程呢?
左边是真实量化的流程图
右边是模拟量化的流程图（重点关注红色的伪量化节点）
在线量化：通过这种插入伪量化节点的方法改造了网络结构，使得模型前传的过程中，考虑到了量化带来的误差用这个网络去训练
只改变网络，不改变loss：只在网络里面插入节点，但是不改变loss
同义名词说明：
-
后训练量化 /离线量化/PTQ/Post-training quantquaptization
-
量化感知训练:/在线量化/训练时量化/QAT /Quantization Aware Training>
离线量化和在线量化的区别
训练与压缩 可以看作几乎解耦的两个操作