微网站建设图片河南高端网站建设公司

一、在线量化基础概念

在线量化工程师:真实量化的硬件(手机等)没法训练网络，所以在显卡上用模拟量化来训网络，一直训到网络完全适应模拟量化为止。

怎么在训练的时候，模拟量化这个过程呢?

左边是真实量化的流程图
右边是模拟量化的流程图（重点关注红色的伪量化节点）

在线量化：通过这种插入伪量化节点的方法改造了网络结构，使得模型前传的过程中，考虑到了量化带来的误差用这个网络去训练

只改变网络，不改变loss：只在网络里面插入节点，但是不改变loss

同义名词说明：

• 后训练量化 /离线量化/PTQ/Post-training quantquaptization

• 量化感知训练:/在线量化/训练时量化/QAT /Quantization Aware Training>

离线量化和在线量化的区别

训练与压缩 可以看作几乎解耦的两个操作