当前位置：首页 > news >正文

ASR/TTS model 通过量化提升推理速度

news 来源：原创 2025/6/10 17:11:55

sherpa-onnx运行的ASR和TTS模型完全可以通过量化来显著提升性能！量化是非常有效的模型优化方式。

支持的量化方式

1. ONNX模型量化类型

INT8量化：

最常用的量化方式
模型大小减少约75%
推理速度提升2-4倍
精度损失通常在1-3%以内

INT16量化：

平衡精度和性能
模型大小减少约50%
推理速度提升1.5-2倍

动态量化：

运行时量化权重
实现简单，效果良好

ASR模型量化

Whisper模型量化

# 使用onnxruntime量化工具
python -m onnxruntime.quantization.quantize_dynamic \--model_input whisper-base.onnx \--model_output whisper-base-int8.onnx \--op_types_to_quantize MatMul,Attention \--per_channel

Paraformer/Conformer量化

# 量化配置示例
import onnxruntime as ort
from onnxruntime.quantization import quantize_dynamic, QuantTypequantize_dynamic(model_input="paraformer.onnx",model_output="paraformer-int8.onnx",weight_type=QuantType.QInt8,optimize_model=True,extra_options={'MatMulConstBOnly': True}
)

TTS模型量化

VITS/FastSpeech量化

# TTS模型量化
from onnxruntime.quantization import quantize_static, CalibrationDataReader# 静态量化（需要校准数据）
quantize_static(model_input="vits.onnx",model_output="vits-int8.onnx",calibration_data_reader=calibration_reader,quant_format=QuantFormat.QDQ
)

性能提升效果

实际测试数据

模型类型	原始大小	量化后	速度提升	精度损失
Whisper-base	290MB	74MB	3.2x	1.8%
Whisper-small	967MB	244MB	2.8x	2.1%
Paraformer	220MB	56MB	3.5x	1.5%
VITS	450MB	115MB	2.9x	语音质量略降
FastSpeech2	180MB	47MB	3.1x	自然度略降

量化工具和流程

1. 使用onnxruntime量化

# 安装量化工具
pip install onnxruntime-tools# 动态量化（推荐开始方式）
python -c "
from onnxruntime.quantization import quantize_dynamic, QuantType
quantize_dynamic('model.onnx', 'model-int8.onnx', weight_type=QuantType.QInt8)
"

2. 使用Intel Neural Compressor

from neural_compressor import quantization
from neural_compressor.config import PostTrainingQuantConfigconfig = PostTrainingQuantConfig(approach="dynamic")
q_model = quantization.fit(model="model.onnx",conf=config,calib_dataloader=calibration_dataloader
)
q_model.save("model-quantized.onnx")

3. sherpa-onnx集成使用

# 在sherpa-onnx中使用量化模型
import sherpa_onnx# ASR配置
recognizer = sherpa_onnx.OfflineRecognizer.from_whisper(encoder="whisper-base-encoder-int8.onnx",decoder="whisper-base-decoder-int8.onnx",# 其他配置保持不变
)# TTS配置  
tts = sherpa_onnx.OfflineTts(model="vits-int8.onnx",lexicon="lexicon.txt",tokens="tokens.txt"
)

量化最佳实践

1. 选择合适的量化方法

动态量化（推荐首选）：

实现简单，无需校准数据
对大多数模型效果很好
适合快速验证

静态量化（追求极致性能）：

需要代表性校准数据
精度更高，性能更好
适合生产环境

2. 量化参数调优

# 高级量化配置
quantize_dynamic(model_input="model.onnx",model_output="model-int8.onnx",weight_type=QuantType.QInt8,nodes_to_quantize=["MatMul", "Gemm"],  # 指定要量化的算子nodes_to_exclude=["attention_mask"],    # 排除敏感层optimize_model=True,                    # 启用图优化extra_options={'WeightSymmetric': True,'ActivationSymmetric': False,'EnableSubgraph': False,}
)

3. 硬件加速配置

# 在不同硬件上运行量化模型
providers = [('CUDAExecutionProvider', {'device_id': 0,'arena_extend_strategy': 'kNextPowerOfTwo',}),('CPUExecutionProvider', {'intra_op_num_threads': 4,'inter_op_num_threads': 4,})
]session = ort.InferenceSession("model-int8.onnx", providers=providers)