FunASR：语音识别与合成一体化，企业级开发实战详解
简介
FunASR是由阿里巴巴达摩院开源的高性能语音识别工具包，它不仅提供语音识别(ASR)功能，还集成了语音端点检测(VAD)、标点恢复、说话人分离等工业级模块，形成了完整的语音处理解决方案。 FunASR支持离线和实时两种模式，能够高效处理多语言音频，并提供高精度的识别结果。结合ModelScope生态，FunASR可以与文本到语音(TTS)模型无缝衔接，实现语音识别与合成一体化。本文将从零开始，详细介绍FunASR的环境搭建、模型选择、核心功能实现及企业级部署优化，帮助开发者快速掌握这一前沿技术。
一、环境搭建与模型安装
FunASR的环境搭建相对简单，主要依赖Python和PyTorch生态。首先需要准备开发环境，确保系统满足最低要求：Python≥3.8、PyTorch≥1.13和Torchaudio。FunASR支持多种部署方式，包括本地Python部署和Docker容器化部署。对于新手开发者，推荐使用本地Python部署；而对于企业级应用，Docker部署更加安全高效，支持高并发处理。
1. 本地Python部署
本地部署主要分为三个步骤：克隆FunASR仓库、安装依赖库和配置模型路径。首先，从GitHub克隆FunASR仓库：
git clone https://github.com/modelscope/FunASR.git
cd FunASR
然后，安装必要的依赖库。FunASR支持Conda和pip两种安装方式，推荐使用Conda创建独立的开发环境：
conda create -n funasr python=3.9
conda activate funasr
conda install pytorch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 pytorch-cuda=11.8 -c pytorch -c nvidia
完成环境配置后，安装FunASR库：
pip install -U funasr
如果需要使用工业预训练模型，还需安装ModelScope和HuggingFace：
pip install -U modelscope huggingface huggingface_hub
首次运行时，FunASR会自动下载所需模型到本地缓存目录（.cache/modelscope/hub/iic）。开发者也可以手动下载模型并放置在指定路径下。
2. Docker容器部署
对于企业级应用，Docker部署更加适合。FunASR提供了预构建的Docker镜像，支持CPU和GPU两种配置。以下是Docker部署的步骤：
首先，拉取FunASR镜像：
docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.6
然后，创建模型存储目录并启动容器：
mkdir -p ./funasr-runtime-resources/models
docker run -p 10095:10095 -it --privileged=true \-v $PWD/funasr-runtime-resources/models:/workspace/models \registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-cpu-0.4.6
进入容器后，启动服务：
cd FunASR/runtime
nohup bash run_server.sh \--download-model-dir /workspace/models \--vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \--model-dir damo/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-onnx \--punc-dir damo/punc_ct-transformer_zh-cn-common-vad_realtime-vocab272727-onnx \--lm-dir damo/speech_ngram_lm_zh-cn-ai-wesp-fst \--itn-dir thuduj12/fst_itn_zh \--certfile 0 \--hotword /workspace/models/hotwords.txt > log.txt 2>&1 &
企业级应用通常需要高并发处理能力，可以通过docker-compose实现多实例部署：
version: "3.7"
services:funasronline:image: funasr-cpu:0.4.6container_name: funasronlinerestart: alwaysprivileged: truenetworks:- asrnetports:- "10095:10095"volumes:- "./funasr-runtime-resources/models:/workspace/models"command: bash -c "cd /workspace/FunASR/runtime && nohup bash run_server.sh --download-model-dir /workspace/models --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx --model-dir damo/speech_paraformer-large-vad-punc_asr nat-zh-cn-16k-common-vocab8404-onnx --punc-dir damo/punc_ct-transformer_zh-cn-common-vad_realtime-vocab272727-onnx --certfile 0 --hotword /workspace/models/hotwords.txt"
networks:asrnet:driver: bridge
运行docker-compose up启动服务。Docker部署支持SSL证书配置和热词模型加载，通过--certfile 0可以关闭SSL，--hotword参数指定热词文件路径。
二、模型选择与核心功能实现
FunASR提供了丰富的预训练模型，涵盖了多种语音处理任务。根据不同的应用场景，可以选择合适的模型组合。以下是FunASR的主要模型及其用途：
| 模型名称 | 任务类型 | 训练数据 | 参数量 |
|---|---|---|---|
| paraformer-zh | 语音识别(非实时) | 60,000小时中文 | 220M |
| paraformer-zh-streaming | 语音识别(实时) | 60,000小时中文 | 220M |
| paraformer-en | 语音识别(非实时) | 50,000小时英文 | 220M |
| fsmn-vad | 语音活动检测(VAD) | 5,000小时中英文 | 0.4M |
| ct-punc | 标点恢复 | 100M中英文 | 290M |
| cam++ | 说话人分离 | 5,000小时 | 7.2M |
| damo/speech_campplus Sv_zh-cn_16k-common | 说话人确认 | 5,000小时 | 7.2M |
1. 语音识别(ASR)
语音识别是FunASR的核心功能，支持离线和实时两种模式。离线模式适合处理完整的音频文件，实时模式则适用于流式音频输入。以下是离线语音识别的代码示例：
from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess# 初始化模型
model = AutoModel(model=