当前位置：首页 > news >正文

文字转语音——sherpa-onnx语音识别离线部署C++实现

news 2025/9/28 6:31:08

原文：https://blog.csdn.net/huanrx/article/details/147047543

目的：

C++项目中接入Sherpa-onnx实现文字转语音功能

开发环境

Windows、VS2022

步骤：

1.创建C++空项目，位置放到合适的地方即可。

2.下载Sherpa-onnx动态库。

选择动态库是因为能够避免一些配置上的bug。
方法一：

库文件地址：https://huggingface.co/csukuangfj/sherpa-onnx-libs/tree/main 里边有各个平台的库文件，选择最新版本的window 64bit shared下载。

方法二：

git地址：https://github.com/makdi76/sherpa-onnx

sherpa-onnx教程地址：sherpa-onnx — sherpa 1.3 documentation。如下图：

点击后进入

进入后点击Installation——>Windows 64bit Windows(x64)

进入后是一下界面，选择64-bit Windows(shared lib)，点击下载

3.导入动态库

创建third_party文件夹，将上一步下载的压缩包解压到third_party文件夹。

创建models文件夹，用来放模型文件，暂时先不管

解压缩后目录如下图：

4.动态库设置

打开解决方案窗口，右击项目名“Sherpa_onnx” ——> 点击“属性”

打开界面：

修改内容：

1.C++标准改为 17，如图：

2.配置属性 → VC++目录 → 包含目录：添加目录

E:\VS\Sherpa_onnx\third_party\sherpa-onnx-v1.11.2-win-x64-shared\include

E:\VS\Sherpa_onnx\third_party\sherpa-onnx-v1.11.2-win-x64-shared\include\sherpa-onnx\c-api

自己添加的时候把目录替换成自己工程的，主要是添加动态库的include和c-api这两个文件夹路径

3.链接器 → 常规 → 附加库目录：添加

E:\VS\Sherpa_onnx\third_party\sherpa-onnx-v1.11.2-win-x64-shared\lib

替换成自己的解压的动态库 lib 文件夹路径

3.链接器 → 输入 → 附加依赖项：添加

cargs.lib
sherpa-onnx-c-api.lib
sherpa-onnx-cxx-api.lib

5.下载语言模型

从下边地址能找到预训练模型，我工程里用了kokoro-multi-lang-v1_0和vits-melo-tts-zh_en模型做测试。下载模型后解压到工程目录的models文件夹下。（models是在步骤3导入动态库的时候一并创建的）

模型地址：

https://k2-fsa.github.io/sherpa/onnx/tts/pretrained_models/rtf.html

点击上图对应的模型回跳转到教程中对应模型的位置，由对应模型的下载地址，直接复制下载即可。地址位置如下图：

6.创建Main.cpp

在解决方案中：右击源文件→添加→新建项→改文件名

7.写代码

代码可以查看sherp-onnx中的C++示例代码，下边是根据示例代码写的Kokoro模型和Vits模型。

在Main方法中调用对应方法即可生成对应的音频文件。

#include <iostream>
#include <memory>
#include <c-api.h>
#include <cxx-api.h>
#include <filesystem>int CheckModelFile(std::string model_path) {std::filesystem::path path(model_path);if (std::filesystem::exists(path)) {std::cout << "Model file exists at: " << model_path << std::endl;return 0;}else {std::cerr << "Model file does not exist at: " << model_path << std::endl;return 1;}
}int Kokoro() {using namespace sherpa_onnx::cxx;OfflineTtsConfig config;config.model.kokoro.model = "../models/kokoro-multi-lang-v1_0/model.onnx";config.model.kokoro.voices = "../models/kokoro-multi-lang-v1_0/voices.bin";config.model.kokoro.tokens = "../models/kokoro-multi-lang-v1_0/tokens.txt";config.model.kokoro.data_dir = "../models/kokoro-multi-lang-v1_0/espeak-ng-data";config.model.kokoro.dict_dir = "../models/kokoro-multi-lang-v1_0/dict";config.model.kokoro.lexicon ="../models/kokoro-multi-lang-v1_0/lexicon-us-en.txt,../models/kokoro-multi-lang-v1_0/lexicon-zh.txt";config.model.num_threads = 2;CheckModelFile(config.model.kokoro.model);CheckModelFile(config.model.kokoro.voices);CheckModelFile(config.model.kokoro.tokens);CheckModelFile(config.model.kokoro.data_dir);CheckModelFile(config.model.kokoro.dict_dir);// If you don't want to see debug messages, please set it to 0config.model.debug = 1;std::string filename = "./generated-kokoro-zh-en-cxx.wav";std::string text ="中英文语音合成测试。This is generated by next generation Kaldi using ""Kokoro without Misaki. 你觉得中英文说的如何呢？";auto tts = OfflineTts::Create(config);int32_t sid = 50;float speed = 1.0;  // larger -> faster in speech speedGeneratedAudio audio = tts.Generate(text, sid, speed);
#if 0// If you don't want to use a callback, then please enable this branchGeneratedAudio audio = tts.Generate(text, sid, speed);
#else//GeneratedAudio audio = tts.Generate(text, sid, speed, ProgressCallback);
#endifWriteWave(filename, { audio.samples, audio.sample_rate });fprintf(stderr, "Input text is: %s\n", text.c_str());fprintf(stderr, "Speaker ID is is: %d\n", sid);fprintf(stderr, "Saved to: %s\n", filename.c_str());return 0;
}int Vits() {using namespace sherpa_onnx::cxx;OfflineTtsConfig config;config.model.vits.model = "../models/vits-melo-tts-zh_en/model.onnx";config.model.vits.lexicon = "../models/vits-melo-tts-zh_en/lexicon.txt";config.model.vits.tokens = "../models/vits-melo-tts-zh_en/tokens.txt";config.model.vits.dict_dir = "../models/vits-melo-tts-zh_en/dict";config.model.num_threads = 1;     // 线程数config.model.debug = 1;           // 是否启用调试输出//config.model.provider = "cpu";    // 使用CPU或CUDACheckModelFile(config.model.vits.model);CheckModelFile(config.model.vits.lexicon);CheckModelFile(config.model.vits.tokens);CheckModelFile(config.model.vits.dict_dir);std::string filename = "./generated-vits-zh-en-cxx.wav";std::string text ="中英文语音合成测试。This is generated by next generation Kaldi using ""Kokoro without Misaki. 你觉得中英文说的如何呢？";auto tts = OfflineTts::Create(config);int32_t sid = 0;float speed = 1.0;  // larger -> faster in speech speedGeneratedAudio audio = tts.Generate(text, sid, speed);
#if 0// If you don't want to use a callback, then please enable this branchGeneratedAudio audio = tts.Generate(text, sid, speed);
#else//GeneratedAudio audio = tts.Generate(text, sid, speed, ProgressCallback);
#endifWriteWave(filename, { audio.samples, audio.sample_rate });fprintf(stderr, "Input text is: %s\n", text.c_str());fprintf(stderr, "Speaker ID is is: %d\n", sid);fprintf(stderr, "Saved to: %s\n", filename.c_str());return 0;
}int main() {return Kokoro();
}

8.编译运行程序

运行程序管理器配置 Release x64

可能报错：

1.sherpa_onnx.exe系统错误，找不到 ××××××.dll ，如下图：

解决方法：将找不到的dll文件复制到sherpa_onnx.exe同级目录下。

sherpa-onnx-cxx-api.dll文件是我们的动态库文件，在项目内\third_party\sherpa-onnx-v1.11.2-win-x64-shared\lib文件夹下。

sherpa_onnx.exe是生成的可执行文件，在项目内\x64\Release文件夹下。

复制后如图：

2.遇到下图 0x00007FFFDACF6F4E (sherpa-onnx-c-api.dll)处(位于 Sherpa_onnx.exe 中)引发的异常: 0xC0000005: 读取位置 0x0000000000000000 时发生访问冲突问题，需要结合控制台输出查看，分为两种情况。

第一种：动态链接库问题

下图控制台第一行：The given version [17] is not supported, only version 1 to 10 is supported in this build.

此信息是动态链接库版本不匹配‌ 问题，是‌onnxruntime.dll 版本冲突‌系统中存在多个版本的 onnxruntime.dll，程序运行时错误加载了低版本库（如系统目录 /Windows/System32 中的旧版本）‌。

解决方法：

把动态库文件目录（\third_party\sherpa-onnx-v1.11.2-win-x64-shared\lib文件夹）下的onnxruntime_providers_shared.dll和onnxruntime.dll从动态库目录复制到sherpa_onnx.exe同级目录(\x64\Release)下。

第二种：代码中指定的模型地址不对