SoloSpeech：从混合音频中提取目标语音

SoloSpeech 是一项由约翰霍普金斯大学、香港中文大学、南洋理工大学、清华大学和布拉格理工大学等联合推出的开源语音处理项目。它专注于在多人同时讲话的场景下，精准提取某一位说话者的声音。通过级联生成式管道，SoloSpeech 高效分离混合语音信号，大幅提升了目标语音的清晰度和质量。

SoloSpeech 的核心功能是目标语音提取（TSE），也就是从多人混合的音频中精准分离出指定说话者的声音。这项技术可广泛应用于语音识别、会议记录、语音训练数据预处理等需要清晰识别特定声音的场景。

SoloSpeech功能特点  ‌

• 提升语音识别准确率：

  通过提取目标语音，有效减少背景噪声和其他人的干扰，显著提升语音识别效果。

• 优化会议记录：

  在多人会议中，能清晰提取每位发言者的声音，方便整理和回顾。

• 改进语音训练数据：

  为语音识别或合成模型提供更干净的训练数据，提升模型训练效率和性能。

SoloSpeech的应用领域

• 智能语音识别：

  为智能家居、车载助手等设备提供更精准的语音控制体验。

• 远程会议：

  帮助在线会议清晰还原每位发言者的声音，提升沟通效率。

• 教育场景：

  在教学视频中提取教师语音，方便学生学习与理解。

• 音频制作：

  在音频编辑和后期处理中快速分离目标声音，提高制作效率和音质。

开源地址：https://github.com/WangHelin1997/SoloSpeech

界面展示

快速上手指南

AI工具已经被打包成一键启动的版本，只需轻轻点击即可使用，无需再为环境配置中的各种问题烦恼，一切变得更加便捷高效。

电脑配置要求

• 操作系统：Windows 10/11 64位
• 内存：20G以上
• 显卡：至少16G及以上显存的英伟达（NVIDIA）显卡
• CUDA：显卡支持的CUDA版本大于等于12.8版本
• 整个包解压完约16.9G，要留足硬盘空间

如何查看显卡品牌型号和显存：

• 打开任务管理器
• 点击“性能”
• 点击“GPU”
• 右上角可以看到显卡型号，下方可以看到显存大小

使用教程：

① 打开下载页面：

• (方式1)直达链接：https://xyanai.com/1997.html
• (方式2)进入官网www.xyanai.com,搜索“SoloSpeech”

进入后点击页面右侧下载按钮，下载整合包之后解压，建议使用winrar解压（解压软件在文件包中，或者可以自己下载安装，下载地址：https://www.winrar.com.cn/）

不要用Windows自带解压！！不要用360解压！！

注意：文件夹路径和文件名称（包括音频、图片、视频等文件名称）不要出现中文字符，否则部分软件会因识别不出而报错

② 双击“启动程序.exe”，稍等片刻会在浏览器中自动打开操作界面

③ 上传混合音频（就是包含多个说话人的音频），再上传目标说话人参考音频，最后点击“开始提取”

④ 生成的音频结果会显示在下方，可通过播放按钮试听效果，或点击下载按钮保存到指定文件夹。

总结

SoloSpeech 是一款开源的语音处理工具，旨在从多人混合语音中精准提取特定说话者的声音。它通过级联生成式管道，有效提升语音清晰度，广泛应用于语音识别、远程会议、智能助手、教育音频和音频制作等领域，帮助提升语音识别准确率和音频处理效率。