当前位置： 首页 > news >正文

使用 GPT-SoVITS 克隆声音，很详细

news 来源：原创 2025/5/19 19:10:42

使用 GPT-SoVITS 克隆声音，很详细

  • 一、前言
  • 二、下载
  • 三、启动
  • 四、克隆声音
    • 1、准备克隆音频
    • 2、分离人声伴奏
    • 3、音频分割
    • 4、语音降噪
    • 5、ASR工具
    • 6、语音文本校对标注工具
    • 7、训练模型
    • 8、微调训练
    • 9、推理

一、前言

最近对文本转语言很感兴趣，但对直接在网站上生成的音频音色却不是很满意，经过一番寻找，发现了“GPT-SoVITS” ，对想要的声音进行克隆。

二、下载

可以到这里下载

在这里插入图片描述

下载后解压即可

这里将其解压到如下目录：

E:\software\gpt-sovits

在这里插入图片描述

三、启动

进入“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821”

双击“go-webui.bat”即可
在这里插入图片描述

会出现一个黑窗口

在这里插入图片描述

启动成功会打开浏览器跳转到这个页面

在这里插入图片描述

四、克隆声音

1、准备克隆音频

先准备好想要提起的声音，这里以克隆芭芭拉的声音为例

在这里插入图片描述

可以到这里下载原音频

下载后将其放到某个文件夹中，这里放到

F:\file\GptSovitsFile\sucai\芭芭拉

2、分离人声伴奏

回到“GPT-SoVITS”中，点击开启“UVR5-WebUI”

在这里插入图片描述

稍等一会儿后会跳转到新的页面

在这里插入图片描述

选择模型，一般选择“HP2_all_vocals”即可，也可以阅读上方解释，选择适合自己的模型

模型介绍：

HP2_all vocals：人声伴奏分离模型，提取音频中所有人声部分和背景音部分。

HP5_only_main_vocal：提取音频中的主唱人声，排除和声和伴唱，适合处理歌曲。

model_bs_roformer_ep_317_sdr_12.9755：去掉混音中的干扰成分，增强信噪比。

onnx_dereverb_By_FoxJoy：去混响模型，减少音频中由于环境回声或混响造成的声音模糊。

VR-DeEchoAggressive：去回声模型，针对严重的回声进行处理，偏向“激进处理”。

VR-DeEchoDeReverb：结合去回声和去混响的双重功能，处理音频中的回声和混响问题。

VR-DeEchoNormal：去回声模型，适用于一般程度的回声处理，偏向“温和处理”。

在这里插入图片描述

接着输入存放待分离音频路径，前面已经提到将其放到

F:\file\GptSovitsFile\sucai\芭芭拉

在这里插入图片描述

指定输出主人声文件夹和指定输出非主人声文件夹保持默认即可

在这里插入图片描述

分类之后会保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt”

在这里插入图片描述

再选择导出文件格式，这里选择 wav

在这里插入图片描述

最后点击转换

在这里插入图片描述

看到成功的信息表示转换完成

在这里插入图片描述

再查看输出目录 uvr5_opt

在这里插入图片描述

两条音频都试听一下，找出人声音频，因为要克隆声音，伴奏音频没用，这里将其删除了

在这里插入图片描述

这时就可以回到主界面，关闭“UVR5-WebUI”

在这里插入图片描述

3、音频分割

这里主要针对长音频，如果音频本来就不长，就不需要分割了

回到这界面，已知上面分离的音频保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt”路径

这里路径为：

E:\software\gpt-sovits\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\output\uvr5_opt

将文件夹路径放到切分输入路径

在这里插入图片描述

点击开启语言切割

在这里插入图片描述

看到输出信息显示“切割结束”表示切割完成

在这里插入图片描述

4、语音降噪

主要是处理有杂音的音频，如果音频干净可不降噪，直接点击“开启语言降噪即可”

在这里插入图片描述

看到降噪输出信息提示降噪完成即可

在这里插入图片描述

完成后可在“output”下生成“denoise_opt”文件夹

在这里插入图片描述

里面就是降噪的音频

在这里插入图片描述

原来的音频就干净，降噪后对比原音频只是小声了点

5、ASR工具

这一步主要是生成带时间戳的文本，如果需要的是中文，默认即可。

点击“开启离线批量ASR”

在这里插入图片描述

看到输出提示完成即可

在这里插入图片描述

生成文件在“asr_opt”文件夹

在这里插入图片描述

在这里插入图片描述

文件内容如下

在这里插入图片描述

6、语音文本校对标注工具

这一步主要是校对文本 ASR 工具生成的文本是否正确，对错误的文本进行修改。

保持默认，点击“开启打标WebUI”即可

在这里插入图片描述

会跳转到一个新的页面

在这里插入图片描述

因为音频比较短，这里只有一段文本如果音频较长，这里是有多段文本的

检查文本框中的文本是否正确，不正确则进行修改，为了防止出错，建议修改一段点一下“Submit Text”

在这里插入图片描述

这里原文本为：

你喜欢麻辣小鱼干吗？我这还有两条，那给你一条。

将其改为：

你喜欢麻辣小鱼干吗？我这还有两条，呐~给你一条。

确认无误之后回到主界面，点击“关闭打标WebUI”

在这里插入图片描述

7、训练模型

承接上面，将主界面拉到最顶部，选择“1-GPT-SoVITS-TTS”

在这里插入图片描述

为你的模型取一个名字，这里取名“bbl”

在这里插入图片描述

其他不用修改，拉到最下面，点击“开启一键三连”

在这里插入图片描述

看到结束的提示即可

在这里插入图片描述

这一步是把你的声音样本转换成项目训练模型支持的特定格式，会在日志文件夹“logs”下生成以前面模型命名的文件夹（bbl）

在这里插入图片描述

里面文件如下

在这里插入图片描述

8、微调训练

承接上面的主界面，网上拉到命名模型那一部分，点击“1B-微调训练”

在这里插入图片描述

参数默认即可，先“开启SoVITS”

在这里插入图片描述

等待训练完成

在这里插入图片描述

因为本次使用的是“v2”版本的“GPT-SoVITS”，生成的模型保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\SoVITS_weights_v2”

在这里插入图片描述

模型如下

在这里插入图片描述

为什么是两个模型？（总训练轮数）/（保存频率）

接着点击“开启GPT训练”

在这里插入图片描述

等待训练完成

在这里插入图片描述

因为本次使用的是“v2”版本的“GPT-SoVITS”，生成的模型保存在“安装目录\GPT-SoVITS-v2-240821\GPT-SoVITS-v2-240821\GPT_weights_v2”

在这里插入图片描述

模型如下

在这里插入图片描述

同样，三个模型是因为（总训练轮数）/（保存频率）

9、推理

承接上面的主页面，将其往上拉到命名模型下方，点击“1C-推理”

在这里插入图片描述

选择GPT、SoVITS模型，如果没有看到就点击一下“刷新模型路径”

在这里插入图片描述

选择参数最大的模型，效果最好

在这里插入图片描述

在这里插入图片描述

勾选“启用并推理版本”，再点击“开启TTS推理WebUI”

在这里插入图片描述

会跳转到一个新页面

在这里插入图片描述

这是模型区，如果在主界面忘记选，可以在这里选，一般选择参数最大的，效果最好

在这里插入图片描述

这是推理区，可以将前面处理好的音频拖入，比如前面降噪后的音频

在这里插入图片描述

再加上音频台词，就是对应音频的台词

你喜欢麻辣小鱼干吗？我这还有两条，呐~给你一条。

最后在右边添加需要生成音频的文本，这里是：

从来生死都看淡

在这里插入图片描述

推理设置保持默认即可，点击“合成语音”就会生成对应音频

在这里插入图片描述

最后是文本切分区，如果文本很长，可以先放到左边，点击切分，切分方式保持默认，再将右边切分好的文本放到文本生成音频区域

在这里插入图片描述

相关文章：

  • 蓝桥杯 Java B 组之总结与模拟题练习
  • Asp.Net Core MVC 中级开发教程
  • 计算机视觉：卷积神经网络(CNN)基本概念(二)
  • 09综合算法练习题
  • C++ 中的栈与堆：区别与使用场景详解
  • NLP 八股 DAY1：BERT
  • 双轴伺服电机驱动控制器AGV、AMR专用双伺服电机驱动控制器解决方案
  • AI大模型+RPA
  • 分享在职同时准备系统分析师和教资考试的时间安排
  • autogen_core中的DataclassJsonMessageSerializer类
  • Mybatis高级(动态SQL)
  • 基于CanMV IDE 开发软件对K210图像识别模块的开发
  • 2025 (ISC)²CCSP 回忆录
  • 【前端】 react项目使用bootstrap、useRef和useState之间的区别和应用
  • AWS上基于高德地图API验证Amazon Redshift里国内地址数据正确性的设计方案
  • AI法理学与责任归属：技术演进下的法律重构与伦理挑战
  • 【问】强学如何支持 迁移学习呢？
  • 网络安全威胁是什么
  • 【STM32】江科大STM32学习笔记汇总(已完结)
  • Ubuntu 系统迁移
  • 盲人不能刷脸认证、营业厅拒人工核验，央媒：别让刷脸困住尊严
  • 浙江推动人工智能终端消费：家居机器人纳入以旧换新补贴范围
  • LPR名副其实吗？如果有所偏离又该如何调整？
  • 波兰总统选举投票开始，将是对亲欧路线的一次严峻考验
  • 英国知名歌手批政府：让AI公司免费使用艺术家作品是盗窃
  • 上博东馆常设陈列入选全国博物馆“十大精品”