比奇堡合唱团制作教学,AI翻唱教学动漫角色歌曲
前言
动漫角色AI翻唱歌曲的视频在各大视频平台上广受欢迎,吸引了无数观众的目光。无论是懒洋洋、蜡笔小新还是海绵宝宝,这些可爱的角色以其独特的声音特点音色,收获了很多粉丝。今天,我将为大家揭秘背后的AI声音模型是如何制作出来的。
首先,要训练出一个精准的动漫角色声音模型,关键在于收集充足的动漫角色语音样本。这些样本需涵盖角色在各种情绪状态下的声音,如快乐、愤怒、迷茫等,确保样本的多样性和丰富性。我们可以通过动画片、相关视频或音频资料来搜集这些宝贵的声音素材。这是整个过程中至关重要的第一步。
紧接着,我们将运用先进的深度学习框架。RVC技术,即深度学习驱动的语音转换技术,其核心在于将输入的源声音与目标声音进行精确对齐和映射,实现声音的转换。RVC技术主要包括两个阶段:训练阶段与推理阶段。
模型可以选择自己训练,也可以直接从模型工坊下载模型,直接下载歌曲推理即可。
模型下载可以访问 mxgf.cc 有百款的动漫角色模型,也有变声器音色模型。
以下是模型的训练步骤,跟着来 自己也可以的!
一、RVC免费软件 变声器和歌曲翻唱声音克隆与替换
rvc介绍
全称 Retrieval-based-Voice-Conversion-WebUI 简称 RVC
一个基于VITS的简单易用的语音转换(变声器)框架
RVC 是一款前沿的音色替换项目,可以进行歌曲的翻唱,和实时的变声,具有低延迟、优秀的变声效果、声音模型扩展性、个性化和先进的深度学习技术等特点。
该项目的核心功能之一是有更高的自由性和声音模型扩展性,可以对任意动漫角色和人物进行实时的声音转换,前提是进行训练声音模型。这为用户提供了极大的自由度和创新空间。,这种声音模型的转换是通过深度学习实现的,可以通过简单的设置和选择输入输出,将自己的声音转换成不同的声音音色,从而实现声音的个性化和可玩性。
下载声音模型访问模型工坊 mxg.cc
优质RVC模型,SVC声音模型、Bert-VITS 2模型,文本转语音,声音克隆及歌曲翻唱网站,提供免费/收费下载及声音模型以及声音定制服务 (mxgf.cc)
整合包下载并解压,启动go-web.bat 等待运行
会跳转到浏览器,本地内网地址
进入训练界面,默认的参数默认就行,不用动
3,输入音频文件夹路径,处理数据
将要训练的的干声数据集放到本地任意英文路径文件夹内复,点击处理数据
处理数据
出现 end preprocess 表示处理完毕
特征提取
(特征提取是从声音信号中提取有用信息的过程,这些信息可以被用于训练模型进行分类或识别)
出现 all-feature-done 表示已经处理完毕,可以进行最后一步处理了
开始训练,设置训练的步数和保存频率
保存頻率 这个数值表示多少轮保存一次模型,如果你的电脑很牛很稳定 50轮也是可以的,不然就推荐 20-40轮保存一次模型
總訓練輪數一般 300轮,模型就可以出炉了
每张显卡的batch_size 如果你的显存是8则填8,显存多少,填多少数值。
点击一键训练
终端显示Epoch: 1字符,表示第一轮,正在训练了
等待几个小时后,就训练结束了,就可以进行下一步,对声音模型进行推理试音了。
二、 歌曲分离/推理
1,歌曲分离
1,准备好歌曲文件,格式包括AAC,FLAC等主流声音格式,但不包括加密格式,比如网易云加密歌曲,酷狗,qq音乐。
2,将歌曲文件放到UVR 5,进行分离,分离的目的是 把伴奏和人声抽离出来
处理完成之后会得到两个音频文件
1_陈雪凝 - 绿色_(Instrumental) 伴奏
1_陈雪凝 - 绿色_(Vocals) 人声
等下推理时候会用到 这个 _(Vocals) 人声部分
注:
- 模型要记得选择 MDX-NET UVR-MDX-NET Main
处理模型下载
https://pan.baidu.com/s/1QgjSllWUCoTNEYkzgMMMjA?pwd=yvkv
将下载好的模型,放到UVR根目录下面的models文件夹下
- 如果分离过程中出现报错,可能原因是显存或内存不足,尝试重启电脑
2,歌曲推理
- 打开整合包
RVC0813 整合包下载(整合包 包含 运行环境 启动器)
https://pan.baidu.com/share/init?surl=mEs9Jmi2tBot4AgH6ZWp-w&pwd=eqea
下载之后,解压
版本说明
下载RVC0813AMD_Intel包可解锁A卡I卡
(1)双击go-realtime-gui-dml.bat使用实时变声,A卡大概能压到300ms左右,以下有压力
(2)双击go-web-dml.bat使用训练推理(CPU训练)
N卡用户下载RVC0813Nvidia
(1)双击go-realtime-gui.bat使用实时变声,N卡大概能压到100ms左右,以下有压力
双击go-web.bat使用训练推理
选择合适自己的显卡下载
- 等待启动,出现地址,表示启动成功
启动成功会自动跳转WEBUI
将模型放置到目录(训练好的,忽略这一步)
刷新音色,然后按顺序进行推理
解疑
音频地址
WIN11 鼠标右击可以快速复制地址,复制的地址前后如果带有双引号记得删除”“
WIN10 需要将声音文件放到 任意文件夹内,按shift+鼠标右键 选择复制路径
三、歌曲合成
所需工具 AU 链接:https://pan.baidu.com/s/107cWfLF6ftdxxfVLipfnfw?pwd=mxgf
解压密码 @vposy
1,转换后的歌曲人声下载到桌面
2,使用AU将伴奏和转换后的人声合并
首先新建多轨会话,将转换的人声和伴奏拉进AU
导出
教程结束,教程写的有点乱,多多包涵,有什么不懂的下方留言。