当前位置: 首页 > news >正文

比奇堡合唱团制作教学,AI翻唱教学动漫角色歌曲

前言

动漫角色AI翻唱歌曲的视频在各大视频平台上广受欢迎,吸引了无数观众的目光。无论是懒洋洋、蜡笔小新还是海绵宝宝,这些可爱的角色以其独特的声音特点音色,收获了很多粉丝。今天,我将为大家揭秘背后的AI声音模型是如何制作出来的。

首先,要训练出一个精准的动漫角色声音模型,关键在于收集充足的动漫角色语音样本。这些样本需涵盖角色在各种情绪状态下的声音,如快乐、愤怒、迷茫等,确保样本的多样性和丰富性。我们可以通过动画片、相关视频或音频资料来搜集这些宝贵的声音素材。这是整个过程中至关重要的第一步。

紧接着,我们将运用先进的深度学习框架。RVC技术,即深度学习驱动的语音转换技术,其核心在于将输入的源声音与目标声音进行精确对齐和映射,实现声音的转换。RVC技术主要包括两个阶段:训练阶段与推理阶段。

模型可以选择自己训练,也可以直接从模型工坊下载模型,直接下载歌曲推理即可。

模型下载可以访问 mxgf.cc 有百款的动漫角色模型,也有变声器音色模型。

以下是模型的训练步骤,跟着来 自己也可以的!

一、RVC免费软件 变声器和歌曲翻唱声音克隆与替换

rvc介绍

全称 Retrieval-based-Voice-Conversion-WebUI 简称 RVC

一个基于VITS的简单易用的语音转换(变声器)框架

RVC 是一款前沿的音色替换项目,可以进行歌曲的翻唱,和实时的变声,具有低延迟、优秀的变声效果、声音模型扩展性、个性化和先进的深度学习技术等特点。

该项目的核心功能之一是有更高的自由性和声音模型扩展性,可以对任意动漫角色和人物进行实时的声音转换,前提是进行训练声音模型。这为用户提供了极大的自由度和创新空间。,这种声音模型的转换是通过深度学习实现的,可以通过简单的设置和选择输入输出,将自己的声音转换成不同的声音音色,从而实现声音的个性化和可玩性。

下载声音模型访问模型工坊 mxg.cc

优质RVC模型,SVC声音模型、Bert-VITS 2模型,文本转语音,声音克隆及歌曲翻唱网站,提供免费/收费下载及声音模型以及声音定制服务 (mxgf.cc)

整合包下载并解压,启动go-web.bat 等待运行

会跳转到浏览器,本地内网地址

进入训练界面,默认的参数默认就行,不用动

3,输入音频文件夹路径,处理数据

将要训练的的干声数据集放到本地任意英文路径文件夹内复,点击处理数据

处理数据

出现 end preprocess 表示处理完毕

特征提取

(特征提取是从声音信号中提取有用信息的过程,这些信息可以被用于训练模型进行分类或识别)

出现 all-feature-done 表示已经处理完毕,可以进行最后一步处理了

开始训练,设置训练的步数和保存频率

保存頻率 这个数值表示多少轮保存一次模型,如果你的电脑很牛很稳定 50轮也是可以的,不然就推荐 20-40轮保存一次模型

總訓練輪數一般 300轮,模型就可以出炉了

每张显卡的batch_size 如果你的显存是8则填8,显存多少,填多少数值。

点击一键训练

终端显示Epoch: 1字符,表示第一轮,正在训练了

等待几个小时后,就训练结束了,就可以进行下一步,对声音模型进行推理试音了。

二、 歌曲分离/推理

1,歌曲分离

1,准备好歌曲文件,格式包括AAC,FLAC等主流声音格式,但不包括加密格式,比如网易云加密歌曲,酷狗,qq音乐。

2,将歌曲文件放到UVR 5,进行分离,分离的目的是 把伴奏和人声抽离出来

处理完成之后会得到两个音频文件

1_陈雪凝 - 绿色_(Instrumental) 伴奏

1_陈雪凝 - 绿色_(Vocals) 人声

等下推理时候会用到 这个 _(Vocals) 人声部分

注:

  • 模型要记得选择 MDX-NET UVR-MDX-NET Main

处理模型下载

https://pan.baidu.com/s/1QgjSllWUCoTNEYkzgMMMjA?pwd=yvkv

将下载好的模型,放到UVR根目录下面的models文件夹下

  • 如果分离过程中出现报错,可能原因是显存或内存不足,尝试重启电脑

2,歌曲推理

  • 打开整合包

RVC0813 整合包下载(整合包 包含 运行环境 启动器)

https://pan.baidu.com/share/init?surl=mEs9Jmi2tBot4AgH6ZWp-w&pwd=eqea

下载之后,解压

版本说明

下载RVC0813AMD_Intel包可解锁A卡I卡

(1)双击go-realtime-gui-dml.bat使用实时变声,A卡大概能压到300ms左右,以下有压力

(2)双击go-web-dml.bat使用训练推理(CPU训练)

N卡用户下载RVC0813Nvidia

(1)双击go-realtime-gui.bat使用实时变声,N卡大概能压到100ms左右,以下有压力

  1. 双击go-web.bat使用训练推理

选择合适自己的显卡下载

  • 等待启动,出现地址,表示启动成功

启动成功会自动跳转WEBUI

将模型放置到目录(训练好的,忽略这一步)

刷新音色,然后按顺序进行推理

解疑

音频地址

WIN11 鼠标右击可以快速复制地址,复制的地址前后如果带有双引号记得删除”“

WIN10 需要将声音文件放到 任意文件夹内,按shift+鼠标右键 选择复制路径

三、歌曲合成

所需工具 AU 链接:https://pan.baidu.com/s/107cWfLF6ftdxxfVLipfnfw?pwd=mxgf

解压密码 @vposy

1,转换后的歌曲人声下载到桌面

2,使用AU将伴奏和转换后的人声合并

首先新建多轨会话,将转换的人声和伴奏拉进AU

导出

教程结束,教程写的有点乱,多多包涵,有什么不懂的下方留言。

http://www.dtcms.com/a/438251.html

相关文章:

  • 活动展板设计:大尺寸 + 高分辨率,打印清晰
  • 深圳市城乡建设部网站首页一个网站如何做盈利
  • 【IMX6ULL驱动学习】I2C驱动
  • 基于物联网数据采集的大型应用程序软件架构设计:核心要点、结构内容与链路关系
  • 【连载5】云数据库 MySQL 热点更新功能介绍
  • (四)Webpack、Slot与Vue CLI脚手架
  • 【附源码】个人事务管理系统的设计与实现
  • 基于PCIe(XDMA)的多路(1-32路)信号采集与回放子系统,多路视频、AD、光纤等信号,支持PR over PCIe
  • 【STM32项目开源】基于STM32的智能电子秤
  • 网站建设专用图形库西安网站快速排名提升
  • 红色php企业网站模板下载wordpress slider设置
  • Starting again-02
  • 【IMX6ULL驱动学习】PWM驱动
  • 智能向善” 核心,解析技术发展中的红利与风险平衡
  • 品牌 RWA 化构建白皮书
  • 个人数据泄露有哪些法律与安全风险?
  • 学习Java第二十九天——黑马点评33~36
  • 常见端口安全弱点汇总表
  • 抓取网站访问量小程序登录网址
  • LNMP 环境部署 WordPress
  • 从域名到网站建设完成的流程连云港做网站哪家好
  • 企业后端多节点部署实现大文件分片与断点上传
  • 算法入门:专题攻克主题一---双指针
  • 长春市城建网站网站建设相关问题
  • 设计模式(C++)详解——状态模式(State)(1)
  • 【计算机组成原理】深入浅出ASCII码:从历史起源到现代应用的全方位解析
  • [USACO11NOV] Cow Lineup S(黄)
  • 安卓开发学习
  • 全人源抗体制备的 “动物工厂”:转基因与嵌合小鼠技术如何突破免疫原性瓶颈?
  • 郑州网站建设报价电子商务的网站建设要求步骤