SD comfy：教程3 - 音频生成

1. 文生音乐

1.0 闭源网站

https://suno.com/create

• 质量较高
• 需要科学上网

1.1 工作流举例

• 在模版的 音频生成 中可以找到几个模版，已经能够支持日常使用。
• 需要下载模型，如果没有科学上网，可以复制下载链接后，将 huggingface.co 改为 hf-mirror.com 进行下载
• 关键参数我在图中用红框标出，采样器个人感觉 euler_a + normal 较好，其他参数还未仔细测试
• 提示词用法下一节介绍
  

1.2 提示词

• 主要参考官方说明文档：

  • https://docs.comfy.org/tutorials/audio/ace-step/ace-step-v1
  • https://ace-step.github.io/

• 我做一些整理

1.2.1 提示词类型

ACE目前使用两种类型的提示：标签和歌词。

• 标签：主要用于描述音乐风格、场景等。类似于我们用于其他生成任务的提示，它们主要描述音频的整体风格和要求，用英文逗号分隔
• 歌词：主要用于描述歌词，支持如[verse]（主歌）、[chorus]（副歌）和[bridge]（桥段）等歌词结构标签，以区分歌词的不同部分。对于纯器乐作品，您还可以输入乐器名称

1.2.2 标签 Tags (prompt)

• 主流音乐风格

key	含义
electronic	电子的
electro	电子
em (electronic music)	电子音乐
rock	摇滚
pop	流行音乐
funk	放克
soul	灵魂
cyberpunk	赛博朋克
Acid jazz	酸爵士
soft electric drums	软电鼓
melodic	旋律的

• 场景类型

key	含义
background music for parties	派对背景音乐
radio broadcasts	无线电广播
workout playlists	健身播放列表

• 器乐元素

key	含义
saxophone	萨克斯管
jazz	爵士乐
piano, violin	钢琴，小提琴

• 声部类型

key	含义
female voice	女声
male voice	男声
clean vocals	清澈的嗓音

• 专业术语

key	含义
110 bpm (beats per minute is 110)	110 bpm（每分钟心跳次数为110）
fast tempo	快节奏
slow tempo	慢节奏
loops	循环
fills	填充物
acoustic guitar	原声吉他
electric bass	电贝斯

• 补充：也可以使用具象化的描述

  • e.g.1
    The gentle and serene music transports you to a sunny and bright meadow, where the breeze rustles through, accompanied by the chirping of insects and the rustling of leaves, imparting a sense of brightness and tranquility.Anime, ocarina, tranquility, soothing, warmth, sunshine.

  • e.g.2
    Majestic and grand. It is like the rising sun, shining its brilliant light upon the earth. It resembles a magnificent palace, exquisite and grand. It also exudes an imposing atmosphere, akin to a towering mountain.

1.2.3 歌词

• 多语言支持

  • ACE-Step V1支持多种语言。使用时，ACE-Step会将不同的语言转换为英文字母，然后生成音乐。

  • 在ComfyUI中，尚未完全实现将所有语言转换为英文字母的功能。目前，仅支持将日语平假名和片假名字符转换为英文字母。因此，如果您需要使用多种语言进行音乐生成，您需要先将相应的语言转换为英文字母，然后在歌词开头输入语言代码缩写，如中文[zh]、韩语[ko]等。

  • 目前，ACE Step支持19种语言，但以下10种语言有更好的支持：

语种	key	eg
英语
中文	[zh]	[zh]wo3zou3guo4shen1ye4de5jie1dao4
俄语	[ru]
西班牙语	[es]	[es]cantar mi anhelo por ti sin ocultar
日语	[ja]	[ja]フワフワ　オミミガ
德语	[de]
法语	[fr]	[fr]que tu sois le vent qui souffle sur ma main
葡萄牙语	[pt]
意大利语	[it]
韩语	[ko]	[ko]hamkke si-kkeuleo-un sesang-ui sodong-eul pihae​

• 歌词桥段

key	含义
[outro]	[结尾]
[verse]	[主歌]
[chorus]	[副歌]
[bridge]	[桥]

• 其他

key	含义
[instrumental]	[乐器]
[break down]	[分解]
[drum fill]	[鼓填充]
[chopped samples]	[切碎的样品]

2. 音乐转音乐

2.1 工作流程举例

3. 音频生成

3.1 工作流程举例