语音合成之十七 语音合成（TTS）中文自然度：问题、成因、解决方案

在跨语言TTS系统比较中，中文TTS展现出独特的复杂性。与许多字母语言中G2P相对直接、词边界明确的情况不同，中文具有固有的语言学复杂性。研究材料明确指出中文特有的前端任务，例如“中文分词与词性标注” 、“多音字消歧” 和“变调处理” 。这些任务在英文TTS系统中要么复杂度显著降低，要么完全不存在 。这种根本性差异意味着中文TTS的初始语言学处理阶段本质上更具挑战性，需要高度专业化的组件和复杂的算法。最终合成语音的准确性和自然度，在很大程度上取决于这些前端语言学歧义的成功解决，使其成为影响中文TTS整体质量的关键瓶颈。

中文TTS系统基本架构

典型的TTS系统传统上由两大核心部分构成：自然语言处理（NLP），通常被称为“前端”，以及数字信号处理（DSP），即“后端” 。

• 前端（文本分析/NLP）：这一关键模块负责处理输入文本，并将其转换为一套丰富的语言学特征。这些特征至关重要，因为它们直接决定了合成语音的准确发音和韵律自然度 。前端的常见任务包括：

  • 文本归一化：将非标准文本元素（如数字、缩写、符号）转换为适合语音合成的标准可发音形式 。
  • 中文分词与词性标注：鉴于中文的粘着语特性和缺乏显式词界符，这一步骤至关重要。它将连续的汉字流分割成独立的词语或有意义的单元，并为每个词语分配词性标签（如名词、动词） 。这一过程是准确语言学解释的基础。
  • 字形到音素转换（G2P）：此组件将书面汉字（字形）转换为其对应的语音单元（音素） 。
  • 多音字消歧：这是中文G2P中一个尤为关键且复杂的挑战。许多汉字具有多种发音（多音字），其正确发音完全取决于周围的语义和句法上下文。此任务旨在确定此类字符的适当发音 。
  • 韵律预测：这涉及根据文本的上下文、句法和语义的深入分析，预测每个词语或音素的超音段特征，如节奏、重音和语调 。对于中文而言，这通常需要识别分层韵律结构，包括韵律词（PW）、小短语（MIP）和大短语（MAP） 。
  • 变调处理：作为汉语等声调语言的独特之处，此过程根据相邻声调的影响调整字符的基调，以确保连续语音中的发音自然且符合语法 。

• 后端（声学模型/DSP）：后端模块接收前端生成的语言学特征和韵律信息，并将其转换为声学特征。随后，这些声学特征被用于合成最终的语音波形 。历史上，这一阶段涉及波形表和PSOLA（基于基频同步叠加）等技术进行语音合成 。现代端到端模型通常集成了编码器、解码器和注意力机制。编码器将输入文本或语言特征转换为隐藏表示，解码器则从这些表示中生成声学特征或直接生成语音波形 。

表1：中文TTS系统核心组件及其功能

组件名称	功能描述	对TTS质量的影响
文本归一化	将非标准文本（数字、缩写、符号等）转换为标准形式。	确保所有文本元素都能被正确发音，提高可懂度。
中文分词与词性标注	将连续的汉字序列分割成有意义的词语，并标注其词性。	为后续的G2P、韵律预测提供准确的语言学单元和上下文信息，影响发音准确性和韵律自然度。
字形到音素转换（G2P）	将书面汉字转换为对应的音素序列。	确保基础发音的正确性，是语音合成的基础。
多音字消歧	根据上下文确定多音字的正确发音。	直接影响发音准确性和语义可懂度，是中文特有的关键挑战。
变调处理	根据声调规则调整相邻汉字的基调。	确保声调的自然流畅过渡，避免生硬或错误的声调表现。
韵律预测	预测语音的节奏、重音、语调和停顿。	决定合成语音的自然度、表现力和情感色彩，影响听感流畅性。
声学模型	将语言学特征和韵律信息转换为声学特征（如梅尔频谱）。	影响合成语音的音质、清晰度和自然度，是语音生成的核心。
声码器	将声学特征转换为可听的语音波形。	影响最终语音的保真度、音色质量和听感舒适度。

中文TTS常见问题深度剖析与解决方案

在上一篇中介绍了漏字和重复的问题，此外还有如下问题：

音色跳变

成因分析

音色跳变，即合成语音在音色上出现不一致或不连贯的现象（这可能存在于音素/字/词/短语），主要由以下因素导致：

• 数据不匹配与数据量不足：在说话人适应任务中（即模型根据有限样本学习新声音），高质量参考语音的稀缺是导致音色不一致的主要原因。这种数据限制常常导致模型过拟合，使其难以在不同文本上稳健地泛化并保持音色一致性 。
• 特征解耦不足：许多传统TTS模型难以将说话人的音色（声音身份）与其他语音属性（如韵律、语调）或语言内容清晰地分离。如果这些特征相互纠缠，韵律或文本输入的任何变化都可能无意中改变感知到的音色，从而导致不希望出现的“音色跳变”或不一致 。
• 模型局限性：早期的自回归（AR）模型在语音克隆中通常需要语音样本及其精确转录作为提示。提示与目标文本之间的语义或语言学不匹配可能导致次优的合成质量，包括音色不一致 。
• 方言文本输入不匹配：中文TTS面临的一个特殊挑战是，当用户将普通话文本输入到为特定中文方言设计的TTS系统时。这种训练数据（方言特定）与推理输入（普通话）之间的不匹配会显著降低合成语音的自然度，包括其音色的一致性 。

解决方案

为解决音色跳变问题，业界研究人员和开发者提出了多种先进方案：

• 先进的说话人表征学习：例如，敏捷说话人表征强化学习（ASRRL）等技术正在开发中，旨在增强说话人适应任务中的说话人相似性，从而实现更一致的音色 。
• 可学习说话人编码器：MiniMax-Speech等前沿模型集成了可学习的说话人编码器。这些编码器旨在直接从参考音频中提取鲁棒的音色特征，而无需其转录。这项创新使得高保真零样本语音克隆具有卓越的音色一致性，并固有地支持跨语言和多语言合成，有效规避了文本-语音不匹配引起的问题 。
• 表征解耦技术：这是一个活跃的研究领域，专注于分解TTS系统内的元素，以实现对各种语音特征的更精细控制。例如：
  • Daft-Exprt利用FiLM条件层注入韵律信息，同时采用对抗训练策略实现说话人-韵律解耦 。
  • Ellinas等人提出的方法利用对抗性说话人分类器实现音素-说话人解耦，确保音色独立于音素变化 。
  • TN-VQTTS（音色归一化矢量量化TTS）利用音色归一化声学特征实现风格-音色解耦，在有限训练数据下尤其有效 。
• 模型微调与迁移学习：尽管微调TTS模型以复制特定说话人的声音是有效的 ，但必须谨慎管理，以防止过拟合，尤其是在参考语音数据有限的情况下。
• 数据增强与鲁棒训练：数据增强和鲁棒训练方法等通用策略 间接但显著地有助于提高音色一致性，通过使模型接触更广泛的语音条件并降低对输入变化的敏感性。

音色控制的演变，从基本的微调到敏捷说话人表征强化学习 、可学习说话人编码器 和各种解耦方法 等复杂技术，标志着一个深刻的转变。实现无需转录即可提取音色特征（零样本语音克隆 ），以及将音色与韵律或风格明确分离（表征解耦 ）的能力，表明研究人员正在超越单纯的语音适应，转而从根本上理解和操纵定义音色的底层声学特征。这代表了更深层次的控制和灵活性，对于在各种应用中实现真正自然和可定制的语音合成至关重要。

声调与重读错误

成因分析

声调和重读错误在中文TTS中是常见的挑战，其成因复杂：

• 中文韵律的复杂性：中文是声调语言，这意味着音节的音高轮廓直接影响其语义。普通话有四个主要声调，需要高度准确的声调合成才能保证可懂度和自然度 。
• 多音字消歧问题：声调错误的一个重要来源是多音字发音预测不准确。如果一个字的上下文相关发音被错误识别，其关联的声调也会出错，严重影响听者的理解 。
• 上下文建模不足：汉字的正确声调和重音深受其相邻字以及句子更广泛的语义和句法上下文的影响 。尽管自注意力机制在捕捉全局上下文方面有效，但有时会忽略决定普通话精确发音的关键局部依赖关系 。
• 缺乏细粒度韵律控制：传统TTS系统通常只提供高层次的、基于描述的韵律指导，这不足以实现对单个词语或音节的音高和能量轮廓进行精确控制，从而导致不自然的或错位的重音 。
• 训练数据限制：在有限或标注不足的数据上训练的模型，可能难以学习准确多音字消歧和细致韵律特征预测所需的复杂语义信息 。

业界解决方案

为解决声调和重读错误，业界采取了多方面的策略：

• 增强的文本分析与语言特征提取：
  • 多音字消歧：现代方法利用深度神经网络（DNN），包括双向长短期记忆（BLSTM）网络，编码来自相邻字和词性（POS）标签的上下文信息 。更先进的端到端框架利用像BERT这样的预训练大型语言模型，直接从原始汉字序列中提取强大的语义特征，显著提高了多音字消歧的准确性，无需大量预处理 。词性标注也为此任务提供了关键支持 。
  • 短语结构解析：将短语结构解析器模块嵌入到声学模型中，例如AMNet，有助于明确捕捉句子结构信息。这丰富了语言输入，并增强了模型对局部依赖关系的敏感性，这对于准确的声调和重音预测至关重要 。
• 解耦的声调建模：AMNet等创新模型明确地将声调特征与音素解耦。这为声调建模提供了直接、明确的指导，从而提高了声调准确性和整体发音质量 。这代表了在将声调简单地视为音素固有部分的传统方法上的进步 。
  细粒度韵律控制：
  • 韵律草图：一种新颖且高度直观的控制信号，韵律草图允许用户“绘制”或勾勒出特定词语或短语所需的音高和能量轮廓趋势。DrawSpeech是一种基于扩散的生成模型，利用这些草图恢复详细的韵律轮廓，并合成具有精确、用户友好控制的语音 。
  • 参考语音韵律迁移：另一种常见方法是使用参考语音样本作为“韵律提示”。TTS模型随后学习将此参考的韵律模式（例如语调、节奏、语速）复制到目标文本上 。例如，StyleTTS从参考中提取“风格向量”，并使用韵律预测器指导音高和能量生成 。
  • 统计与决策树模型：较早但仍相关的系统，如富士通普通话TTS系统，采用基于决策树的时长建模方法和统计音高轮廓预测方法，这些方法依赖于自动识别的分层韵律成分来生成韵律 。
• 学习声调协同发音：正在进行的研究评估了TTS模型学习普通话声调协同发音的能力，展示了即使从粗略标注的数据中也能生成高质量语音的潜力 。

中文TTS中声调和重音错误的历史解决路径清晰地展示了一个演进过程。早期系统严重依赖人工总结的语言学规则进行多音字消歧 ，但这些规则固有的僵硬性和产生冲突规则的倾向限制了其效果。深度神经网络（DNN）的出现标志着一个重大转变，使模型能够从数据中学习复杂的模式 。随后，将BERT等先进的预训练语言模型 整合到语义上下文中，进一步推动了边界，实现了更准确、数据驱动的消歧，而无需大量人工预处理。同时，韵律控制也从宽泛的“基于描述的指导” 发展到高度精细、用户交互式的方法，如“韵律草图” 和明确的声调解耦 。这种全面的演进表明TTS已经从仅仅生成可懂语音发展到能够产生高度自然、富有表现力且可由用户定制的输出，直接应对并缓解了中文声调和韵律结构的核心复杂性。

漏读与断句错误

成因分析

漏读（遗漏部分文本）和断句错误（不自然的停顿）是TTS系统中常见的缺陷，主要源于以下几个方面：

• 文本理解不足：漏读和不正确的停顿通常源于TTS系统对输入文本的深层语义和句法理解不足 。如果模型未能充分理解文本的含义或语法结构，它可能会错误地解释句子或短语边界，导致不自然的停顿，甚至无意中遗漏被模型认为“不重要”的词语或短语。
• 韵律预测不准确：停顿是自然韵律的基本组成部分 。韵律预测模块中的错误，尤其是在准确识别分层韵律单元边界（如韵律词、小短语、大短语和语调群）方面 ，会直接导致不自然或语法错误的停顿。
• “一对多”映射问题：TTS中固有的这一挑战指的是，单个文本序列可以被实现为多种有效的语音表达，表现出时长、节奏和语调的变化 。如果TTS模型难以解决这种歧义并选择最合适的实现方式，它可能会产生不一致或错误的片段时长，导致感知到的漏读或笨拙、错位的停顿。
• 长文本合成挑战：生成扩展的、多说话人的、自发性对话（例如播客或有声读物）在保持整体连贯性、自然度和长时间的韵律一致性方面带来了显著挑战。这通常表现为不自然的停顿、截断的句子或缺乏流畅的对话流 。历史上，许多早期工作仅限于合成短对话，通常在90秒以内 。
• 复杂场景数据不足：即使是现代零样本TTS系统，尽管经过大量预训练，但在处理高度复杂的语言场景时仍可能遇到困难。这些场景包括绕口令、重复词、语码转换（混合语言）和跨语言合成，这些情况下可能会出现可懂度问题，通常表现为漏读或发音错误 。

业界解决方案

为解决漏读和断句错误，业界采取了以下主要解决方案：

• 高级文本分析与韵律建模：
  • 分层韵律结构预测：先进系统明确识别分层韵律单元边界（例如停顿、音高变化、边界音节的时长变化），为韵律生成模型提供精确指导 。结合动态规划和语言学规则的统计方法在预测中文韵律结构方面表现出高准确率（例如91.2%的准确率） 。
  • 可微分时长模块：微软的NaturalSpeech模型引入了一个完全可微分的时长模块。这项创新显著改善了音素时长建模，并有助于减少TTS系统中训练和推理阶段常见的失配 。类似地，FastSpeech系列模型利用显式时长预测器来控制语音时间 。
  • 语言信息整合：整合短语结构解析器和局部卷积模块（如AMNet所示）等模块，增强了模型对局部语言信息的敏感性。这丰富了输入序列，从而改进了对上下文关系的建模，这对于生成流畅且自然停顿的语音至关重要 。
• 鲁棒的端到端模型：虽然端到端模型能够生成更自然的语音，特别是对于较长的句子，但其训练需要大量的计算资源和大量标注数据 。为应对长文本、多说话人、自发性对话的挑战，MoonCast等解决方案应运而生。MoonCast专为高质量零样本播客生成设计，采用特定的长音频生成方法，在自发性和连贯性方面表现出显著优于基线模型的改进 。
• 偏好对齐技术：为减轻复杂语言场景（如绕口令、重复词）中的可懂度问题（包括漏读），正在利用偏好对齐技术。这涉及构建有针对性的、超出预训练分布的数据，以增强模型在这些困难情况下的性能 。
• 大型语言模型与语音编解码技术：大型语言模型（LLMs）和语音编解码技术的最新重大进展显著提升了TTS性能，尤其是在对话中生成更具自发性和连贯性的内容方面 。

早期TTS系统在自然停顿和避免漏读方面常常力不从心，因为它们对语音时长的理解和控制相对粗糙或隐式。向“分层韵律结构” 的明确建模以及“可微分时长模块” 的发展，代表了TTS技术的一个重大进步。这些技术能够对停顿的时间和位置进行精细的、语言学上知情的控制，直接解决了不自然停顿和感知漏读的根本原因。此外，专门为“长文本、多说话人、自发性对话”开发的MoonCast等系统 的出现，标志着TTS超越了孤立句子的合成，开始处理复杂的真实世界对话流。在这种背景下，准确的停顿、节奏以及文本的完整呈现，对于实现真正的自然度和连贯性至关重要。这表明先进NLP对语篇结构的理解与复杂的声学建模之间实现了更深层次的融合。

表2：中文TTS常见问题、成因及解决方案概览

问题类型	主要成因	业界解决方案	相关技术/模型示例
音色跳变	数据不匹配/不足；特征解耦不足；模型局限性；方言文本输入不匹配。	先进说话人表征学习；可学习说话人编码器；表征解耦技术；模型微调与迁移学习；数据增强与鲁棒训练。	ASRRL, MiniMax-Speech, Daft-Exprt, TN-VQTTS
声调与重读错误	中文韵律复杂性；多音字消歧问题；上下文建模不足；缺乏细粒度韵律控制；训练数据限制。	增强文本分析与语言特征提取（多音字消歧、短语结构解析）；解耦声调建模；细粒度韵律控制（韵律草图、参考语音韵律迁移）；学习声调协同发音。	BERT, AMNet, DrawSpeech, StyleTTS
漏读与断句错误	文本理解不足；韵律预测不准确；“一对多”映射问题；长文本合成挑战；复杂场景数据不足。	高级文本分析与韵律建模（分层韵律结构预测、可微分时长模块、语言信息整合）；鲁棒端到端模型；偏好对齐技术；大型语言模型与语音编解码技术。	MoonCast, FastSpeech, NaturalSpeech