TTS重磅突破：LLM仅2步实现高品质合成与识别！

近年来，语音合成（Text-to-Speech, TTS）技术发展迅猛，而基于大语言模型（LLM）的TTS模型更是成为业界焦点，它们在架构设计上展现出前所未有的简洁与高效。过去很长一段时间，TTS模型往往依赖于复杂且专用的架构来实现高质量合成。然而，如今以Orpheus、Spark-TTS、Cosyvoice、Kimi-Audio、2cent-TTS等为代表的新一代模型，正向我们展示一种颠覆性的思路：仅需一个大语言模型与一个神经编解码器两大部分，便能不仅实现卓越的语音合成效果，甚至还能轻松胜任自动语音识别（ASR）等多样任务，同时保持出色的质量与可扩展性！这种创新，无疑为语音技术领域注入了新的活力，也让更多人看到了未来人机交互的无限可能。

它们是如何工作的？

这种新兴架构，其核心思想其实相当直观，主要由以下两个关键部分构成：

首先，是神经编解码器（Neural Codec）。它的职责是将音频信号转化为离散的数字编码，同时也能将这些离散编码还原成可听见的音频。这就像是语音世界的“翻译官”，负责在模拟信号和数字信号之间架起桥梁。

其次，则是大语言模型（LLM）。作为整个系统的“大脑”，它负责根据输入的文本信息，结合参考音频（如果需要的话）以及各种指令，生成一系列离散的音频编码。这个过程类似于大语言模型生成文字，只不过这里生成的是听得见的“语音文字”。

我们可以将这种架构大致想象成以下流程图所示。接下来，我们将深入探讨这两个核心组件的奥秘。

1. 神经编解码器：声音的数字化魔术师

在语音合成的链条中，神经编解码器扮演着至关重要的角色。虽然市面上有成百上千种神经编解码器，但它们的核心任务都是一致的：将复杂的音频信号高效地压缩成离散的数字编码。然而，不同的编解码器在性能表现上各有千秋，主要体现在以下几个关键特性上：

• 每秒编码令牌数量（Tokens per second）： 这个指标衡量的是每秒钟音频所对应的离散编码数量。编码数量越少，通常意味着语音合成模型运行速度越快。例如，Llasa公司的XCodec2每秒可编码50个令牌，Orpheus中的Snac为83个，而Cosyvoice的编解码器则能做到每秒25个令牌。更低的令牌数量，对于提升实时合成体验和降低计算成本具有显著意义。对于追求极致效率的实时应用场景，这是一个非常关键的考量因素。

• 码本数量（Codebook amount）： 有些编解码器会将音频编码成多组离散令牌。目前，大多数基于大语言模型的TTS系统会采用定制架构并行处理这些码本（如Zonos），或者简单地将它们连接起来（如Orpheus）。不过，为了追求更高的效率，许多基于LLM的TTS模型倾向于使用单码本编解码器，这使得它们在处理上更为简洁高效。多码本通常能捕捉更丰富的音频细节，但也会增加模型的复杂性。

• 扩散模型与单步生成（Diffusion/Single pass）： 编解码器的生成方式也大相径庭。VibeVoice、Chatterbox和CosyVoice等所使用的扩散模型编解码器，通过迭代细化输出，能够生成高质量音频，但其缺点是生成速度相对较慢。与之形成对比的是，Orpheus、Spark-TTS、Zonos等采用的单步生成编解码器，则能一步到位完成编码，速度更快，尽管在某些情况下压缩率或音质可能略逊一筹。 新媒网跨境了解到，这两种模式各有利弊，开发者会根据实际应用场景的需求进行权衡，比如对音质要求极高的专业配音或广播会偏爱扩散模型，而对实时性要求高的智能助手则会选择单步生成。

• 码本大小（Codebook Size）： 码本大小指的是可以表示音频的离散令牌总数。例如，Llasa的XCodec2的码本大小为65536个令牌，而Orpheus的Snac则只有8192个。通常情况下，码本大小越小，训练模型所需的时间和资源就越少，这对于模型的快速迭代和部署至关重要。较小的码本有助于模型更快地收敛，并降低推理时的计算负担。

• 采样率（Sampling rate）： 不同的编解码器支持不同的音频采样率。例如，Orpheus中的Snac处理24kHz音频，而Zonos的DAC则支持44.1kHz的采样率。采样率越高，生成的音频听起来会越清晰、越自然，但同时也意味着每秒需要处理的令牌数量更多，对计算资源的要求也相应增加。在音乐和高保真音频合成中，高采样率是不可或缺的，而在日常对话场景中，较低的采样率也足以满足需求。

下面我们来看看一些知名的神经编解码器及其主要特性，这些都是当前技术发展的重要组成部分，它们各自的技术路线和应用场景，共同描绘了语音合成技术的美好未来：

• XCodec2： 这是一款单码本编解码器，能够以每秒50个令牌的速度编码16kHz的音频。它的码本大小为65536，广泛应用于Llasa和T5GemmaTTS等项目中。其设计理念兼顾了效率与音质。
• DAC： DAC是一个拥有8个码本的编解码器，能够编码44.1kHz的音频，每秒总共产生774个令牌。每个码本的大小为1024，在Zonos和Parler-TTS等模型中得到应用。DAC以其高采样率和多码本设计，致力于提供更为丰富的音频细节表现。
• Cosyvoice的解码器： 这是一款基于扩散模型的单码本编解码器，能够以每秒25个令牌的速度编码24kHz音频。其码本大小为8192，是CosyVoice、GLM-TTS、Chatterbox和Qwen-Omni等众多先进模型的核心组成部分。扩散模型的应用让它在音质表现上具有独特的优势，尤其是在声音的自然度和细节还原方面。

这些多样化的编解码器，共同推动着语音合成技术不断向前发展，为我们带来更加逼真、自然的听觉体验。

2. 大语言模型：赋予声音“智慧”的内核

我们已经了解了神经编解码器如何将音频转化为数字编码并还原，但真正让这些编码“开口说话”、生成富有情感和语气的语音的，是大语言模型（LLM）。顾名思义，大语言模型通常用于处理文本语言，那么它们是如何处理并生成音频令牌的呢？

音频即语言：一种革新性的视角

答案在于一个简单而深刻的理念：将音频视为一种新型的“语言”。正是这一洞察，使得大语言模型能够在不改变其基本架构的前提下，胜任各种语音任务！这个过程通常通过以下步骤实现：

首先，扩展大语言模型的词汇表。就像大语言模型学习人类语言的词汇一样，它们也需要学习和理解音频离散编码所代表的“语音词汇”。通过将这些音频令牌加入到模型的词汇表中，模型就能够识别和操作这些声音的最小单元。这就像为LLM打开了一个全新的“听觉世界”。

其次，模型被训练来预测下一个音频令牌。这个训练过程与大语言模型预测下一个文字令牌异曲同工。无论是给定文本令牌，还是给定参考音频令牌，模型的目标都是准确地预测出后续的音频序列，从而合成出连贯、自然的语音。这个过程的精妙之处在于，大语言模型能够捕捉到语言和语音之间的复杂映射关系，从而生成具有情感、语调和节奏的语音。

是的，就这么简单！这种将音频视为新“语言”的范式，带来了诸多前所未有的优势，例如，在无需特定架构改动的情况下，就能轻松实现高质量的语音克隆。你只需要向模型提供一段包含目标音色的前缀音频编码及其对应的文本，模型便能学会并模仿这种音色进行合成。新媒网跨境认为，这种简化极大地降低了技术门槛，使得语音定制化变得触手可及，无论是虚拟偶像、品牌代言，还是个性化有声读物，都将因此受益。

大语言模型带来的其他优势：

• 卓越的可扩展性： 大语言模型在近年来得到了极大的优化，涌现出如KV缓存、量化技术、高效内核等一系列先进技术，以及VLLM、LMDeploy、SGLang等高性能库。这些优化使得LLM在批量处理任务时效率惊人，无论是大规模生成还是模型训练，都能以极快的速度完成。这意味着，企业和开发者可以更高效地部署和扩展语音合成服务，满足日益增长的市场需求。这种强大的并行处理能力，让TTS技术能够更好地融入云服务和大型AI平台，服务亿万用户。

• 多模态能力： 采用大语言模型后，同一个模型可以轻松实现多种功能。通过调整训练数据，它不仅能完成语音合成（TTS），还能胜任自动语音识别（ASR），甚至实现语音到语音的翻译，而无需修改模型架构。这种多模态的通用性，极大地提升了模型的灵活性和应用潜力，为未来的人机交互提供了更多可能性。比如，一个模型就能支持语音输入、语音输出和多语言交流，这将是构建真正智能交互系统的基石。

• 极简化的工作流程： 传统TTS技术往往需要处理复杂的音素（phonemes）分析和其他繁琐的预处理步骤，这要求开发者具备深厚的语音学知识。而基于大语言模型的TTS系统则摒弃了这些复杂环节，极大地简化了开发和应用流程。这不仅减少了开发者的负担，也使得技术落地变得更加迅速高效，让更多的创新者能够参与到语音技术的开发中来。

结语

感谢您阅读本文！正如我们所见，基于大语言模型的语音合成架构，其核心思想确实是如此简洁而强大。这种创新的模式，不仅在技术层面实现了突破，更预示着语音交互和内容创作领域的广阔前景。它让高质量的语音合成不再是少数专业人士的专属，而是可以赋能给更多普通用户和中小企业，激发无限的创造力。未来，我们期待看到更多融合了先进技术的TTS模型，继续推动人机交互向更自然、更智能的方向发展，让“能听会说”的智能助手、虚拟形象、教育工具等遍布我们生活的方方面面，为社会进步带来积极影响。新媒网将持续关注这一前沿领域，为您带来更多深度解读。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/llm-redefines-tts-2-steps-high-qual-speech-recog.html