Fish Audio S2：开源 TTS 新王者 — 技术架构、创始人故事与商业化全解

> 公司: Hanabi AI（花火 AI）

> 产品: Fish Audio

> 创始人: 冷月（Lengyue），00 后，前英伟达研究员

> GitHub: https://github.com/fishaudio/fish-speech （7 万+ 星标）

> 官网: https://fish.audio

> 最新模型: Fish Audio S2（2026 年 3 月开源）

> 论文: https://arxiv.org/abs/2603.08823

> HuggingFace: https://huggingface.co/fishaudio/s2

一句话总结

一个 00 后华裔创始人从被绿后想做"永不背叛的 AI 陪伴"，一路做到了开源 TTS 全球第一——Fish Audio S2 在 24 语种测评中碾压 ElevenLabs 和 MiniMax，半年 ARR 冲到 500 万美元，真正实现了"用自然语言控制 AI 怎么说话"。

创始人故事：00 后、被绿、AI 陪伴

冷月其人

创业动机：一个很个人的故事

> "大约两年前，我被在一起六七年的女朋友绿了。这也奠定了我之后想做 AI 的基础——我开始思考人与人之间的连接是否真的可靠。相比之下，人和 AI 的关系是可以更稳定、更值得信赖的。AI 没有背叛你的动机，可以成为更可靠的陪伴。"

从"做一个永不背叛的 AI 男友/女友"的想法出发，冷月发现——语言模型已经够用了，但语音合成是短板。于是从语音切入，一步步走到了今天。

开源基因

冷月和团队在创业前就是开源社区的核心贡献者：

• So-VITS-SVC — AI 变声器鼻祖级项目
• GPT-SoVITS — 早期版本训练资源提供者
• Bert-VITS2 — 语义建模 TTS

这些项目在 GitHub 上累计 7 万+ 星标。早期算力不够，很多训练是在冷月家里的 4090 们上完成的。

商业数据

Fish Audio S2 技术深度

核心架构：Dual-AR（双自回归）

传统做法：将音频编码为 10 个 codebook，全部展平到时间轴 → 序列长度爆炸 10 倍。

S2 的方案：

┌─────────────────────────────────┐
│  Slow AR（4B 参数）              │
│  ↓ 沿时间轴预测语义 codebook     │
│  负责：语言结构、韵律、语义      │
└──────────────┬──────────────────┘
               │
┌──────────────▼──────────────────┐
│  Fast AR（400M 参数）            │
│  ↓ 每个时间步生成剩余 9 个 codebook │
│  负责：音色、气息、声学细节      │
└─────────────────────────────────┘

关键洞察：这个架构和标准 LLM 结构同构（isomorphic），因此可以直接复用 LLM 的全套推理优化——连续批处理、分页 KV Cache、CUDA Graph、RadixAttention 前缀缓存。不需要自建推理引擎。

训练数据

• 1000 万+小时音频，覆盖约 50 种语言
• 自建超大规模 open-domain 语音数据集
• 多维标签：语义、场景、情绪、重音、说话人
• 所有数据清洗和标注模型全部自研

强化学习对齐：GRPO

S2 是首个大规模使用 RL 对齐的 TTS 系统。

核心创新：数据标注模型 = RL 奖励模型（同一套模型双重使用）

这解决了一个行业痛点：预训练数据分布 ≠ RL 阶段目标分布。其他 TTS 系统单独训练奖励模型，Fish Audio 用同一套模型，从根本上消除了分布偏差。

内联情感控制（Inline Tags）

S2 最大的用户体验突破：不是整段话一个语气，而是在文本中间任意位置插入自然语言控制指令。

<|speaker:1|>
"I can't believe you did that," [whispers, with a trembling voice] 
"after everything we've been through." [voice breaking, on the verge of tears]
<|speaker:2|>
[calm, measured tone] "I know. And I'm sorry."

不是预定义标签——是任意自然语言描述。[高兴里夹带一点愤怒]、[professional broadcast tone]、[pitch up] 都可以。

冷月说的痛点：用户做有声书时，大部分内容一次通过，但情绪细腻的句子要反复生成几十甚至上百次才满意。S2 的 inline control 就是为了解决这个"抽卡"问题。

Benchmark 成绩

语音质量

多语言（MiniMax 24 语种测试集）

在中英日韩法德西葡俄等主要语言中均为第一或第二。

推理性能（单卡 NVIDIA H200）

竞品对比

ElevenLabs 的问题

冷月的技术性批评值得注意：

> "ElevenLabs 做了一些 reward hacking 的事情。它的语音听上去起伏丰富，初听非常自然，但实际上这些起伏是装饰性的，并没有与语义和情绪精准对应。你会感觉它'像人说话'，但认真听就会发现强调和停顿是随机的，缺乏语用逻辑。"

翻译：ElevenLabs 的模型学会了"听起来像人"的韵律模式，但这些韵律不是从语义出发的，是"化妆"而非"真美"。

产品矩阵

对 Babel 播客的启发

我们的 Babel 播客目前使用 IndexTTS2（默认）和 Qwen3-TTS（备选）做中文语音合成。Fish Audio S2 值得关注但不急着替换：

结论：如果发现当前 TTS 质量不够好（特别是情感丰富的段落），Fish Audio S2 是最值得试的替代方案。但现阶段 IndexTTS2 已经够用，不急。

评分

时间线

相关链接

• 官方博客（S2 开源公告）: https://fish.audio/blog/fish-audio-open-sources-s2/
• GitHub 仓库: https://github.com/fishaudio/fish-speech
• S2 技术报告（arXiv）: https://arxiv.org/abs/2603.08823
• HuggingFace 模型: https://huggingface.co/fishaudio/s2
• S2 产品页: https://fish.audio/s2/
• SGLang 集成: https://github.com/sgl-project/sglang-omni
• 创始人访谈（白鲸出海）: https://www.baijing.cn/article/53247
• 技术文档: https://speech.fish.audio/
• Inline Tags 教程: https://fish.audio/blog/how-to-use-inline-tags-in-fish-audio-s2/
• 国内官网: https://fishaudiocn.com/

数据来源: Fish Audio 官方博客、arXiv 论文、白鲸出海创始人访谈、MarkTechPost | 2026-03-24