LongCat-AudioDiT 3.5B：把说话人条件写进音频扩散 Transformer

4. AudioDiT 把语音生成写成连续声学轨迹

语音生成可以预测离散 codec token，也可以在连续声学潜空间里学习从噪声到目标语音的轨迹。AudioDiT 选择后者：文本提供内容条件，参考音频提供说话人和韵律线索，DiT 在时间 t 上估计声学状态的速度。采样时从高斯噪声出发，沿常微分方程积分得到连续潜变量，再由解码器还原波形。

3.5B 代表模型规模，不能单独解释声音质量。参数容量需要和语料覆盖、声学表示、文本规范化以及采样步数一起看。长文本中的数字、英文缩写和稀有人名首先受到文本前端影响；呼吸、停顿与句间音色则更依赖参考条件和长上下文训练。

参考音频同时携带身份、房间与说话方式

零样本克隆希望从短提示中提取说话人身份，可提示音频里还混有麦克风频响、房间混响、背景噪声、情绪与语速。编码器不会天然知道哪些因素该保留。训练数据若常把同一说话人与固定录音环境绑定，模型就可能把环境也当成身份的一部分。

因此，相似度很高的输出可能同时复制了提示中的鼻音、压缩失真或远场感。反过来，强降噪的参考会丢掉细小音色线索，使输出自然却不像目标说话人。身份保持与录音条件解耦需要跨设备、跨房间、跨情绪的同说话人数据，单靠更长提示不能解决。

扩散式语音与自回归 codec 各自积累误差

自回归系统按 token 顺序生成，前面的错误会改变后续条件，长句可能出现重复、漏词或停不下来；优势是天然适合流式输出。连续流模型可以并行描述一段声学轨迹，减少逐 token 暴露偏差，却需要多次网络求值，并可能在长段中产生音色或韵律的整体漂移。

首段延迟、实时因子与整段耗时也因此不能互换。流式模型可能很快吐出第一包音频，但完成整段仍需要较长解码；少步流模型总耗时较低，首包却要等完整条件准备。公开速度数字只有在硬件、音频时长、批量和采样步数一致时才可比较。

Seed 类语音评测把内容和身份拆成不同坐标

WER 或 CER 衡量识别器看到的文字错误，容易受所选 ASR 与语言影响；说话人 SIM 计算嵌入距离，不能代表情绪、自然度或音频清洁度；MOS 依赖听者判断，又会受到播放设备和样本选择影响。三个指标描述三个方向，任何一个领先都无法替另外两个下结论。

跨论文引用数值时还要保留提示长度、语言、是否使用转录文本以及是否零样本。某些测试给模型目标文本与干净参考，另一些把噪声提示直接输入；名字相近的“voice cloning”实际难度并不相同。AudioDiT 的公开成绩应留在原协议内阅读。

从训练语料到声音，文本规范化先决定读法

TTS 语料要把音频与逐字文本对齐，并过滤背景音乐、重叠说话、错误字幕和严重剪切。规模扩大会增加语言、口音与风格覆盖，也提高弱标签噪声。模型可能学会自然发音，却把训练字幕中长期存在的数字展开错误或标点停顿偏差一起吸收。

文本规范化负责把“2026/07/12”“3.5B”“¥12.50”等形式转换为可读序列。不同语言有不同读法，同一个数字在日期、型号和金额中也不同。规范化器出错时，声学模型不会知道原字符串的真实语义；内容准确性因此由文本前端与 AudioDiT 共同决定。

参考编码器与主生成器可能采用不同采样率和窗口。很短的提示不足以覆盖稳定音色，太长的提示增加内容泄漏与环境复制。训练时若参考和目标来自同一段切片，模型还可能依赖局部语音线索；跨片段、跨录音条件采样能更严格地学习身份。

公开的 3.5B 权重、论文结构和演示页面分别说明模型可取得、方法如何工作以及作者选择的样例。要重现结果，还需要 tokenizer、声码器、采样器与配置版本一致。缺少其中一环时，应把结论停留在已经公开的层级。