LongCat-AudioDiT 3.5B: Запис умов динаміків у трансформатор розсіювання звуку

РОЗБІР СТАТТІ / ZERO-SHOT КЛОНУВАННЯ ГОЛОСУ

LongCat-AudioDiT 3.5B націлений на синтез мовлення з тексту та zero-shot клонування. Цільовий текст, зразок голосу диктора й просодичні підказки сходяться всередині дифузійного трансформера, який генерує акустичні латенти. Опубліковані показники подібності відповідають на вужче питання, ніж природність, частка словесних помилок чи багатомовний акцент.

Дифузійна цільова функція

Прямий процес поступово зашумлює чистий акустичний латент x₀ до x_t. За умови тексту та інформації про диктора c мережа передбачає шум або швидкість:

L=E ||ε−εθ(x_t,t,c)||²

Випущений якісний шлях використовує 32 обчислення функції. Безумовний синтез застосовує CFG, а клонування за зразком іде методом APG проєкту, щоб зменшити перенасичення за сильного керування.

Від авторегресивних аудіотокенів до AudioDiT

Багато zero-shot систем генерують дискретні акустичні одиниці одну за одною. LongCat натомість відновлює неперервну акустичну траєкторію дифузійним трансформером: UMT5 дає текстові ознаки, а зразок забезпечує індивідуальність голосу й просодію. Така зміна переносить накопичення помилок із порядку токенів на ітеративне очищення від шуму та керування.

Подібність — це не природність

Офіційна таблиця Seed містить три розбивки подібності до диктора, значення яких для 3.5B у середньому становлять близько 80.0. Ці рядки можна порівнювати лише в межах названої таблиці; вони не замінюють MOS, частку словесних помилок, міжмовний акцент чи узгодженість довгого тексту. Голос може звучати схоже й водночас неправильно читати власне ім'я.

Якість зразка та права

Корисний запит — короткий, чистий і з одним диктором. Кілька спікерів, музика та сильна реверберація змішують середовище з індивідуальністю. Подібність голосу — властивість синтезу, а не сигнал перевірки особи й не дозвіл видавати себе за іншу людину.

Від авторегресивного мовлення до дифузійного трансформера

Zero-shot клонування часто спиралося на авторегресивні дискретні аудіотокени: модель передбачає акустичні одиниці одну за одною, а зразок задає умову диктора. LongCat-AudioDiT 3.5B натомість відновлює неперервний акустичний латент дифузійним трансформером, використовуючи UMT5 для тексту, а зразок — для тембру та просодії.

І перевага, і ціна випливають із глобального очищення від шуму. Структуру речення можна переглядати вздовж усієї траєкторії, але 32 обчислення функції збільшують затримку. APG і CFG також змінюють насиченість тембру, стабільність вимови та копійований фоновий шум; це більше, ніж єдине число керування.

Умова диктора всередині дифузійного очищення

L=E ||ε−εθ(z_t,t,c_text,c_spk)||²

• z_tакустичний латент на кроці t
• c_textтекстова умова
• c_spkумова диктора зі зразка

Цей загальний запис умовної дифузії показує, як текстова умова та умова диктора входять у шумоочисник разом; його не подано як дослівне рівняння з репозиторію. Тридцять два обчислення функції повторно оновлюють латент.

Подібність до диктора та правильність змісту — окремі осі. Зашумлений запит може перетворити звук кімнати на умову голосу, а висока подібність не доводить правильних імен, чисел чи пауз.

Статтю, код і ваги можна знайти за посиланнями LongCat-AudioDiT source / LongCat-AudioDiT 3.5B weights.

Як читати таблицю подібності Seed

На сторінці усереднено офіційні стовпці SIM для ZH, EN і ZH-Hard, узято лише повні рядки. Природність і WER залишаються окремими питаннями.

Модель	Середнє SIM за трьома розбивками	Що ще перевіряти
LongCat-AudioDiT 3.5B	близько 80.0	WER, природність і затримка
Qwen3-TTS	близько 74.5	дизайн голосу проти клонування
VoxCPM	близько 74.4	узгодженість довгого тексту та RTF

Клоновані зразки потребують парної перевірки

Зберігайте для одного речення результати і без зразка, і з умовою за зразком. Спочатку перевіряйте імена, числа та паузи, а вже потім тембр, акцент і просодію. Слухаючи лише схожість, легко не помітити пропущених слів або скопійованого шуму.

Корисний зразок — короткий, чистий і з одним диктором. Кілька голосів, сильна реверберація та музика змішують індивідуальність із середовищем; повторні прогони одного тексту показують розкид подібності, просодії та вимови.

Подібність — це не перевірка особи

Подібність до диктора вимірює близькість ембедингів. Вона ані не доводить особу, ані не дає дозволу використовувати чийсь голос. Інструмент призначений для матеріалів, які користувач має право обробляти.

Публічний репозиторій і картка моделі 3.5B разом визначають випущені матеріали. Показники подібності прив'язані до названих тестових наборів і не замінюють окремих перевірок багатомовної вимови, стабільності довгого тексту та сприйнятої природності.

Статті та публічні файли для джерела LongCat-AudioDiT

Назви моделей, числа й обмеження простежуються до наведених нижче статей, репозиторіїв або карток моделей.

1. LongCat-AudioDiT source
2. LongCat-AudioDiT 3.5B weights