Modelvalg
LongCat-AudioDiT 3.5B: Skriv højttalerbetingelser ind i lyddiffusionstransformer
Intensiv læsning af avisen / Zero-sample stemmekloning
Intensiv læsning af avisen / Zero-sample stemmekloning
© 2026 TelkNet. Alle rettigheder forbeholdes.
ARTIKELGENNEMGANG / ZERO-SHOT STEMMEKLONING
LongCat-AudioDiT 3.5B sigter mod tekst-til-tale og zero-shot kloning. Måltekst, en talerreference og prosodiske træk mødes i en diffusionstransformer, der genererer akustiske latents. De offentliggjorte lighedstal besvarer et snævrere spørgsmål end naturlighed, ordfejl eller flersproget accent.
En forward-proces ødelægger et rent akustisk latent x₀ til x_t. Betinget på tekst- og talerinformation c forudsiger netværket støj eller hastighed:
L=E ||ε−εθ(x_t,t,c)||²
Den udgivne kvalitetssti bruger 32 funktionsevalueringer. Ubetinget syntese bruger CFG, mens referencebaseret kloning følger projektets APG-metode for at dæmpe overmætning under stærk styring.
Mange zero-shot-systemer genererer diskrete akustiske enheder én ad gangen. LongCat genskaber i stedet en kontinuert akustisk bane med en diffusionstransformer, mens UMT5 leverer teksttræk, og referencen leverer identitet og prosodi. Ændringen flytter fejlakkumuleringen fra tokenrækkefølge over mod iterativ denoising og styring.
Den officielle Seed-tabel rapporterer tre opdelinger af talerlighed, hvis 3.5B-værdier i gennemsnit ligger omkring 80.0. Disse rækker kan kun sammenlignes inden for den navngivne tabel; de erstatter hverken MOS, ordfejl, accent på tværs af sprog eller langformatskonsistens. En stemme kan lyde ens og alligevel udtale et navn forkert.
En brugbar prompt er kort, ren og med én taler. Flere talere, musik og kraftig rumklang blander omgivelserne sammen med identiteten. Stemmelighed er en synteseegenskab, ikke et identitetsverifikationssignal eller en tilladelse til at efterligne en person.
Zero-shot kloning har ofte brugt autoregressive diskrete lydtokens: en model forudsiger akustiske enheder én ad gangen, mens en reference leverer talerbetingelsen. LongCat-AudioDiT 3.5B genskaber i stedet et kontinuert akustisk latent med en diffusionstransformer og bruger UMT5 til tekst og referencen til klangfarve og prosodi.
Både gevinsten og omkostningen følger af den globale denoising. Sætningsstrukturen kan revideres hen over banen, men 32 funktionsevalueringer øger latenstiden. APG og CFG ændrer også klangmætning, udtalestabilitet og kopieret baggrundsstøj; de er mere end ét enkelt styringstal.
L=E ||ε−εθ(z_t,t,c_text,c_spk)||²z_takustisk latent ved trin tc_texttekstbetingelsec_spktalerbetingelse fra referencenDenne generelle notation for betinget diffusion viser, at tekst- og talerbetingelser træder ind i denoiseren sammen; den er ikke præsenteret som en linje-for-linje-ligning fra kodearkivet. Toogtredive funktionsevalueringer opdaterer gentagne gange det latente.
Talerlighed og indholdskorrekthed er to separate akser. En støjende prompt kan forvandle rumlyd til en stemmebetingelse, og høj lighed beviser hverken korrekte navne, tal eller pauser.
Artikel, kode og vægte kan følges via LongCat-AudioDiT source / LongCat-AudioDiT 3.5B weights.
Siden middler de officielle SIM-kolonner ZH, EN og ZH-Hard og medtager kun komplette rækker. Naturlighed og WER forbliver separate spørgsmål.
| Model | SIM-middel over tre opdelinger | Skal stadig kontrolleres |
|---|---|---|
| LongCat-AudioDiT 3.5B | omkring 80.0 | WER, naturlighed og latenstid |
| Qwen3-TTS | omkring 74.5 | stemmedesign kontra kloning |
| VoxCPM | omkring 74.4 | langformatskoherens og RTF |
Bevar både output uden reference og referencebetinget output for samme sætning. Kontrollér navne, tal og pauser før klangfarve, accent og prosodi. Lytter man kun efter lighed, kan man overse manglende ord eller kopieret støj.
En brugbar reference er kort, ren og med én taler. Flere stemmer, kraftig rumklang og musik blander identitet med omgivelser; gentagne prøver af samme tekst afslører varians på tværs af lighed, prosodi og udtale.
Talerlighed måler nærhed i embeddings. Det beviser hverken identitet eller giver tilladelse til at bruge en stemme. Værktøjet er beregnet til referencemateriale, som brugeren har ret til at behandle.
Det offentlige kodearkiv og 3.5B-modelkortet fastlægger tilsammen det udgivne materiale. Lighedstallene forbliver bundet til deres navngivne testsæt og erstatter ikke separate kontroller af flersproget udtale, langformatsstabilitet og oplevet naturlighed.
Modelnavne, tal og begrænsninger kan spores tilbage til artiklerne, kodearkiverne eller modelkortene nedenfor.