Modèle
dots.tts : variables latentes acoustiques continues, adaptation de flux et parole longue portée de 48 kHz
Synthèse vocale / Lecture intensive d'articles
Synthèse vocale / Lecture intensive d'articles
SYNTHÈSE VOCALE
dots.tts ne réduit pas la parole à des jetons audio discrets. AudioVAE fournit des latents continus, un encodeur sémantique compresse les segments générés pour la colonne vertébrale linguistique, et une tête de flux prédit la trajectoire acoustique suivante.
Le modèle apprend L=E||v_θ(x_t,t,h,s)-u_t||², conditionné par l'état caché linguistique h et l'information de locuteur s. SOAR ajoute un alignement auto-correctif ; MF distille la trajectoire en quatre évaluations.
Le tableau officiel Seed-TTS-Eval donne à SOAR 79.2 de SIM moyen sur les trois séries publiées, contre 78.2 pour le modèle MeanFlow à quatre pas. SOAR est aligné de façon auto-corrective ; MeanFlow distille une trajectoire enseignante plus longue dans un élève à quatre pas, ce qui modifie à la fois la vitesse et les modes de défaillance acoustique.
Les notes d'usage officielles recommandent une référence courte et propre dont la transcription correspond à l'enregistrement. Une dizaine de secondes suffit en général ; des invites plus longues n'améliorent pas automatiquement le clonage. L'échantillonnage aléatoire sans référence ne constitue pas une identité de personnage persistante.
dots.tts conditionne le flow matching continu sur le texte, la référence locuteur et le contexte acoustique. dots.tts-soar ajuste l'entraînement et les pondérations pour la robustesse en domaine ouvert et le comportement en inférence. LongCat-AudioDiT recourt aussi à la génération continue, mais ce n'est ni la même tâche ni le même protocole.
La synthèse vocale est passée des caractéristiques acoustiques associées aux vocodeurs aux jetons de codec autorégressifs, puis à la diffusion et au flow matching. Le changement décisif tient à la trajectoire et au conditionnement, pas à une simple étiquette d'ancien contre nouveau. Une référence courte transporte ensemble le timbre, l'accent, le microphone et la pièce.
p(z₁:T|text)=∏_t pθ(z_t|z_<t,text), z_t∈R^dz_tlatent acoustique continuz_<tcontexte acoustique précédenttexttexte normalisé et contrôlesAudioVAE comprime les formes d'onde 48 kHz en latents continus, le ré-encodage sémantique restaure les indices de contenu, la colonne vertébrale Qwen2.5 modélise le contexte, et une tête de flux reconstitue l'acoustique. Un z continu n'est pas un jeton de codec discret.
SOAR à 32 pas et MF à quatre pas illustrent un compromis qualité-latence. Similarité, WER, latence du premier audio et facteur temps réel complet doivent rester des mesures distinctes.
Article, code et pondérations se suivent via dots.tts / dots.tts-soar / Rapport technique.
Chaque ligne conserve son architecture, sa métrique ou sa définition de tâche d'origine ; les résultats sans protocole commun restent distincts.
| Modèle | Architecture ou preuve | Portée |
|---|---|---|
| dots.tts | checkpoint de base à flux continu | contenu, timbre et cohérence en longue durée |
| dots.tts-soar | modèle domaine ouvert/inférence | stabilité et latence sous la même référence |
| TTS à codec autorégressif | ligne de base jeton par jeton | premier audio, répétition et accumulation d'erreurs |
Vérifiez mot à mot chiffres, abréviations, polyphones et pauses avant de juger la similarité. Les scores de locuteur peuvent laisser passer des omissions et des répétitions ; l'ASR peut rater le bruit copié et la coloration de la pièce.
Comparez SOAR et la base avec un texte et une référence identiques. Notez séparément le délai du premier audio, le facteur temps réel, la mémoire de crête et la stabilité en longue durée, plutôt que de résumer un système à une seule phrase fluide.
Le conditionnement vocal zero-shot n'est pas un consentement du locuteur. Un usage public exige une autorisation, des limites de finalité et une voie de retrait.
Émotion, accent et environnement peuvent être copiés avec le timbre ; le modèle ne peut garantir l'extraction d'un facteur d'identité pur.
Les noms de modèles, les chiffres et les limites renvoient aux articles, dépôts ou fiches de modèle ci-dessous.