Modèle
MossFormer2 et TIGER-speech : trois divisions de tâches dans le front-end vocal
Comparaison front-end vocal/technologie
Comparaison front-end vocal/technologie
© 2026 TelkNet. Tous droits réservés.
FRONT END VOCAL
SS 16K estime qui a dit quoi. SE 48K estime une version plus propre d'un seul locuteur. SR 48K reconstruit la bande passante. Leur supervision et le nombre de sorties diffèrent.
Les sorties n'ont pas d'ordre de locuteur intrinsèque : L_PIT=min_{π∈S_K}Σ_k L(ŝ_k,s_{π(k)}). MossFormer2 SS gère le chevauchement général. TIGER-speech est retenu pour les enregistrements à deux personnes bruités, avec écho et réverbération.
L'amélioration produit une forme d'onde nettoyée unique ; la super-résolution prédit l'information manquante des hautes fréquences et peut halluciner des détails plausibles. L'évaluation doit indiquer les taux d'échantillonnage d'entrée et de sortie, et écouter séparément les dégâts du débruitage et les textures haute fréquence inventées.
Les front ends vocaux ont grandi dans trois communautés distinctes : la séparation de réunions vise le chevauchement, l'amélioration vise le bruit et la réverbération, la super-résolution vise la bande passante manquante. ClearerVoice-Studio réunit MossFormer2 SS 16K, SE 48K et la restauration de bande passante derrière un même point d'entrée d'ingénierie, mais leurs objectifs et leurs contrats de sortie restent différents.
TIGER-speech applique une modélisation de séquence consciente des bandes pour réduire le coût des longs contextes. C'est une comparaison d'efficacité, pas un remplacement de MossFormer2 par un numéro de version. Le déploiement commence par décider si l'enregistrement contient des locuteurs qui se chevauchent, une parole masquée ou une bande passante manquante ; la mauvaise tâche produit une réponse léchée à la mauvaise question.
L_PIT=min_{π∈S_K} Σ_k ℓ(ŝ_k,s_{π(k)})S_Kpermutations de K locuteursπune affectation sortie/référenceℓperte de reconstruction d'un signal uniqueLa séparation à deux locuteurs n'a pas de premier locuteur naturel. PIT choisit l'affectation sortie/référence de plus faible perte pour que la numérotation des canaux ne crée pas de supervision contradictoire.
SS 16K sépare les locuteurs ; SE 48K et SR 48K réparent un seul signal. Un classement partagé mélangerait tâche, bande passante et jeux de données.
L'article, le code et les poids se suivent via ClearerVoice-Studio / MossFormer2 SS 16K / MossFormer2 SE 48K.
Chaque ligne conserve son architecture source, sa métrique ou sa définition de tâche ; les résultats sans protocole partagé restent séparés.
| Modèle | Architecture ou preuve | Portée |
|---|---|---|
| MossFormer2 SS 16K | séparation de locuteurs en chevauchement | diaphonie, échanges d'identité, zones silencieuses |
| MossFormer2 SE 48K | débruitage et déréverbération large bande | dégâts sur les consonnes, suppression de la musique, queues de salle |
| TIGER-speech | modèle de séquence par bandes orienté efficacité | mesurer latence et qualité sur les mêmes fichiers |
Pour la séparation, vérifier les échanges d'identité, les sibilantes, les respirations et les queues de réverbération. L'amélioration peut supprimer des consonnes en même temps que le bruit du clavier ou de la climatisation. La super-résolution doit être jugée comme une extension de bande passante plausible, pas comme la récupération de chaque échantillon haute fréquence d'origine.
L'apprentissage invariant à la permutation retire l'ordre des sorties de la perte mais ne garantit pas la continuité d'identité sur une longue réunion. Noter le taux d'échantillonnage, le rééchantillonnage et le repli des canaux avant les essais A/B, et inspecter les échanges de locuteurs par segment temporel.
Un mélange mono peut ne pas avoir de solution unique quand les locuteurs ont un timbre et une hauteur proches, et le nombre de sources ne peut pas être déduit sans limite.
L'extension de bande passante synthétise un contenu plausible. Pour un usage médico-légal, biométrique ou médical, les hautes fréquences générées ne sont pas des preuves originales.
Les noms de modèles, les chiffres et les limites renvoient aux articles, dépôts ou cartes de modèles ci-dessous.