Modelvalg
MossFormer2 og TIGER-tale: tre opdelinger af opgaver i stemmefronten
Voice front-end / teknologi sammenligning
Voice front-end / teknologi sammenligning
TALE-FRONTEND
SS 16K estimerer, hvem der sagde hvad. SE 48K estimerer en renere version af én taler. SR 48K rekonstruerer båndbredde. Deres supervision og antallet af udgange er forskellige.
Udgangene har ingen iboende talerrækkefølge: L_PIT=min_{π∈S_K}Σ_k L(ŝ_k,s_{π(k)}). MossFormer2 SS håndterer generel overlap. TIGER-speech bruges fortsat til støjfyldte, ekko- og rumklangsprægede optagelser med to personer.
Forbedring giver én renset bølgeform; superopløsning forudsiger manglende information i de øvre bånd og kan hallucinere troværdige detaljer. Evaluering skal oplyse samplefrekvens for ind- og udgang og lytte separat efter skader fra støjfjernelse og opfundne højfrekvente teksturer.
Talefrontends voksede frem i tre adskilte miljøer: mødeseparation sigter mod overlap, forbedring mod støj og rumklang, og superopløsning mod manglende båndbredde. ClearerVoice-Studio samler MossFormer2 SS 16K, SE 48K og båndbreddegendannelse bag ét teknisk indgangspunkt, men deres mål og udgangskontrakter forbliver forskellige.
TIGER-speech bruger båndbevidst sekvensmodellering for at reducere omkostningerne ved lange kontekster. Det er en effektivitetssammenligning, ikke en versionsmæssig erstatning for MossFormer2. Udrulning begynder med at afgøre, om optagelsen indeholder overlappende talere, maskeret tale eller manglende båndbredde; den forkerte opgave giver et poleret svar på det forkerte spørgsmål.
L_PIT=min_{π∈S_K} Σ_k ℓ(ŝ_k,s_{π(k)})S_Kpermutationer af K talereπén udgangs-/referencetildelingℓrekonstruktionstab for ét signalSeparation af to talere har ingen naturlig første taler. PIT vælger den udgangs-/referencetildeling med laveste tab, så kanalnummerering ikke skaber modstridende supervision.
SS 16K adskiller talere; SE 48K og SR 48K reparerer ét signal. En fælles rangliste ville blande opgave, båndbredde og datasæt.
Artikel, kode og vægte kan følges via ClearerVoice-Studio / MossFormer2 SS 16K / MossFormer2 SE 48K.
Hver række bevarer sin kildes arkitektur, metrik eller opgavedefinition; resultater uden en fælles protokol forbliver adskilte.
| Model | Arkitektur eller evidens | Omfang |
|---|---|---|
| MossFormer2 SS 16K | separation af overlappende talere | overhøring, identitetsbytter, stille områder |
| MossFormer2 SE 48K | bredbånds-støjfjernelse og fjernelse af rumklang | konsonantskader, fjernelse af musik, rumefterklang |
| TIGER-speech | effektivitetsorienteret båndsekvensmodel | mål latenstid og kvalitet på de samme filer |
Ved separation: kontrollér identitetsbytter, sibilanter, åndedræt og efterklangshaler. Forbedring kan fjerne konsonanter sammen med tastatur- eller ventilationsstøj. Superopløsning skal bedømmes som en troværdig båndbreddeudvidelse, ikke som genskabelse af hver eneste originale højfrekvenssample.
Permutationsinvariant træning fjerner udgangsrækkefølgen fra tabsfunktionen, men garanterer ikke identitetskontinuitet gennem et langt møde. Notér samplefrekvens, resampling og kanalnedfoldning før A/B-kørsler, og efterse talerskift tidssegment for tidssegment.
En monoblanding kan mangle en entydig løsning, når talere har lignende klangfarve og tonehøjde, og antallet af kilder kan ikke udledes uden grænser.
Båndbreddeudvidelse syntetiserer troværdigt indhold. Til retsmedicinsk, biometrisk eller medicinsk brug er genererede høje frekvenser ikke originale beviser.
Modelnavne, tal og begrænsninger kan spores tilbage til artiklerne, repositorierne eller modelkortene nedenfor.