Modelo
MossFormer2 y TIGER-speech: tres divisiones de tareas en el front-end de voz
Comparación de tecnología/frontend de voz
Comparación de tecnología/frontend de voz
© 2026 TelkNet. Todos los derechos reservados.
FRONT END DE VOZ
SS 16K estima quién dijo qué. SE 48K estima una versión más limpia de un solo hablante. SR 48K reconstruye el ancho de banda. Su supervisión y la cardinalidad de sus salidas son distintas.
Las salidas no tienen un orden intrínseco de hablantes: L_PIT=min_{π∈S_K}Σ_k L(ŝ_k,s_{π(k)}). MossFormer2 SS maneja solapamiento general. TIGER-speech se conserva para grabaciones de dos personas con ruido, eco y reverberación.
La mejora produce una única forma de onda limpiada; la superresolución predice la información ausente de la banda alta y puede alucinar detalles verosímiles. La evaluación debe declarar las tasas de muestreo de entrada y salida, y escuchar por separado el daño del desruido y la textura de alta frecuencia inventada.
Los front ends de voz crecieron en tres comunidades separadas: la separación para reuniones apunta al solapamiento, la mejora apunta al ruido y la reverberación, y la superresolución apunta al ancho de banda ausente. ClearerVoice-Studio coloca MossFormer2 SS 16K, SE 48K y la restauración de ancho de banda detrás de un único punto de entrada de ingeniería, pero sus objetivos y sus contratos de salida siguen siendo diferentes.
TIGER-speech aplica modelado de secuencias consciente de la banda para reducir el coste del contexto largo. Es una comparación de eficiencia, no un reemplazo por número de versión de MossFormer2. El despliegue empieza por decidir si la grabación contiene hablantes solapados, voz enmascarada o ancho de banda ausente; la tarea equivocada produce una respuesta pulida a la pregunta equivocada.
L_PIT=min_{π∈S_K} Σ_k ℓ(ŝ_k,s_{π(k)})S_Kpermutaciones de K hablantesπuna asignación salida/referenciaℓpérdida de reconstrucción de una sola señalLa separación de dos hablantes no tiene un primer hablante natural. PIT elige la asignación salida/referencia de menor pérdida para que la numeración de canales no cree una supervisión contradictoria.
SS 16K separa hablantes; SE 48K y SR 48K reparan una señal. Una tabla de clasificación compartida mezclaría tarea, ancho de banda y conjuntos de datos.
El artículo, el código y los pesos pueden seguirse a través de ClearerVoice-Studio / MossFormer2 SS 16K / MossFormer2 SE 48K.
Cada fila conserva su arquitectura de origen, métrica o definición de tarea; los resultados sin un protocolo compartido permanecen separados.
| Modelo | Arquitectura o evidencia | Ámbito |
|---|---|---|
| MossFormer2 SS 16K | separación de hablantes solapados | diafonía, intercambios de identidad, regiones silenciosas |
| MossFormer2 SE 48K | desruido y desreverberación de banda ancha | daño a consonantes, eliminación de música, colas de sala |
| TIGER-speech | modelo de secuencias por bandas orientado a la eficiencia | medir latencia y calidad en los mismos archivos |
Para la separación, hay que revisar intercambios de identidad, sibilantes, respiraciones y colas de reverberación. La mejora puede eliminar consonantes junto con el ruido del teclado o de la climatización. La superresolución debe juzgarse como una extensión verosímil del ancho de banda, no como la recuperación de cada muestra original de alta frecuencia.
El entrenamiento invariante a la permutación elimina el orden de salida de la pérdida, pero no garantiza la continuidad de identidad a lo largo de una reunión extensa. Conviene registrar la tasa de muestreo, el remuestreo y el plegado de canales antes de las pruebas A/B, e inspeccionar los intercambios de hablante por segmento temporal.
Una mezcla mono puede carecer de solución única cuando los hablantes tienen timbre y tono similares, y el número de fuentes no puede inferirse sin límite.
La extensión de ancho de banda sintetiza contenido verosímil. Para uso forense, biométrico o médico, las altas frecuencias generadas no son evidencia original.
Los nombres de modelos, las cifras y las limitaciones se remontan a los artículos, repositorios o fichas de modelo que figuran a continuación.