Input-Adaptive Spectral Feature Compression by Sequence Modeling for Source Separation
arXiv - 2026
Extrahieren Sie klare Dialoge aus Film- und TV-Audio und teilen Sie den Hintergrund in separate Musik- und Soundeffektspuren auf.
Lädt...
Trenne Filmton in Dialog, Musik und Effekte für Synchronisation und Nachbearbeitung.
Eingabe
Unterstützt Eingaben in Formaten wie mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Unterstützte Formate
Ausgabe
WAV
Anwendungsfall
Trenne Filmton in Dialog, Musik und Effekte für Synchronisation und Nachbearbeitung.
Wähle ein Modell passend zu deinem Material und Vorhaben und sieh dir vor dem Start die Beispiele an.
Kosten, Dauer, Formate und Parameter hängen vom gewählten Modell ab.
Nennen Sie im Feedback das Werkzeug, die Schritte und das Problem. Screenshots helfen bei der Einordnung.
Zeit-Frequenz-Modell für drei Filmspuren; TIGER DnR unterscheidet sich vom Zwei-Sprecher-Modell.
Dialog, Musik und Effekte als drei Spuren für Synchronisation, Schnitt und Remix.
Bandgeteiltes Netz für Dialog, Musik und Effekte; Übersprechen und Hintergrunddetails vergleichen.
Trennt Film- und Videoton in Dialog, Musik und Geräusche. Die Ausgabe erfolgt in 44.1 kHz Mono; Stereo wird zuvor zu Mono gemischt.
arXiv - 2026
Extrahieren Sie klare Dialoge aus Film- und TV-Audio und teilen Sie den Hintergrund in separate Musik- und Soundeffektspuren auf.
IEEE OJSP - 2024
Extrahieren Sie klare Dialoge aus Film- und TV-Audio und teilen Sie den Hintergrund in separate Musik- und Soundeffektspuren auf.
arXiv - 2024
Extrahieren Sie klare Dialoge aus Film- und TV-Audio und teilen Sie den Hintergrund in separate Musik- und Soundeffektspuren auf.
arXiv - 2026
Trennt Film- und Videoton in Dialog, Musik und Geräusche. Die Ausgabe erfolgt in 44.1 kHz Mono; Stereo wird zuvor zu Mono gemischt.
CVPR - 2026
Nutzt die visuellen und akustischen Bedingungen von AV-CASS, um Sprache, Effekte und Musik aus einem Video zu trennen; eine reine Audiobedingung steht zum direkten Vergleich bereit.
3 Ausgabekategorien
Angezeigt werden nur Einträge mit verifizierter öffentlicher Inferenzimplementierung und passenden Gewichten sowie Algorithmen ohne trainierte Gewichte. Geschlossene Dienste, unveröffentlichte Gewichte und nicht zuordenbare Experimentversionen sind ausgeschlossen. Dies ist keine Gesamtrangliste aller Modelle.
Jeder Gewichtssatz erscheint pro Benchmark einmal, mit dem besten veröffentlichten Ergebnis für die gewählte Kennzahl. Ein Gesamtwert stammt aus einer einzigen Auswertung. Aufklappen, um Auswertungen und Einstellungen zu vergleichen.
Öffentliche Gewichte belegen keine vollständige Open-Source-Lizenz. Die aufgeklappten Daten zeigen erklärte Gewichtslizenzen und Zugangsbedingungen. Nicht erklärte Lizenzen sind gesondert gekennzeichnet.
Die Markierungen kennzeichnen hier verwendete Modelle oder Komponenten. Werte und Einstellungen stammen aus den zitierten Tests, nicht aus einer neuen Bewertung der gesamten Verarbeitungskette.
Für das ausgewählte Modell liegt kein passendes, geprüftes öffentliches Ergebnis vor; es erhält keinen Rang.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
| Rang nach Kennzahl | Modell | Musik↑SDR (dB) ↑ | Effekte↑SDR (dB) ↑ | Dialog↑SDR (dB) ↑ |
|---|---|---|---|---|
| 1 | bandit_v2_multi.ckptÖffentliche Gewichte · Inferenzcode | 9.0271 | 10.7765 | 12.2494 |
| 2 | bandit_63_zfturbo.ckptÖffentliche Gewichte · Inferenzcode | 8.2894 | 9.7179 | 11.1476 |
| 3 | bandit_57_zfturbo.ckptÖffentliche Gewichte · Inferenzcode | 8.0260 | 9.2388 | 10.8392 |
| 4 | bandit_30_zfturbo.ckptÖffentliche Gewichte · Inferenzcode | 8.2824 | 9.4532 | 10.7387 |
| 5 | bandit_plus.ckptÖffentliche Gewichte · Inferenzcode | 6.8979 | 8.9382 | 9.8945 |
| 6 | demucs4_cdx_zfturbo_1.ckptÖffentliche Gewichte · Inferenzcode | 6.5774 | 8.9141 | 9.3908 |
| 7 | demucs4_cdx_zfturbo_3.ckptÖffentliche Gewichte · Inferenzcode | 6.4663 | 8.8205 | 9.3759 |
| 8 | demucs4_cdx_zfturbo_2.ckptÖffentliche Gewichte · Inferenzcode | 6.4385 | 8.7004 | 9.2300 |
| 9 | bandit_last.ckptÖffentliche Gewichte · Inferenzcode | 6.4951 | 8.6135 | 8.2862 |
Datensätze, Versionen und Bedingungen bleiben getrennt, auch Quellen ohne zugelassene Ranglisteneinträge.
Ausführbare Einträge 9 / Originalzeilen 21 · Geprüft: 2026-10-25
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
PT2 · MVSep Ensemble (SCNet + Mel) (2024.11) · MVSep SCNet DnR (2024.11) · MVSep MelBand Roformer DnR (v1, 2024.11) · Bandit v2 (multi) · test_scheme2 · test_scheme1 · test1012 · test_4stems_dnr_0908 · Bandit Plus (no resample) · Bandit Plus (with resample) · test_scheme3
Ausführbare Einträge 2 / Originalzeilen 10
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Ausführbare Einträge 2 / Originalzeilen 2
Werte gelten für den jeweiligen Datensatz, Messwert und die Modellversion. Verschiedene Tests sind nicht direkt vergleichbar.
Die Tabelle enthält nur Modelle mit öffentlichen Gewichten oder Konfigurationen, die lokal ausgeführt werden können.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 2 / Originalzeilen 10
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Die Werte stammen aus der verlinkten öffentlichen Quelle. Zeilenbezeichnungen geben den Testdatensatz oder Checkpoint an; nicht veröffentlichte Werte erscheinen als -.
| Rang nach Kennzahl | Modell | Testbedingung | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †Öffentliche Gewichte · Inferenzcode | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Von den Autoren gemeldete SI-SDR auf 973 vollständigen DnR-v2-Testspuren. Jedes Modell nutzt seine offiziellen Fenster und Schrittweiten; der Mittelwert umfasst Musik, Sprache und Effekte. Dies sind keine TelkNet-Messungen. Andere Datensätze oder Trainingsbedingungen werden getrennt behandelt.
| Rang nach Kennzahl | Modell | Testbedingung | Mittlere SI-SDR (dB) ↑ | MX SI-SDR (dB) ↑ | DX SI-SDR (dB) ↑ | FX SI-SDR (dB) ↑ | Parameter (M) |
|---|---|---|---|---|---|---|---|
| 1 | DBS-TIGER (128)Öffentliche Gewichte · Inferenzcode | DnR v2 · 973 · 6 s / 3 s | 10.13 | 7.78 | 15.9 | 6.7 | 1 |
| 2 | DBS-BSRNN (128)Öffentliche Gewichte · Inferenzcode | DnR v2 · 973 · 3 s / 1.5 s | 9.07 | 6.48 | 15.01 | 5.73 | 4.7 |