Input-Adaptive Spectral Feature Compression by Sequence Modeling for Source Separation
arXiv - 2026
Εξάγετε καθαρούς διαλόγους από τον ήχο ταινιών και τηλεόρασης και χωρίστε το υπόβαθρο σε ξεχωριστά κομμάτια μουσικής και ηχητικών εφέ.
Φόρτωση...
Χωρίστε κινηματογραφικό ήχο σε διάλογο, μουσική και εφέ για μεταγλώττιση και μίξη.
Εισαγωγή
Υποστηρίζει εισόδους σε μορφές όπως mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Υποστηριζόμενες μορφές
Παραγωγή
WAV
Περίπτωση χρήσης
Χωρίστε κινηματογραφικό ήχο σε διάλογο, μουσική και εφέ για μεταγλώττιση και μίξη.
Επιλέξτε μοντέλο για το υλικό και τον σκοπό σας και δείτε τα παραδείγματα πριν από την υποβολή.
Κόστος, χρόνος, μορφές και παράμετροι εξαρτώνται από το επιλεγμένο μοντέλο.
Στα σχόλιά σας αναφέρετε το εργαλείο, τα βήματα και το πρόβλημα. Τα στιγμιότυπα οθόνης βοηθούν στον εντοπισμό του.
Μοντέλο χρόνου-συχνότητας για τρία κινηματογραφικά κανάλια· το TIGER DnR διαφέρει από το TIGER δύο ομιλητών.
Διάλογος, μουσική και εφέ σε τρία κανάλια για μεταγλώττιση, μοντάζ και remix.
Δίκτυο ζωνών για διάλογο, μουσική και εφέ· συγκρίνετε διαρροές και λεπτομέρειες φόντου.
Διαχωρίζει τον ήχο ταινιών και βίντεο σε διαλόγους, μουσική και ηχητικά εφέ. Η έξοδος είναι μονοφωνική στα 44.1 kHz· η στερεοφωνική είσοδος μετατρέπεται πρώτα σε μονοφωνική.
arXiv - 2026
Εξάγετε καθαρούς διαλόγους από τον ήχο ταινιών και τηλεόρασης και χωρίστε το υπόβαθρο σε ξεχωριστά κομμάτια μουσικής και ηχητικών εφέ.
IEEE OJSP - 2024
Εξάγετε καθαρούς διαλόγους από τον ήχο ταινιών και τηλεόρασης και χωρίστε το υπόβαθρο σε ξεχωριστά κομμάτια μουσικής και ηχητικών εφέ.
arXiv - 2024
Εξάγετε καθαρούς διαλόγους από τον ήχο ταινιών και τηλεόρασης και χωρίστε το υπόβαθρο σε ξεχωριστά κομμάτια μουσικής και ηχητικών εφέ.
arXiv - 2026
Διαχωρίζει τον ήχο ταινιών και βίντεο σε διαλόγους, μουσική και ηχητικά εφέ. Η έξοδος είναι μονοφωνική στα 44.1 kHz· η στερεοφωνική είσοδος μετατρέπεται πρώτα σε μονοφωνική.
CVPR - 2026
Χρησιμοποιεί τις οπτικές και ηχητικές συνθήκες του AV-CASS για διαχωρισμό ομιλίας, εφέ και μουσικής· διατίθεται και σύγκριση μόνο με ήχο.
Κατηγορίες εξόδου: 3
Εμφανίζονται μόνο εγγραφές με επαληθευμένη δημόσια υλοποίηση συμπερασμού και αντίστοιχα βάρη, καθώς και αλγόριθμοι που δεν χρειάζονται βάρη. Εξαιρούνται κλειστές υπηρεσίες, μη δημοσιευμένα βάρη και μη ταυτοποιημένες πειραματικές εκδόσεις. Δεν πρόκειται για κατάταξη όλων των μοντέλων.
Κάθε σύνολο βαρών εμφανίζεται μία φορά ανά δοκιμή, με το καλύτερο δημοσιευμένο αποτέλεσμα για την επιλεγμένη μετρική. Η συνολική βαθμολογία προέρχεται από μία αξιολόγηση. Αναπτύξτε τη λίστα για σύγκριση αξιολογήσεων και ρυθμίσεων.
Τα δημόσια βάρη δεν τεκμηριώνουν πλήρη άδεια ανοικτού κώδικα. Αναπτύξτε τα δεδομένα για τις δηλωμένες άδειες βαρών και τους όρους πρόσβασης. Οι μη δηλωμένες άδειες επισημαίνονται χωριστά.
Οι ενδείξεις επισημαίνουν μοντέλα ή στοιχεία που χρησιμοποιούνται εδώ. Οι βαθμολογίες και οι ρυθμίσεις προέρχονται από τις αναφερόμενες δοκιμές, όχι από νέα αξιολόγηση ολόκληρης της επεξεργασίας του ιστοτόπου.
Το επιλεγμένο μοντέλο δεν έχει επαληθευμένο αντίστοιχο δημόσιο αποτέλεσμα και δεν του αποδόθηκε κατάταξη.
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
| Κατάταξη ανά μετρική | Μοντέλο | Μουσική↑SDR (dB) ↑ | Εφέ↑SDR (dB) ↑ | Διάλογος↑SDR (dB) ↑ |
|---|---|---|---|---|
| 1 | bandit_v2_multi.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 9.0271 | 10.7765 | 12.2494 |
| 2 | bandit_63_zfturbo.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 8.2894 | 9.7179 | 11.1476 |
| 3 | bandit_57_zfturbo.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 8.0260 | 9.2388 | 10.8392 |
| 4 | bandit_30_zfturbo.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 8.2824 | 9.4532 | 10.7387 |
| 5 | bandit_plus.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 6.8979 | 8.9382 | 9.8945 |
| 6 | demucs4_cdx_zfturbo_1.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 6.5774 | 8.9141 | 9.3908 |
| 7 | demucs4_cdx_zfturbo_3.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 6.4663 | 8.8205 | 9.3759 |
| 8 | demucs4_cdx_zfturbo_2.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 6.4385 | 8.7004 | 9.2300 |
| 9 | bandit_last.ckptΔημόσια βάρη · Κώδικας συμπερασμού | 6.4951 | 8.6135 | 8.2862 |
Σύνολα δεδομένων, εκδόσεις και συνθήκες παραμένουν χωριστά, ακόμη και πηγές χωρίς επιλέξιμες γραμμές.
Τοπικά εκτελέσιμα 9 / αρχικές γραμμές 21 · Ελέγχθηκε: 2026-10-25
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
PT2 · MVSep Ensemble (SCNet + Mel) (2024.11) · MVSep SCNet DnR (2024.11) · MVSep MelBand Roformer DnR (v1, 2024.11) · Bandit v2 (multi) · test_scheme2 · test_scheme1 · test1012 · test_4stems_dnr_0908 · Bandit Plus (no resample) · Bandit Plus (with resample) · test_scheme3
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 10
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 2
Οι βαθμολογίες αφορούν το συγκεκριμένο σύνολο δεδομένων, μέτρο και έκδοση μοντέλου· διαφορετικές δοκιμές δεν συγκρίνονται άμεσα.
Ο πίνακας περιλαμβάνει μόνο μοντέλα με δημόσια βάρη ή ρυθμίσεις που μπορούν να εκτελεστούν τοπικά.
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 10
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
MRX-C † · - · Hybrid Demucs (v3) †‡ · - · BS-Locoformer (Small) · C1 · Band-split (64) · SFC-Locoformer (Small) · C2 · SFC-Mamba (64) · SFC-Locoformer (Small) · C3 · SFC-CA (64) · BS-Locoformer (Medium) · D1 · Band-split (64) · SFC-Locoformer (Medium) · D2 · SFC-Mamba (64) · SFC-Locoformer (Medium) † · D4 · SFC-CA (64)
Οι τιμές προέρχονται από τη συνδεδεμένη δημόσια πηγή. Οι ετικέτες των γραμμών προσδιορίζουν το σύνολο δοκιμής ή το checkpoint· οι μη δημοσιευμένες βαθμολογίες εμφανίζονται ως -.
| Κατάταξη ανά μετρική | Μοντέλο | Συνθήκη δοκιμής | Params. | Speech | Music | Sfx | Average | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | SNR↑ | SISDR↑ | ||||
| 1 | SFC-Locoformer (Medium) | D3 · SFC-CA (64) | 16.0 M | 16.38 | 16.32 | 9.70 | 9.28 | 10.56 | 9.88 | 12.21 | 11.83 |
| 2 | BandIt †Δημόσια βάρη · Κώδικας συμπερασμού | Band-split (64) | 37.0 M | 15.7 | 15.6 | 8.7 | 8.0 | 9.8 | 8.2 | 11.4 | 10.9 |
Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.
SI-SDR που δημοσίευσαν οι συγγραφείς για 973 πλήρη δοκιμαστικά κομμάτια του DnR v2. Κάθε μοντέλο χρησιμοποιεί το επίσημο παράθυρο και βήμα του· ο μέσος όρος καλύπτει μουσική, ομιλία και εφέ. Δεν είναι μετρήσεις του TelkNet και δεν συγχωνεύονται με άλλα σύνολα δεδομένων ή συνθήκες εκπαίδευσης.
| Κατάταξη ανά μετρική | Μοντέλο | Συνθήκη δοκιμής | Μέσο SI-SDR (dB) ↑ | MX SI-SDR (dB) ↑ | DX SI-SDR (dB) ↑ | FX SI-SDR (dB) ↑ | Παράμετροι Β |
|---|---|---|---|---|---|---|---|
| 1 | DBS-TIGER (128)Δημόσια βάρη · Κώδικας συμπερασμού | DnR v2 · 973 · 6 s / 3 s | 10.13 | 7.78 | 15.9 | 6.7 | 1 |
| 2 | DBS-BSRNN (128)Δημόσια βάρη · Κώδικας συμπερασμού | DnR v2 · 973 · 3 s / 1.5 s | 9.07 | 6.48 | 15.01 | 5.73 | 4.7 |