SFC-Locoformer: Προσαρμοστική φασματική συμπίεση και όρια διαλόγου για 11,8 dB DnR

ΑΝΑΓΝΩΣΗ ΔΗΜΟΣΙΕΥΣΗΣ / ΚΙΝΗΜΑΤΟΓΡΑΦΙΚΟΣ ΔΙΑΧΩΡΙΣΜΟΣ

Το DnR διαχωρίζει μια μίξη προγράμματος σε διάλογο, μουσική και ηχητικά εφέ. Οι πηγές αυτές επικαλύπτονται τόσο στον χρόνο όσο και στη συχνότητα, οπότε το πρόβλημα δεν ανάγεται σε απλή ανίχνευση ομιλίας. Τα SFC-Locoformer, BandIt και TIGER-DnR αντιμετωπίζουν την ίδια εργασία με διαφορετικά σχήματα συμπίεσης, κόστη ακολουθίας και δημοσιευμένα τεκμήρια.

Φασματική συμπίεση

Ένας STFT παράγει το μιγαδικό φάσμα X(t,f). Ο ίδιος προϋπολογισμός καναλιών για κάθε γειτονικό φασματικό bin ξοδεύει υπολογιστική ισχύ σε έντονα συσχετισμένα χαρακτηριστικά. Το SFC μαθαίνει μια προβολή σε έναν συμπαγή φασματικό άξονα:

Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]

Ο αποκωδικοποιητής χρησιμοποιεί cross-attention για να επαναφέρει τη συμπιεσμένη αναπαράσταση στα φασματικά bin στόχου. Δεν πρόκειται για αποκοπή υψηλών συχνοτήτων: τα μεταβατικά φαινόμενα των συμφώνων, οι διατηρημένες αρμονικές και τα εφέ ευρείας ζώνης παραμένουν διαθέσιμα στον διαχωριστή.

Τοπικό και ευρύτερο πλαίσιο

Τα τοπικά block μοντελοποιούν κρούσεις, εκρηκτικά σύμφωνα και πλήγματα κρουστών· η ανταλλαγή πληροφορίας μεταξύ παραθύρων μεταφέρει μουσικά στρώματα, ολόκληρες προτάσεις και ατμόσφαιρα χώρου. Ένα ενιαίο πυκνό πεδίο προσοχής θα εκτόξευε τις απαιτήσεις μνήμης καθώς μεγαλώνει η διάρκεια. Το Locoformer συνδυάζει τοπική ανάμειξη με οικονομική ανταλλαγή μεγάλης εμβέλειας, ώστε το δημοσιευμένο medium checkpoint να παραμένει πρακτικά εφαρμόσιμο.

Σωστή ανάγνωση των 11.8 dB

Ο Πίνακας II αναφέρει 11.8 dB για το SFC-Locoformer medium και 10.9 dB για το BandIt στο ίδιο πρωτόκολλο αξιολόγησης DnR. Η αντικειμενική συνάρτηση, αμετάβλητη ως προς την κλίμακα, είναι:

SI-SDR=10 log10(||s_target||² / ||e_noise||²)

Υποστηρίζει κατάταξη εντός του ίδιου πρωτοκόλλου, όχι συγκρίσεις με το MUSDB, με άλλη αναθεώρηση του DnR ή με αποσπάσματα επιλεγμένα κατά περίπτωση. Το προβάδισμα των 0.9 dB δεν εγγυάται εξάλλου νίκη σε κάθε κινηματογραφικό απόσπασμα· τα τριβόμενα σύμφωνα, το πλάτος της ατμόσφαιρας και τα μεταβατικά φαινόμενα των εφέ εξακολουθούν να απαιτούν τυφλή ακρόαση.

Δημοσιευμένος κώδικας και βάρη

Οι συγγραφείς δημοσιεύουν τους κωδικοποιητές SFC-CA, SFC-Mamba και BandIt, τον διαχωριστή TF-Locoformer και προεκπαιδευμένα βάρη για MUSDB18-HQ και DnR. Η αρχιτεκτονική της δημοσίευσης, η υλοποίηση στο αποθετήριο και τα αρχεία της κάρτας μοντέλου μπορούν έτσι να ελεγχθούν το ένα απέναντι στο άλλο· τα 11.8 dB εξακολουθούν να ανήκουν μόνο στο πρωτόκολλο DnR v2 του Πίνακα II.