AudioSep-Hive: Διαχωρίστε αυθαίρετους ήχους με ένα ερώτημα κειμένου

ΔΙΑΧΩΡΙΣΜΟΣ ΉΧΟΥ / ΤΕΧΝΙΚΗ ΣΗΜΕΙΩΣΗ

Ένας διαχωριστής σταθερών stems αποφασίζει τον χώρο των απαντήσεων πριν από την εξαγωγή. Το AudioSep-Hive διαβάζει πρώτα μια περιγραφή και τη χρησιμοποιεί για να αποφασίσει ποιο συστατικό του μείγματος είναι ο στόχος.

Ο στόχος υπό συνθήκη

Για x(t)=s(t)+n(t), ο κωδικοποιητής κειμένου δίνει q=E_text(c). Ο διαχωριστής εκτιμά M=F(X,q) και ανακατασκευάζει Ŝ=M⊙X. Μια συμπυκνωμένη ματιά στον στόχο:

L = ||ŝ-s||₁ + λ[1-cos(E_audio(ŝ),q)]

Ο σημασιολογικός όρος κάνει τις συγγενείς περιγραφές να καταλαμβάνουν έναν συνεχή χώρο ερωτημάτων. Δεν εξαλείφει την ασάφεια: γενικά προτρεπτικά, αδύναμοι στόχοι και επικαλυπτόμενες σημασιολογικές περιγραφές παραμένουν δύσκολες περιπτώσεις.

Το εύρος της εξόδου

Η διαθέσιμη διαδρομή εξαγωγής είναι κυρίως 32 kHz μονοφωνική. Είναι χρήσιμη για εξαγωγή με γλωσσικό ερώτημα και για έρευνα ανοιχτού πεδίου, όχι όμως αντικατάσταση των 44.1 kHz στερεοφωνικών stems παραγωγής. Η αλλαγή της περιγραφής αλλάζει το διάνυσμα συνθήκης και μπορεί να μετακινήσει το όριο του στόχου.

Από το AudioSep στο Hive

Το AudioSep εισήγαγε τον διαχωρισμό ανοιχτού πεδίου μέσω ερωτημάτων φυσικής γλώσσας το 2023. Το Hive επεκτείνει αυτή τη γραμμή με σημασιολογικά συνεπή κατασκευή δεδομένων και εκπαίδευση αποδοτική σε δεδομένα. Η εργασία, το αποθετήριο Hive και η κάρτα μοντέλου τεκμηριώνουν αντίστοιχα τη μέθοδο, την υλοποίηση του συνόλου δεδομένων και τα δημοσιευμένα βάρη.

Το ερώτημα έγινε μεταβλητή πέρα από τα σταθερά stems

Οι παραδοσιακοί διαχωριστές μουσικής ορίζουν φωνητικά, τύμπανα και μπάσο πριν από την εκπαίδευση. Το AudioSep συνέδεσε αναπαραστάσεις κειμένου-ήχου CLAP με έναν διαχωριστή, επιτρέποντας στόχους όπως μια σειρήνα, ένα σαξόφωνο tenor ή γυναικεία ομιλία. Το Hive συνεχίζει αυτή τη γραμμή με ευρύτερη κάλυψη ασθενώς επισημασμένων ζευγών ήχου-κειμένου για ανοιχτές κατηγορίες.

Το ανοιχτό λεξιλόγιο δεν σημαίνει 283 ανεξάρτητα checkpoints. Οι κλάσεις εκπαίδευσης παρέχουν ακουστική και γλωσσική κάλυψη· αυτό που αλλάζει κατά την εξαγωγή είναι το διάνυσμα κειμένου. Η μετάβαση από το «dog» στο «small dog barking behind music» μετατοπίζει τη συνθήκη, αλλά η γλώσσα δεν μπορεί να δημιουργήσει ένα διαχωρίσιμο όριο πηγής που δεν υπάρχει στο μείγμα.

**Εικόνα 1 της εργασίας AudioSep: πλαίσιο διαχωρισμού με ερώτημα κειμένου**Το επίσημο διάγραμμα QueryNet-SeparationNet δείχνει πώς οι ενσωματώσεις κειμένου καθορίζουν τη μάσκωση πλάτους και την ανακατασκευή φάσης.Επίσημη πηγή: Εικόνα 1

Πώς ένα γλωσσικό ερώτημα γίνεται χρονοσυχνοτική μάσκα

ŝ_q=iSTFT(Mθ(X,e_q)⊙X)

XSTFT του μείγματος
e_qενσωμάτωση του ερωτήματος κειμένου
Mθμάσκα υπό τον όρο του ερωτήματος

Το ερώτημα q ενσωματώνεται σε έναν κοινό χώρο ήχου-γλώσσας ως e_q, το οποίο καθορίζει έναν εκτιμητή μάσκας. Οι 283 ετικέτες περιγράφουν την κάλυψη εκπαίδευσης· δεν είναι 283 σταθερά stems εξόδου σε μία εργασία.

Ένας ήχος έχει πολλές διατυπώσεις, και η άρνηση ή οι σχέσεις μπορούν να αλλάξουν το αποτέλεσμα. Κρατήστε σταθερό τον ήχο, παραφράστε το ερώτημα και στη συνέχεια εξετάστε τη διατήρηση του στόχου, τη διαρροή και τη συνέπεια του μείγματος.

Η εργασία, ο κώδικας και τα βάρη παρακολουθούνται μέσω των Hive source / AudioSep-Hive weights / AudioSep paper.

**Εικόνα 2 της εργασίας AudioSep: φασματογραφήματα διαχωρισμού με ερώτημα**Τέσσερα ερωτήματα τοποθετούν δίπλα-δίπλα το μείγμα, το αποτέλεσμα διαχωρισμού και τα φασματογραφήματα στόχου για άμεσο έλεγχο της σημασιολογικής πηγής.Επίσημη πηγή: Εικόνα 2

Ανοιχτά ερωτήματα εναντίον σταθερών stems

Εδώ συγκρίνονται συμβάσεις εισόδου και επικύρωση, όχι βαθμολογίες από ασύμβατες εργασίες.

Διαδρομή	Ερώτημα	Κύριος έλεγχος αποδοχής
AudioSep-Hive	στόχος σε φυσική γλώσσα	ταιριάζει η έξοδος στον ζητούμενο ήχο;
σταθερά μουσικά stems	προκαθορισμένες κλάσεις	αλληλοδιαρροή και διατήρηση του στερεοφωνικού
ανίχνευση ηχητικών συμβάντων	κλάση και χρονικό διάστημα	εντοπίζει συμβάντα αλλά δεν επιστρέφει καθαρή κυματομορφή

Η συγγραφή ερωτήματος είναι ακουστική σημείωση

Ένα γενικό ουσιαστικό αναγκάζει το μοντέλο σε συμβιβασμό ανάμεσα σε υποψηφίους· μια πολύ μακρά περιγραφή μπορεί να χάσει σπάνιους προσδιορισμούς. Ξεκινήστε από την ακουστή πηγή και προσθέστε τοποθεσία, εύρος ή δράση αντί για μια αφηρημένη αφήγηση σκηνής.

Η διαδρομή ανοιχτών κατηγοριών είναι κυρίως μονοφωνική ερευνητική εξαγωγή στα 32 kHz, χρήσιμη για ανάκτηση, καθαρισμό και ανακάλυψη. Τα σταθερά 44.1 kHz στερεοφωνικά μουσικά stems παραμένουν μια διαφορετική εργασία παραγωγής.

Ο χώρος CLAP δεν είναι φυσικός διαχωριστής

Ισχυρά συσχετισμένες πηγές, αδύναμοι στόχοι και έντονη αντήχηση δεν αποκτούν μοναδική μάσκα μόνο και μόνο επειδή διαφέρει η σημασιολογία τους. Ήχος από τη γειτονική σκηνή μπορεί να διαρρεύσει στο αποτέλεσμα.

Το γλωσσικό ερώτημα είναι κι αυτό πειραματική μεταβλητή. Οι συγκρίσεις οφείλουν να κρατούν σταθερά το μείγμα και το μοντέλο, ελέγχοντας τη διατήρηση του στόχου, τη διαρροή εκτός στόχου και τη συνέπεια του μείγματος μετά την επανασύνθεση.

Δημοσιεύσεις και δημόσια αρχεία του Hive

Τα ονόματα μοντέλων, οι αριθμοί και οι περιορισμοί ανάγονται στις εργασίες, τα αποθετήρια ή τις κάρτες μοντέλων που ακολουθούν.