Google Magenta RealTime 2: όταν ένα μουσικό μοντέλο γίνεται όργανο προς εκτέλεση

Από το Magenta RealTime και το Lyria RealTime API σε ένα τοπικό μοντέλο που παίζεται

Το MRT2 συνεχίζει δύο προηγούμενους κλάδους του ίδιου ερευνητικού προγράμματος: το μοντέλο Magenta RealTime και τη φιλοξενούμενη υπηρεσία Lyria RealTime API. Τα συστήματα αυτά καθιέρωσαν τη συνεχή παραγωγή και τον κατευθυνόμενο μουσικό χαρακτήρα, όμως το προηγούμενο μοντέλο χρησιμοποιούσε αυτοπαλινδρόμηση ανά τμήμα με παράθυρο περίπου δύο δευτερολέπτων. Μια νότα, μια αλλαγή ύφους ή μια νέα ηχητική αναφορά δεν μπορούσε να επηρεάσει τον ήχο πριν ολοκληρωθεί το τρέχον τμήμα.

Το MRT2 διατηρεί τα SpectroStream και MusicCoCa, αλλά αντικαθιστά τον πυρήνα παραγωγής με Transformer μόνο αποκωδικοποιητή και αυτοπαλινδρόμηση ανά καρέ. Κάθε καρέ διαρκεί πλέον 40 ms, οπότε η κατάσταση MIDI, τα διακριτικά ύφους και το ηχητικό πλαίσιο διαβάζονται ξανά για κάθε νέο καρέ. Η καθυστέρηση ελέγχου που αναφέρει η Google μειώνεται από περίπου τρία δευτερόλεπτα σε περίπου 200 ms. Στο διάστημα των δύο δευτερολέπτων όπου το προηγούμενο μοντέλο παρήγαγε ένα τμήμα, το νέο έχει πενήντα ευκαιρίες να αλλάξει την κατεύθυνση του ήχου.

Η κυκλοφορία διαχωρίζει επίσης μια φιλοξενούμενη επίδειξη από ένα μοντέλο που οι μουσικοί μπορούν να εντάξουν στα δικά τους εργαλεία. Το Lyria RealTime API έδειξε τη διαδραστική παραγωγή ως υπηρεσία· το MRT2 δημοσιεύει βάρη, βιβλιοθήκη Python, μηχανή MLX C++, παραδείγματα για DAW και αυτόνομες εφαρμογές για χρήση στη συσκευή. Μπορεί να ενσωματωθεί σε μια ζωντανή εγκατάσταση, σε σύστημα μουσικής παιχνιδιού ή σε διαδραστικό έργο χωρίς η σχέση να περιορίζεται σε «προτροπή, αναμονή και λήψη».

Τεχνικά στοιχεία: όχι απλώς ένα μεγαλύτερο μοντέλο

Η επίσημη κάρτα χωρίζει το MRT2 σε τρία βασικά στοιχεία: SpectroStream, MusicCoCa και ένα LLM Transformer μόνο αποκωδικοποιητή. Το SpectroStream είναι ένας διακριτός κωδικοποιητής ήχου που μετατρέπει στερεοφωνική μουσική 48 kHz σε διακριτικά. Το MusicCoCa αντιστοιχίζει κείμενο και μουσικό ήχο σε κοινό χώρο ενσωματώσεων. Το LLM παράγει το επόμενο ηχητικό καρέ από τα διακριτικά του ηχητικού πλαισίου, τα διακριτικά ύφους MusicCoCa και τα διακριτικά MIDI.

Η δομή αυτή εξηγεί γιατί το MRT2 μπορεί να δέχεται ταυτόχρονα κείμενο, ήχο και MIDI. Το κείμενο περιγράφει το ύφος, ο ήχος παρέχει ηχητική ή μουσική αναφορά και το MIDI ελέγχει την κατάσταση εκτέλεσης. Οι είσοδοι δεν συνενώνονται απλώς· καθεμία έχει διαφορετικό ρόλο στον βρόχο παραγωγής σε πραγματικό χρόνο.

Αποκαλυπτικές είναι και οι δύο επίσημες διαμορφώσεις: βασικό μοντέλο 2,4 δισεκατομμυρίων παραμέτρων και μικρό μοντέλο 230 εκατομμυρίων. Το βασικό προσανατολίζεται στην ποιότητα, ενώ το μικρό μειώνει τις απαιτήσεις τοπικής εκτέλεσης. Η κάρτα αναφέρει επίσης προσοχή σε παράθυρο 25 καρέ (1 s) για το base, 41 καρέ (περίπου 1,6 s) για το small και αποτελεσματικό δεκτικό πεδίο 20 s και για τα δύο. Πρόκειται για συνεχή παραγωγή με περιορισμένο πλαίσιο, όχι για επεξεργασία ολόκληρου τραγουδιού εκτός σύνδεσης.

Τι σημαίνει πραγματικά η χαμηλή καθυστέρηση

Μία από τις βασικές αλλαγές που ανακοινώνει η Google είναι η μείωση του καρέ του μοντέλου από 2 s σε 40 ms σε σχέση με την προηγούμενη γενιά και η μείωση της καθυστέρησης ελέγχου από περίπου 3 s σε περίπου 200 ms. Ο αριθμός είναι ελκυστικός, αλλά χρειάζεται το επίσημο όριό του: ο συνολικός χρόνος αντίδρασης δεν εξαρτάται μόνο από το συμπέρασμα του μοντέλου. Περιλαμβάνει ενδιάμεσες μνήμες εισόδου και εξόδου, διεπαφές ήχου, λογισμικό κεντρικού συστήματος και εξωτερικά στοιχεία.

Για έναν μουσικό, τα περίπου 200 ms δεν είναι η σχεδόν στιγμιαία απόκριση ενός υλικού πληκτρολογίου ή ενός σκανδαλιστή τυμπάνων. Αρκούν όμως για να μετακινηθεί ένα μοντέλο από «γεννήτρια εκτός σύνδεσης» σε «διαδραστικό σύστημα». Το MRT2 ταιριάζει περισσότερο σε μεταβάσεις ύφους, επέκταση συνοδείας, απόκριση σε ηχητικές υφές, live coding, εγκαταστάσεις και μουσική παιχνιδιών παρά ως αντικατάσταση μηχανών ρυθμού ή πιάνων ακριβείας χιλιοστού του δευτερολέπτου.

Πώς διαφέρει από την παραγωγή ολόκληρου τραγουδιού σε ένα βήμα

Βασικά στοιχεία από τις επίσημες πηγές του MRT2

Τι αλλάζει η κυκλοφορία για τη διαδραστική μουσική