Google Magenta RealTime 2: bir müzik modeli çalınabilir bir enstrümana dönüştüğünde
MRT2'nin 40 ms kare düzeyi özbağlanımlı üretimini, düşük gecikmeli MIDI/metin/ses kontrolünü, 2.4B/230M model yapısını, SpectroStream yolunu, MusicCoCa stil gömmelerini ve canlı müzik üretimi sınırlarını anlatan teknik inceleme.
Model Haberleri / Google Magenta
Google Magenta RealTime 2 (MRT2), alışılmış biçimde “bir istem yaz, tamamlanmış parçayı bekle” yaklaşımıyla çalışan bir müzik üreticisi değildir. Google bu sürümü; açık bir model, gerçek zamanlı çıkarım motoru ve örnek uygulamaların birleşimi olarak tanımlıyor: 2.4B parametreli temel model, 230M parametreli küçük model, SpectroStream ses kodeği, MusicCoCa stil temsili, MIDI/metin/ses denetimi ve yerel bir gerçek zamanlı müzik üretim deneyimi.
Bu güncellenmiş makale, MRT2'nin kendine özgü konumunu açıklamak için Google'ın resmî görsellerini ve model kartındaki kanıtları ekliyor. Düzenleme, miks veya eksiksiz şarkı prodüksiyonunun yerini almaya çalışmıyor. Müzik modellerini çalınabilir, yönlendirilebilir, DAW dostu ve canlı etkileşime uygun hâle getiriyor. Uygulamada çevrimdışı bir şarkı makinesinden çok gerçek zamanlı bir çalışma ortağı gibi görünüyor.
Magenta RealTime ve Lyria RealTime API'den çalınabilir yerel modele
MRT2, aynı araştırma programının daha önceki iki kolunu izliyor: Magenta RealTime modeli ve barındırılan Lyria RealTime API. Bu sistemler kesintisiz üretimi ve yönlendirilebilir müzik stilini mümkün kıldı; ancak önceki model, yaklaşık iki saniyelik bir çerçeveyle parça bazlı otoregresyon kullanıyordu. Bir nota, stil değişikliği veya yeni ses referansı, mevcut parça tamamlanana kadar sesi etkileyemiyordu.
MRT2, SpectroStream ile MusicCoCa'yı korurken üretici omurgayı çerçeve bazlı otoregresyona sahip decoder-only Transformer olarak değiştiriyor. Bir çerçeve artık 40 ms sürüyor; böylece MIDI durumu, stil tokenları ve ses bağlamı her yeni çerçevede yeniden okunuyor. Google'ın bildirdiği kontrol gecikmesi yaklaşık üç saniyeden 200 ms dolayına iniyor. Daha önce tek bir parça üreten iki saniyelik aralıkta yeni model, sesin yönünü değiştirmek için elli fırsata sahip.
Sürüm ayrıca barındırılan bir gösterimle müzisyenlerin kendi araçlarına yerleştirebileceği modeli birbirinden ayırıyor. Lyria RealTime API etkileşimli üretimi bir hizmet olarak göstermişti; MRT2 ise cihaz üzerinde kullanım için ağırlıkları, bir Python kitaplığını, MLX C++ motorunu, DAW örneklerini ve bağımsız uygulamaları yayımlıyor. Etkileşimi istem girme, bekleme ve indirmeye indirgemeden bir performans düzeninin, oyun müziği sisteminin veya enstalasyonun içinde çalışabiliyor.
Teknik kanıtlar: yalnızca daha büyük bir model değil
Resmî model kartı MRT2'yi üç temel bileşene ayırıyor: SpectroStream, MusicCoCa ve decoder-only Transformer LLM. SpectroStream, 48kHz stereo müzik sesini tokenlara dönüştüren ayrık bir ses kodeğidir. MusicCoCa, metin ile müzik sesini ortak bir gömme uzayına eşler. LLM; bağlam ses tokenları, MusicCoCa stil tokenları ve MIDI tokenlarından hareketle bir sonraki ses çerçevesini üretir.
Bu yapı, MRT2'nin metin, ses ve MIDI'yi neden aynı anda kabul edebildiğini açıklıyor. Metin stili tanımlar, ses tınısal veya müzikal bir referans sağlar, MIDI ise icra durumunun denetimini üstlenir. Girdiler yalnızca art arda eklenmez; gerçek zamanlı üretim döngüsünde farklı roller üstlenir.
İki resmî model yapılandırması da önemli ipuçları veriyor: 2.4B parametreli temel model ve 230M parametreli küçük model. Temel model kaliteye yönelirken küçük model yerel çalıştırma eşiğini düşürüyor. Model kartı ayrıca temel model için 25 çerçeveli (1s), küçük model için 41 çerçeveli (~1.6s) pencereli dikkat mekanizması ve her ikisi için 20s etkili alıcı alan belirtiyor. Bu, bütün bir şarkı üzerinde çevrimdışı akıl yürütme değil, sınırlandırılmış bağlamla kesintisiz üretimdir.
Düşük gecikme gerçekte ne anlama geliyor?
Google'ın öne çıkardığı değişikliklerden biri, önceki kuşağa kıyasla model çerçevesinin 2s'den 40ms'ye ve kontrol gecikmesinin yaklaşık 3s'den 200ms dolayına düşürülmesidir. Bu sayı etkileyici olsa da resmî sınırı göz önünde bulundurmak gerekir: uçtan uca tepki süresi yalnızca model çıkarımından oluşmaz. Giriş arabelleklerini, çıkış arabelleklerini, ses arabirimlerini, ana yazılımı ve haricî bileşenleri de kapsar.
Müzisyenler açısından ~200ms, donanım klavyesinin veya davul tetikleyicisinin neredeyse anlık tepkisi değildir. Yine de bir modeli “çevrimdışı üretici” olmaktan çıkarıp “etkileşimli sistem” hâline getirmeye yeter. MRT2; milisaniye hassasiyetindeki davul makineleri ya da piyano enstrümanlarının yerine geçmekten çok, stil dönüşümü, eşliği uzatma, dokuya tepki, canlı kodlama, enstalasyonlar ve oyun müziği için daha uygundur.
Tek seferlik şarkı üretiminden farkı
| Boyut | Magenta RealTime 2 | Yaygın istemden parçaya üreticiler | Pratik etkisi |
|---|---|---|---|
| Etkileşim ritmi | Dinleyin, çalın, ayarlayın ve üretmeyi sürdürün. | Bir istem girin ve tamamlanmış sonucu bekleyin. | MRT2 gerçek zamanlı deneylere ve performansa; istemden parçaya üretim ise hızlı, tamamlanmış taslaklara uygundur. |
| Kontrol girdileri | MIDI, metin ve ses birlikte. | Genellikle metin istemleri ve sınırlı yapısal kontroller. | MIDI, modelin icra hareketlerine tepki vermesini sağlar. |
| Çalıştırıldığı yer | Resmî olarak yerel, açık ağırlıklı, Apple Silicon uygulamaları ve DAW eklentileri etrafında konumlandırılıyor. | Çoğunlukla bulutta barındırılan hizmetler. | MRT2 araştırma, eklenti geliştirme ve yerel müzik yazılımlarına entegrasyon için daha doğaldır; ancak yerel donanım gerektirir. |
| Çıktı hedefi | Yönlendirilebilen kesintisiz müzik sesi. | Tamamlanmış şarkılar veya klipler. | MRT2, tamamlanmış şarkı fabrikasından çok gerçek zamanlı bir enstrüman veya eşlikçi gibi davranır. |
| Yaratıcı sınır | Model kartı enstrümantal müziğe odaklanıyor ve sözcüksel olmayan vokal seslerdeki sınırlamalara dikkat çekiyor. | Çoğunlukla vokalli şarkı üretimi üzerinden pazarlanır. | MRT2 en iyi enstrümantal müzik, dokular, eşlik ve etkileşimli müzik sahneleri bağlamında anlaşılır. |
Resmî MRT2 kaynaklarından temel bilgiler
| Boyut | Resmî kaynak | Doğru yorum |
|---|---|---|
| Lisans | Kod Apache-2.0, model ağırlıkları CC-BY 4.0 lisansı altında. | Tek lisanslı bir sürüm değildir; entegrasyon yapılırken kod, ağırlıklar ve kullanım koşulları birlikte okunmalıdır. |
| Model ayrımı | 2.4B base / 230M small. | Base ve small, kalite ile yerel çalıştırma arasında farklı dengeleri temsil eder. |
| Ses kodeği | SpectroStream, 48kHz stereo sesi 25Hz çerçeve hızında, 64 RVQ derinliğiyle, 10-bit kodlar ve 16kbps bit hızı kullanarak tokenlara dönüştürür. | Gerçek zamanlı davranış yalnızca örnekleme hızından değil, model ile kodek/akış temsilinin birleşiminden doğar. |
| Kontrol girdileri | Metin istemleri, ses örnekleri ve MIDI. | Üç girdi stil, bağlam ve icra durumu kontrolünü temsil eder. |
| Eğitim verileri | Çoğunluğu enstrümantal olan yaklaşık 71k saatlik stok müzik. | Vokal sözlere ilişkin beklentiler temkinli olmalıdır; model kartı vokal seslerin sözcüksel olmama eğiliminde olduğunu belirtiyor. |
| Değerlendirme | Model kartı, metriklerin ve sonuçların yakında yayımlanacak teknik raporda paylaşılacağını söylüyor. | Sıralama tabloları veya yayımlanmamış puanlar uydurmayın; yalnızca açıklanan mimariyi ve sınırlamaları kaynak gösterin. |
Sürüm etkileşimli müzik açısından neyi değiştiriyor?
MRT2'nin anahtar kavramları kesintisiz üretim ve düşük gecikmeli kontroldür. Yalnızca bir istemle komut verilmek için değil, üzerinde çalınmak ve yönlendirilmek için tasarlanmıştır.
Model kartı etkileşimli müzik üretimine ve çoğunlukla enstrümantal stok müziğe odaklanıyor. Tamamlanmış şarkılar, sözler, vokaller ve yayıma hazır prodüksiyon için hâlâ insan iş akışı gerekiyor.
Açık ağırlıklar ve yerel çıkarım araştırmayı, eklentileri ve DAW entegrasyonunu daha uygulanabilir kılar; ancak donanım, arabellekler, ana yazılım ve ses arabirimlerinin tümü deneyimi şekillendirir.
Bu incelemedeki tüm görseller ve GIF'ler, ikame çizimler veya yeniden oluşturulmuş grafikler değil, Google Magenta'nın resmî sürüm varlıklarıdır.