Model
SFC-Locoformer: 11,8 dB DnR için uyarlanabilir spektral sıkıştırma ve diyalog sınırları
Yoğun gazete okuma / Film ve televizyon ses ayrımı
Yoğun gazete okuma / Film ve televizyon ses ayrımı
© 2026 TelkNet. Tüm haklar saklıdır.
MAKALE İNCELEMESİ / SİNEMATİK AYRIŞTIRMA
DnR, bir program miksini diyalog, müzik ve efekt olarak ayırır. Bu kaynaklar hem zaman hem de frekans ekseninde örtüştüğü için sorun konuşma etkinliği algılamaya indirgenemez. SFC-Locoformer, BandIt ve TIGER-DnR aynı görevi farklı sıkıştırma şemaları, dizi maliyetleri ve yayınlanmış kanıtlarla ele alıyor.
Bir STFT, karmaşık X(t,f) spektrumunu üretir. Komşu her bine aynı kanal bütçesini vermek, hesabı yüksek korelasyonlu özelliklere harcamak demektir. SFC, kompakt bir spektral eksene öğrenilen bir izdüşüm kullanır:
Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]
Kod çözücü, sıkıştırılmış temsili hedef frekans binlerine geri döndürmek için çapraz dikkat kullanır. Bu bir yüksek frekans kesimi değildir: ünsüz geçişleri, süregelen harmonikler ve geniş bantlı efektler ayrıştırıcının erişiminde kalır.
Yerel bloklar vuruşları, patlamalı ünsüzleri ve davul ataklarını modeller; pencereler arası iletişim ise müzik zeminlerini, cümleleri ve ambiyansı taşır. Tek bir yoğun dikkat alanı, bellek gereksinimini süreyle birlikte keskin biçimde büyütür. Locoformer, yayınlanan medium checkpoint pratik kalabilsin diye yerel karışımı tutumlu bir uzun erimli değiş tokuşla birleştirir.
Tablo II, aynı DnR test protokolü altında SFC-Locoformer medium için 11.8 dB, BandIt için 10.9 dB bildiriyor. Ölçekten bağımsız hedef şöyledir:
SI-SDR=10 log10(||s_target||² / ||e_noise||²)
Bu, protokol içi bir sıralamayı destekler; MUSDB, başka bir DnR revizyonu veya özenle seçilmiş kliplerle karşılaştırmayı değil. 0.9 dB'lik fark da her film kesitinin kazanılacağı anlamına gelmez; sürtünmeli ünsüzler, ambiyans genişliği ve efekt geçişleri yine de kör dinleme gerektirir.
Yazarlar SFC-CA, SFC-Mamba ve BandIt kodlayıcılarını, TF-Locoformer ayrıştırıcısını ve önceden eğitilmiş MUSDB18-HQ ile DnR ağırlıklarını yayınlıyor. Makale mimarisi, depo gerçekleştirimi ve model kartı dosyaları böylece birbirleriyle karşılaştırılabilir; yine de 11.8 dB yalnızca Tablo II'deki DnR v2 protokolüne aittir.
Diyalog, müzik ve efekt ayrıştırma, 2021 DnR Challenge sonrasında nispeten istikrarlı bir hedef tanımına kavuştu. BandIt daha sonra modelleme kapasitesini tekdüze olmayan frekans bantlarına odaklarken, TIGER daha ucuz bir dizi modeli araştırdı. SFC-Locoformer ise farklı bir mühendislik sorusu soruyor: komşu frekans binleri yedekli bilgi taşıyorsa, model bütçesi daha uzun diyalog ve müzik yapısına harcanmadan önce bunlar sıkıştırılabilir mi?
Bu geçmiş, üç yayınlanan modelin basit bir eskiden yeniye değişim gibi anılmadan tek bir görev sayfasında yer almasının nedenidir. BandIt güçlü bir bant bölme temel çizgisidir, TIGER hesap odaklı bir alternatif sunar ve yayınlanan SFC medium checkpoint, Tablo II'nin kullandığı aynı DnR v2 protokolü altında 11.8 dB bildiriyor. Mimari, ağırlıklar ve değerlendirme protokolü; hepsi önemli.
Z(t,k)=Σ_f A(k,f|X)·W_f·X(t,f)X(t,f)karmaşık giriş spektrumuA(k,f|X)girdiye uyarlanır bant birleştirmeZ(t,k)sıkıştırılmış dizi temsiliA, sabit bir frekans budama kuralı değildir. Girdiye bağlı bir birleştirme ağırlığıdır; bu sayede daha kısa k ekseni, zaman boyunca diyalog, müzik ve ambiyans için daha fazla dizi kapasitesi bırakır.
Kod çözücü, her çıkış binini geri yüklemek için yine de sıkıştırılmamış özelliklerle sorgu yapar. Denklem bir bilgi akışı soyutlamasıdır; depodaki CrossAttnEncoder, CrossAttnDecoder ve uyarlanır sorgu, denetlenebilir gerçekleştirimdir.
Makale, kod ve ağırlıklar SFC-Locoformer kaynağı / Yayınlanan DnR checkpoint / SFC makalesi ve DnR tablosu üzerinden izlenebilir.
Burada yalnızca aynı yayınlanmış protokol altında doğrulanan satırlar sıralanıyor; TIGER-DnR, eşleşen bir sonuç olmadan Tablo II'ye eklenmiyor.
| Model | Yayınlanan sonuç | Nasıl okunmalı |
|---|---|---|
| SFC-Locoformer medium | 11.8 dB SI-SDR | bu protokoldeki en yüksek yayınlanmış değer; diyalog kenarlarını yine de dinleyerek denetleyin |
| BandIt | 10.9 dB SI-SDR | aynı protokolde bant bölme temel çizgisi |
| TIGER-DnR | verimlilik kanıtı ayrıca sunuluyor | eksik bir tablo satırına karıştırılmıyor |
Diyalogda sibilansları, nefes seslerini ve uzak konuşmayı dinleyin. SI-SDR, karşılaştırmadan genel kazancı çıkarır, ancak metalik kenarları ve zarar görmüş oda kuyruklarını gözden kaçırabilir. Müzikte konuşma hayaletlerine bakın; efektlerde kapıların, ayak seslerinin ve ambiyansın sürekliliğini koruyun.
Yayın miksleri ayrıca limiter, diyalog ducking'i ve kanal katlamaları içerir. Bir DnR makale protokolü her teslim master'ını otomatik olarak temsil etmez; SFC, BandIt ve TIGER karşılaştırmaları aynı kesitleri kullanmalı ve diyalog kenarlarını, müzik sızıntısını ve ambiyans sürekliliğini ayrı ayrı denetlemelidir.
Efekt sapı geniş bir kapsayıcıdır. Yağmur, trafik, alkış ve foley bir arada kalır; bu nedenle DnR çıktısı nesne düzeyinde ses ayrışımı değildir.
Görev biçimi artık iş akışını bir model lisansı uyarısıyla kesmese de, dağıtımı ve yeniden dağıtımı yukarı akış lisans koşulları yönetmeye devam ediyor.
Model adları, sayılar ve sınırlamalar aşağıdaki makalelere, depolara veya model kartlarına dayanır.