Model
AudioSep-Hive: Rastgele sesleri bir metin sorgusuyla ayırın
Ses ayrımı / teknik notlar
Ses ayrımı / teknik notlar
SES AYIRMA / TEKNİK NOT
Sabit stem'li bir ayırıcı, yanıt uzayını çıkarımdan önce belirler. AudioSep-Hive önce bir betimleme okur ve karışımın hangi bileşeninin hedef olduğuna onunla karar verir.
x(t)=s(t)+n(t) için metin kodlayıcı q=E_text(c) üretir. Ayırıcı M=F(X,q) değerini kestirir ve Ŝ=M⊙X ile yeniden kurar. Amacın kompakt bir gösterimi şöyledir:
L = ||ŝ-s||₁ + λ[1-cos(E_audio(ŝ),q)]
Anlamsal terim, birbiriyle ilişkili betimlemelerin sürekli bir sorgu uzayında yer almasını sağlar. Belirsizliği ortadan kaldırmaz: geniş istemler, zayıf hedefler ve çakışan anlamsal betimlemeler hâlâ zorlu durumlardır.
Yayımlanan çıkarım yolu esas olarak 32 kHz monodur. Dil sorgulu çıkarma ve açık alan araştırmaları için kullanışlıdır, ancak 44.1 kHz stereo prodüksiyon stem'lerinin yerini tutmaz. Betimlemeyi değiştirmek koşul vektörünü değiştirir ve hedef sınırını kaydırabilir.
AudioSep, 2023'te doğal dil sorgularıyla açık alan ayırmayı sundu. Hive bu çizgiyi anlamsal olarak tutarlı veri kurgusu ve veri açısından verimli eğitimle ilerletiyor. Makale, Hive deposu ve model kartı sırasıyla yöntemi, veri kümesi gerçekleştirimini ve yayımlanan ağırlıkları belgeliyor.
Geleneksel müzik ayırıcıları vokal, davul ve bası eğitimden önce tanımlar. AudioSep, CLAP metin-ses temsillerini bir ayırıcıya bağlayarak siren, tenor saksafon ya da kadın konuşması gibi hedeflere izin verdi. Hive, açık kategoriler için daha geniş zayıf etiketli ses-metin kapsamıyla bu çizgiyi sürdürüyor.
Açık sözcük dağarcığı 283 bağımsız kontrol noktası demek değildir. Eğitim sınıfları akustik ve dilsel kapsam sağlar; çıkarım sırasında değişen şey metin vektörüdür. "köpek"ten "müziğin arkasında havlayan küçük köpek"e geçmek koşulu kaydırır, ancak dil, karışımda var olmayan ayrılabilir bir kaynak sınırı yaratamaz.
ŝ_q=iSTFT(Mθ(X,e_q)⊙X)Xkarışım STFT'sie_qmetin-sorgu gömmesiMθsorguyla koşullandırılmış maskeq sorgusu, paylaşılan bir ses-dil uzayına e_q olarak gömülür ve bir maske kestiricisini koşullandırır. 283 etiket eğitim kapsamını anlatır; tek bir görevde 283 sabit çıkış stem'i değildirler.
Bir sesin pek çok anlatım biçimi vardır; olumsuzlama ya da ilişkiler sonucu değiştirebilir. Sesi sabit tutun, sorguyu başka sözcüklerle ifade edin, ardından hedef korunumunu, sızıntıyı ve karışım tutarlılığını inceleyin.
Makale, kod ve ağırlıklar Hive kaynağı / AudioSep-Hive ağırlıkları / AudioSep makalesi üzerinden izlenebilir.
Karşılaştırma, girdi sözleşmelerini ve doğrulamayı ele alır; birbiriyle bağdaşmayan görevlerden alınan puanları değil.
| Yol | Sorgu | Birincil kabul denetimi |
|---|---|---|
| AudioSep-Hive | doğal dil hedefi | çıktı istenen sesle eşleşiyor mu |
| sabit müzik stem'leri | önceden tanımlı sınıflar | kanal sızıntısı ve stereo korunumu |
| ses olayı algılama | sınıf artı zaman aralığı | olayları konumlandırır ama temiz bir dalga biçimi döndürmez |
Geniş bir isim, modeli adaylar arasında uzlaşmaya iter; çok uzun bir betimleme ise ender nitelemeleri yitirebilir. İşitilebilir kaynakla başlayın; ardından soyut bir sahne anlatısı yerine konum, perde bölgesi ya da eylem ekleyin.
Açık kategori yolu esas olarak 32 kHz mono araştırma çıkarımıdır; erişim, temizleme ve keşif için kullanışlıdır. Sabit 44.1 kHz stereo müzik stem'leri ayrı bir prodüksiyon görevi olmaya devam ediyor.
Yüksek korelasyonlu kaynakların, zayıf hedeflerin ve güçlü yankının yalnızca anlamları farklı diye tek ve kesin bir maskesi olmaz. Komşu sahne sesleri sonuca sızabilir.
Dil sorgusunun kendisi deneysel bir değişkendir. Karşılaştırmalar karışımı ve modeli sabit tutmalı; yeniden birleştirme sonrasında hedef korunumunu, hedef dışı sızıntıyı ve karışım tutarlılığını denetlemelidir.
Model adları, sayılar ve sınırlılıklar aşağıdaki makalelere, depolara ya da model kartlarına dayanır.