Model
MossFormer2 ve TIGER konuşması: ses ön uçunda üç görev bölümü
Ses ön uç / teknoloji karşılaştırması
Ses ön uç / teknoloji karşılaştırması
KONUŞMA ÖN UCU
SS 16K kimin ne söylediğini tahmin eder. SE 48K tek bir konuşmacının daha temiz bir sürümünü üretir. SR 48K bant genişliğini yeniden kurar. Gözetim biçimleri ve çıktı kardinaliteleri birbirinden farklıdır.
Çıktıların içsel bir konuşmacı sırası yoktur: L_PIT=min_{π∈S_K}Σ_k L(ŝ_k,s_{π(k)}). MossFormer2 SS genel örtüşme durumlarını karşılar. TIGER-speech ise gürültülü, yankılı ve yansımalı iki kişilik kayıtlarda devrede tutulur.
İyileştirme tek bir temizlenmiş dalga biçimi üretir; süper çözünürlük eksik üst bant bilgisini tahmin eder ve akla yatkın görünen ama uydurma ayrıntılar da üretebilir. Değerlendirme, giriş ve çıkış örnekleme hızlarını açıkça belirtmeli; gürültü giderme hasarı ile sonradan uydurulmuş yüksek frekans dokusunu ayrı ayrı dinlemelidir.
Konuşma ön uçları üç ayrı toplulukta gelişti: toplantı ayırma örtüşmeyi, iyileştirme gürültü ve yankıyı, süper çözünürlük ise eksik bant genişliğini hedefler. ClearerVoice-Studio, MossFormer2 SS 16K, SE 48K ve bant restorasyonunu tek bir mühendislik giriş noktasının arkasına yerleştirir; ancak amaçları ve çıktı sözleşmeleri yine de farklı kalır.
TIGER-speech, uzun bağlam maliyetini düşürmek için bant farkındalıklı dizi modellemesi uygular. Bu bir verimlilik karşılaştırmasıdır; MossFormer2'nin yerini alan bir sürüm numarası değildir. Kurulum, kaydın örtüşen konuşmacılar mı, maskelenmiş konuşma mı yoksa eksik bant genişliği mi içerdiğine karar vermekle başlar; yanlış görev, yanlış soruya verilmiş cilalı bir yanıt üretir.
L_PIT=min_{π∈S_K} Σ_k ℓ(ŝ_k,s_{π(k)})S_KK konuşmacının permütasyonlarıπbir çıktı/referans eşleşmesiℓtek sinyalli yeniden kurma kaybıİki konuşmacılı ayırmada doğal bir ilk konuşmacı yoktur. PIT, kaybı en düşük çıktı/referans eşleşmesini seçer; böylece kanal numaralandırması çelişkili bir gözetim yaratmaz.
SS 16K konuşmacıları ayırır; SE 48K ve SR 48K tek bir sinyali onarır. Ortak bir liderlik tablosu görevi, bant genişliğini ve veri kümelerini birbirine karıştırırdı.
Makale, kod ve ağırlıklar ClearerVoice-Studio / MossFormer2 SS 16K / MossFormer2 SE 48K üzerinden izlenebilir.
Her satır kendi kaynak mimarisini, ölçütünü ya da görev tanımını korur; ortak protokolü olmayan sonuçlar ayrı tutulur.
| Model | Mimari ya da kanıt | Kapsam |
|---|---|---|
| MossFormer2 SS 16K | örtüşen konuşmacı ayrımı | üst üste konuşma, kimlik değişimleri, sessiz bölgeler |
| MossFormer2 SE 48K | geniş bant gürültü ve yankı giderme | ünsüz hasarı, müzik temizleme, oda kuyrukları |
| TIGER-speech | verimlilik odaklı bant dizi modeli | gecikme ve kaliteyi aynı dosyalarda ölç |
Ayırmada kimlik değişimlerini, ıslıklı ünsüzleri, nefes seslerini ve yankı kuyruklarını denetleyin. İyileştirme, klavye ya da klima gürültüsüyle birlikte ünsüzleri de silebilir. Süper çözünürlük, özgün yüksek frekans örneklerinin geri getirilmesi olarak değil, akla yatkın bir bant genişletmesi olarak değerlendirilmelidir.
Permütasyona duyarsız eğitim, çıktı sıralamasını kayıp fonksiyonundan çıkarır; ancak uzun bir toplantı boyunca kimlik sürekliliğini garanti etmez. A/B denemelerinden önce örnekleme hızını, yeniden örneklemeyi ve kanal indirgemeyi kayda geçirin; konuşmacı değişimlerini zaman dilimlerine göre inceleyin.
Konuşmacıların tınısı ve perdesi birbirine yakınsa tekil karışımın tek çözümü olmayabilir; kaynak sayısı da sınırlama olmaksızın güvenilir biçimde çıkarsanamaz.
Bant genişletme, akla yatkın içerik sentezler. Adli, biyometrik ya da tıbbi kullanımda üretilen yüksek frekanslar özgün kanıt sayılmaz.
Model adları, sayılar ve sınırlamalar aşağıdaki makalelere, depolara ya da model kartlarına kadar izlenebilir.