Model
LongCat-AudioDiT 3.5B: Hoparlör koşullarını ses dağıtım transformatörüne yazın
Makalenin yoğun okunması / Sıfır örnekli ses klonlaması
Makalenin yoğun okunması / Sıfır örnekli ses klonlaması
MAKALE İNCELEMESİ / SIFIR-ÖRNEK SES KOPYALAMA
LongCat-AudioDiT 3.5B, metinden konuşmaya ve sıfır-örnek kopyalamayı hedefliyor. Hedef metin, bir konuşmacı referansı ve prozodi ipuçları, akustik latentler üreten bir difüzyon transformer'ının içinde buluşuyor. Yayınlanan benzerlik sayıları; doğallık, kelime hatası veya çok dilli aksandan daha dar bir soruyu yanıtlıyor.
İleri süreç, temiz bir akustik latenti x₀ biçiminden x_t biçimine bozar. Ağ, metin ve konuşmacı bilgisi c ile koşullandığında gürültüyü ya da hızı tahmin eder:
L=E ||ε−εθ(x_t,t,c)||²
Yayınlanan kalite yolu 32 fonksiyon değerlendirmesi kullanıyor. Koşulsuz sentez CFG'den yararlanırken, referans temelli kopyalama güçlü yönlendirme altında aşırı doygunluğu azaltmak için projenin APG yöntemini izliyor.
Pek çok sıfır-örnek sistem, ayrık akustik birimleri tek tek üretir. LongCat ise bunun yerine sürekli bir akustik yörüngeyi difüzyon transformer'ıyla geri kurar; metin özelliklerini UMT5 sağlar, kimlik ve prozodiyi ise referans taşır. Bu değişim, hata birikimini token sırasından yinelemeli gürültü giderme ve yönlendirmeye kaydırıyor.
Resmi Seed tablosu, 3.5B değerlerinin ortalaması yaklaşık 80.0 olan üç konuşmacı benzerliği bölmesi bildiriyor. Bu satırlar yalnızca adı verilen tablo içinde karşılaştırılabilir; MOS, kelime hatası, diller arası aksan ya da uzun biçim tutarlılığının yerine geçmez. Bir ses, bir adı yanlış okurken bile benzer duyulabilir.
Kullanışlı bir istem kısa, temiz ve tek konuşmacılıdır. Birden fazla konuşmacı, müzik ve güçlü yankı, ortamı kimlikle karıştırır. Ses benzerliği bir sentez özelliğidir; kimlik doğrulama sinyali ya da bir kişiyi taklit etme izni değildir.
Sıfır-örnek kopyalama çoğu zaman otoregresif ayrık ses token'larına dayandı: model akustik birimleri tek tek tahmin ederken referans da konuşmacı koşullaması sağladı. LongCat-AudioDiT 3.5B ise sürekli bir akustik latenti difüzyon transformer'ıyla geri kuruyor; metin için UMT5'i, tını ve prozodi için referansı kullanıyor.
Kazanç da bedel de küresel gürültü gidermeden doğuyor. Cümle yapısı yörünge boyunca yeniden düzenlenebiliyor, ancak 32 fonksiyon değerlendirmesi gecikmeyi artırıyor. APG ve CFG ayrıca tını doygunluğunu, telaffuz kararlılığını ve kopyalanan arka plan gürültüsünü de değiştiriyor; bunlar tek bir yönlendirme sayısından ibaret değil.
L=E ||ε−εθ(z_t,t,c_text,c_spk)||²z_tt adımındaki akustik latentc_textmetin koşuluc_spkreferanstan gelen konuşmacı koşuluBu genel koşullu-difüzyon gösterimi, metin ve konuşmacı koşullarının gürültü gidericiye birlikte girdiğini gösteriyor; satır satır bir depo denklemi olarak sunulmuyor. Otuz iki fonksiyon değerlendirmesi, latenti tekrar tekrar güncelliyor.
Konuşmacı benzerliği ile içerik doğruluğu ayrı eksenlerdir. Gürültülü bir istem oda sesini bir ses koşuluna dönüştürebilir; yüksek benzerlik de adların, sayıların ya da duraklamaların doğruluğunu kanıtlamaz.
Makale, kod ve ağırlıklar; LongCat-AudioDiT source / LongCat-AudioDiT 3.5B weights üzerinden izlenebilir.
Sayfa, resmi ZH, EN ve ZH-Hard SIM sütunlarının ortalamasını alıyor ve yalnızca eksiksiz satırları içeriyor. Doğallık ve WER ayrı sorular olarak duruyor.
| Model | Üç bölmeli ortalama SIM | Yine de denetle |
|---|---|---|
| LongCat-AudioDiT 3.5B | yaklaşık 80.0 | WER, doğallık ve gecikme |
| Qwen3-TTS | yaklaşık 74.5 | ses tasarımı ve kopyalama karşılaştırması |
| VoxCPM | yaklaşık 74.4 | uzun biçim tutarlılığı ve RTF |
Aynı cümle için hem referanssız hem de referans koşullu çıktıyı saklayın. Tını, aksan ve prozodiden önce adları, sayıları ve duraklamaları denetleyin. Yalnızca benzerliği dinlemek, eksik kelimeleri ya da kopyalanan gürültüyü gizleyebilir.
Kullanışlı bir referans kısa, temiz ve tek konuşmacılıdır. Birden çok ses, güçlü yankı ve müzik kimliği ortamla harmanlar; aynı metnin tekrarlanan örnekleri benzerlik, prozodi ve telaffuzdaki değişkenliği ortaya çıkarır.
Konuşmacı benzerliği, gömme yakınlığını ölçer. Ne kimliği kanıtlar ne de bir sesi kullanma izni verir. Araç, kullanıcının işleme hakkına sahip olduğu referans malzeme içindir.
Herkese açık depo ve 3.5B model kartı, yayınlanan malzemeleri birlikte ortaya koyuyor. Benzerlik sayıları adı verilen test kümelerine bağlı kalıyor; çok dilli telaffuz, uzun biçim kararlılığı ve algılanan doğallığın ayrıca denetlenmesinin yerini tutmuyor.
Model adları, sayılar ve sınırlamalar; aşağıdaki makalelere, depolara ya da model kartlarına dayanıyor.