SFC-Locoformer: Adaptivna spektralna kompresija i granice dijaloga za 11,8 dB DnR

ČITANJE RADA / FILMSKA SEPARACIJA

DnR razdvaja programski miks na dijalog, muziku i efekte. Ti izvori se preklapaju i u vremenu i u frekvenciji, pa se problem ne može svesti na detekciju govorne aktivnosti. SFC-Locoformer, BandIt i TIGER-DnR rješavaju isti zadatak različitim shemama kompresije, troškovima sekvenci i objavljenim dokazima.

Spektralna kompresija

STFT daje kompleksni spektar X(t,f). Davanje istog kanalnog budžeta svakom susjednom binu troši računsku snagu na visoko korelirane značajke. SFC uči projekciju na kompaktnu spektralnu osu:

Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]

Dekoder koristi unakrsnu pažnju da vrati komprimiranu reprezentaciju na ciljne frekvencijske binove. Ovo nije rezanje visokih frekvencija: konsonantski tranzijenti, trajni harmonici i širokopojasni efekti ostaju dostupni separatoru.

Lokalni i dalekosežni kontekst

Lokalni blokovi modeliraju udarce, plozive i napade bubnjeva; komunikacija između prozora nosi muzičke podloge, rečenice i ambijent. Jedno gusto polje pažnje naglo bi povećavalo memoriju s trajanjem. Locoformer spaja lokalno miješanje s ekonomičnom dalekosežnom razmjenom, tako da objavljeni medium checkpoint ostaje praktičan.

Kako pravilno čitati 11.8 dB

Tabela II navodi 11.8 dB za SFC-Locoformer medium i 10.9 dB za BandIt pod istim DnR testnim protokolom. Skalarno invarijantni cilj je:

SI-SDR=10 log10(||s_target||² / ||e_noise||²)

To podržava rangiranje unutar protokola, a ne poređenja s MUSDB, drugom revizijom DnR-a ili ručno odabranim isjeccima. Prednost od 0.9 dB također ne garantuje pobjedu na svakom filmskom isjecku; frikativi, širina ambijenta i tranzijenti efekata i dalje zahtijevaju slijepo slušanje.

Objavljeni kod i težine

Autori objavljuju SFC-CA, SFC-Mamba i BandIt enkodere, TF-Locoformer separator te unaprijed trenirane težine za MUSDB18-HQ i DnR. Arhitektura rada, implementacija u repozitoriju i datoteke model kartice mogu se zato međusobno provjeravati; 11.8 dB i dalje vrijedi samo za DnR v2 protokol u Tabeli II.

Od DnR benchmarka do komprimiranih spektara

Separacija dijaloga, muzike i efekata dobila je relativno stabilnu definiciju cilja nakon DnR Challengea 2021. BandIt je kasnije usmjerio modelski kapacitet na neuniformne frekvencijske pojaseve, dok je TIGER istraživao jeftiniji model sekvenci. SFC-Locoformer postavlja drugačije inženjersko pitanje: ako su susjedni frekvencijski binovi redundantni, mogu li se komprimirati prije nego što se modelski budžet potroši na duže strukture dijaloga i partiture?

Zbog te historije tri objavljena modela pripadaju na istu stranicu zadatka, bez opisivanja kao jednostavna zamjena starog novim. BandIt je snažna band-split osnova, TIGER nudi alternativu usmjerenu na računski trošak, a objavljeni SFC medium checkpoint izvještava 11.8 dB pod istim DnR v2 protokolom koji koristi Tabela II. Arhitektura, težine i evaluacijski protokol su jednako važni.

**SFC rad Slika 1: tri spektralna puta kodiranja**Zvanično poređenje TF dvostruke separacije, fiksne podjele pojaseva i SFC kodiranja; nisu dodani urednički prerađeni blokovi.Zvanični izvor: Slika 1

Spektralna kompresija kao prilagodljivi operator

Z(t,k)=Σ_f A(k,f|X)\cdotW_f\cdotX(t,f)

X(t,f)kompleksni ulazni spektar
A(k,f|X)ulazno-prilagodljiva agregacija pojaseva
Z(t,k)komprimirana reprezentacija sekvence

A nije fiksno pravilo rezanja frekvencija. To je ulazno-zavisna težina agregacije, pa kraća k osa ostavlja više sekvencijalnog kapaciteta za dijalog, partituru i ambijent kroz vrijeme.

Dekoder i dalje upituje nekomprimiranim značajkama da vrati svaki izlazni bin. Jednačina je apstrakcija toka informacija; CrossAttnEncoder, CrossAttnDecoder i prilagodljivi upit u repozitoriju su provjerljiva implementacija.

Rad, kod i težine mogu se pratiti kroz SFC-Locoformer source / Released DnR checkpoint / SFC paper and DnR table.

**SFC rad Slika 2: SFC-CA enkoder i dekoder**Originalni dijagram rada pokazuje kako naučljivi upiti komprimiraju spektralne značajke i kako dekoder vraća izvornu frekvencijsku dužinu.Zvanični izvor: Slika 2

Dokle dopire zajednička tabela

Ovdje su rangirani samo redovi provjereni pod istim objavljenim protokolom; TIGER-DnR se ne umeće u Tabelu II bez odgovarajućeg rezultata.

Model	Objavljeni rezultat	Kako ga čitati
SFC-Locoformer medium	11.8 dB SI-SDR	najviša objavljena vrijednost u ovom protokolu; dijaloške ivice i dalje treba provjeravati slušanjem
BandIt	10.9 dB SI-SDR	band-split osnova pod istim protokolom
TIGER-DnR	dokazi o efikasnosti prikazani zasebno	ne miješa se u red koji nedostaje u tabeli

Tri slušne provjere izvan prosječne ocjene

Na dijalogu slušajte sibilante, udisaje i udaljeni govor. SI-SDR uklanja globalno pojačanje iz poređenja, ali može promašiti metalne ivice i oštećene sobne repove. Na muzici provjerite govorne sjene; na efektima sačuvajte kontinuitet vrata, koraka i ambijenta.

Radio-difuzni miksevi također sadrže limitiranje, prigušivanje dijaloga i spuštanje kanala. DnR protokol iz rada automatski ne predstavlja svaki masterski zapis za isporuku; poređenja između SFC, BandIt i TIGER trebaju koristiti iste isjecke i zasebno provjeravati dijaloške ivice, curenje muzike i kontinuitet ambijenta.

Model ne prepoznaje svaki objekt u sceni

Stem efekata je široki spremnik. Kiša, saobraćaj, aplauz i foley ostaju spojeni, pa DnR izlaz nije dekompozicija zvuka na nivou objekata.

Licencni uslovi izvora i dalje regulišu primjenu i redistribuciju, iako oblik zadatka više ne prekida tok rada predavanjem o licenci modela.

Radovi i javne datoteke za SFC-Locoformer izvor

Imena modela, brojke i ograničenja vode porijeklo od radova, repozitorija ili model kartica u nastavku.