SFC-Locoformer: Adaptiv spektral kompression og dialoggrænser for 11,8 dB DnR

ARTIKELGENNEMGANG / FILMISK SEPARATION

DnR opdeler et programmix i dialog, musik og effekter. Disse kilder overlapper både i tid og frekvens, så problemet kan ikke reduceres til registrering af taleaktivitet. SFC-Locoformer, BandIt og TIGER-DnR angriber den samme opgave med forskellige komprimeringsskemaer, sekvensomkostninger og publiceret dokumentation.

Spektral komprimering

En STFT producerer det komplekse spektrum X(t,f). Giver man hver tilstødende bin det samme kanalbudget, bruges der regnekraft på stærkt korrelerede træk. SFC lærer i stedet en projektion ned på en kompakt spektral akse:

Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]

Dekoderen bruger cross-attention til at føre den komprimerede repræsentation tilbage til målfrekvens-bins. Det er ikke en højfrekvensbeskæring: konsonanttransienter, vedholdende harmoniske og bredbåndseffekter forbliver tilgængelige for separatoren.

Lokal og langtrækkende kontekst

Lokale blokke modellerer slag, plosiver og trommeangreb; kommunikation på tværs af vinduer bærer musikunderlag, sætninger og atmosfære. Et enkelt tæt attention-felt ville få hukommelsesforbruget til at vokse kraftigt med varigheden. Locoformer kombinerer lokal miksning med en økonomisk langtrækkende udveksling, så det udgivne medium-checkpoint forbliver praktisk anvendeligt.

Sådan læses 11.8 dB korrekt

Tabel II rapporterer 11.8 dB for SFC-Locoformer medium og 10.9 dB for BandIt under samme DnR-testprotokol. Det skalainvariante mål er:

SI-SDR=10 log10(||s_target||² / ||e_noise||²)

Det understøtter en rangordning inden for protokollen, ikke sammenligninger med MUSDB, en anden DnR-revision eller håndplukkede klip. Forskellen på 0.9 dB garanterer heller ikke, at ethvert filmuddrag vindes; frikativer, atmosfærens bredde og effekttransienter kræver stadig blind lytning.

Udgivet kode og vægte

Forfatterne offentliggør SFC-CA-, SFC-Mamba- og BandIt-encodere, TF-Locoformer-separatoren samt prætrænede MUSDB18-HQ- og DnR-vægte. Artiklens arkitektur, repositoriets implementering og modelkortets filer kan derfor kontrolleres op mod hinanden; 11.8 dB gælder fortsat kun DnR v2-protokollen i tabel II.

Fra DnR-benchmarken til komprimerede spektre

Separation af dialog, musik og effekter fik en forholdsvis stabil måldefinition efter DnR Challenge i 2021. BandIt koncentrerede senere modelleringskapaciteten om ikke-uniforme frekvensbånd, mens TIGER udforskede en billigere sekvensmodel. SFC-Locoformer stiller et andet ingeniørspørgsmål: Hvis tilstødende frekvens-bins er redundante, kan de så komprimeres, før modelbudgettet bruges på længere dialog- og partiturstrukturer?

Den historik er grunden til, at de tre udgivne modeller hører hjemme på samme opgaveside uden at blive beskrevet som en simpel afløsning fra gammel til ny. BandIt er en stærk båndopdelt baseline, TIGER tilbyder et beregningsorienteret alternativ, og det udgivne SFC medium-checkpoint rapporterer 11.8 dB under samme DnR v2-protokol som i tabel II. Arkitektur, vægte og evalueringsprotokol betyder alle noget.

**SFC-artiklens figur 1: tre spektrale indkodingsveje**Den officielle sammenligning af TF dual-path-separation, fast båndopdeling og SFC-indkodning; der er ikke tilføjet redaktionelt omtegnede blokke.Officiel kilde: Figur 1

Spektral komprimering som en adaptiv operator

Z(t,k)=Σ_f A(k,f|X)\cdotW_f\cdotX(t,f)

X(t,f)komplekst input-spektrum
A(k,f|X)input-adaptiv båndaggregering
Z(t,k)komprimeret sekvensrepræsentation

A er ikke en fast regel for frekvensbeskæring. Det er en inputafhængig aggregeringsvægt, så den kortere k-akse efterlader mere sekvenskapacitet til dialog, partitur og atmosfære over tid.

Dekoderen forespørger stadig med ikke-komprimerede træk for at genskabe hver output-bin. Ligningen er en abstraktion af informationsflowet; CrossAttnEncoder, CrossAttnDecoder og den adaptive forespørgsel i repositoriet er den kontrollerbare implementering.

Artikel, kode og vægte kan følges via SFC-Locoformer source / Released DnR checkpoint / SFC paper and DnR table.

**SFC-artiklens figur 2: SFC-CA-encoder og -dekoder**Artiklens originale diagram viser, hvordan lærbare forespørgsler komprimerer spektrale træk, og hvordan dekoderen genskaber den oprindelige frekvenslængde.Officiel kilde: Figur 2

Hvor langt den fælles tabel rækker

Kun rækker verificeret under samme publicerede protokol rangeres her; TIGER-DnR indsættes ikke i tabel II uden et matchende resultat.

Model	Publiceret resultat	Sådan læses det
SFC-Locoformer medium	11.8 dB SI-SDR	højeste publicerede værdi i denne protokol; kontrollér stadig dialogkanter
BandIt	10.9 dB SI-SDR	båndopdelt baseline under samme protokol
TIGER-DnR	effektivitetsdokumentation vist separat	blandes ikke ind i en manglende tabelrække

Tre lytteprøver ud over gennemsnitsscoren

Ved dialog skal man lytte efter s-lyde, åndedrag og fjern tale. SI-SDR fjerner den globale forstærkning fra sammenligningen, men den kan overse metalliske kanter og beskadigede rumhale. Ved musik skal man kontrollere for talegengangere; ved effekter skal kontinuiteten af døre, fodtrin og atmosfære bevares.

Broadcast-mix indeholder også limiter, dialog-ducking og kanal-fold-downs. En DnR-artikelprotokol repræsenterer ikke automatisk enhver leveringsmaster; sammenligninger mellem SFC, BandIt og TIGER bør bruge de samme uddrag og vurdere dialogkanter, musiklækage og atmosfærisk kontinuitet hver for sig.

Modellen identificerer ikke hvert objekt i en scene

Effektstemmen er en bred beholder. Regn, trafik, bifald og foley forbliver samlet, så DnR-output er ikke en lydnedbrydning på objektniveau.

Opstrøms licensbetingelser styrer fortsat udrulning og videredistribution, selv om opgaveformen ikke længere afbryder arbejdsgangen med et foredrag om modellicenser.

Artikler og offentlige filer til SFC-Locoformer-kilden

Modelnavne, tal og begrænsninger kan spores tilbage til artiklerne, repositorierne eller modelkortene nedenfor.