SFC-Locoformer: Adaptiv spektral komprimering og dialoggrenser for 11,8 dB DnR

PAPER-GJENNOMGANG / FILMATISK SEPARERING

DnR skiller en programmiks i dialog, musikk og effekter. Disse kildene overlapper i både tid og frekvens, så problemet kan ikke reduseres til å oppdage taleaktivitet. SFC-Locoformer, BandIt og TIGER-DnR angriper samme oppgave med ulike komprimeringsløsninger, sekvenskostnader og publisert dokumentasjon.

Spektral komprimering

En STFT produserer det komplekse spekteret X(t,f). Å gi hvert tilstøtende frekvensbånd samme kanalbudsjett bruker regnekraft på sterkt korrelerte trekk. SFC lærer en projeksjon inn i en kompakt spektral akse:

Z(t,k)=Σ_f C(k,f)·[Re X(t,f), Im X(t,f)]

Dekoderen bruker kryss-oppmerksomhet for å føre den komprimerte representasjonen tilbake til målfrekvensbåndene. Dette er ikke et høyfrekvent kutt: konsonanttransienter, vedvarende harmoniske toner og bredbåndseffekter forblir tilgjengelige for separatoren.

Lokal og langsiktig kontekst

Lokale blokker modellerer slag, plosiver og trommeanslag; kommunikasjonen på tvers av vinduer bærer musikkgrunnlag, setninger og omgivelser. Ett enkelt tett oppmerksomhetsfelt ville fått minneforbruket til å vokse kraftig med varigheten. Locoformer kombinerer lokal miksing med en økonomisk langsiktig utveksling, slik at det publiserte medium-sjekkpunktet forblir praktisk.

Slik leser du 11.8 dB riktig

Tabell II rapporterer 11.8 dB for SFC-Locoformer medium og 10.9 dB for BandIt under samme DnR-testprotokoll. Det skalainvariante målet er:

SI-SDR=10 log10(||s_target||² / ||e_noise||²)

Det støtter en rangering innen samme protokoll, ikke sammenligninger mot MUSDB, en annen DnR-revisjon eller håndplukkede klipp. Forspranget på 0.9 dB garanterer heller ikke at alle filmutdrag vinner; frikativer, omgivelsesbredde og effekttransienter krever fortsatt blindlytting.

Publisert kode og vekter

Forfatterne publiserer SFC-CA-, SFC-Mamba- og BandIt-enkodere, TF-Locoformer-separatoren og forhåndstrente MUSDB18-HQ- og DnR-vekter. Arkitekturen i artikkelen, implementasjonen i kodelageret og modellkortfilene kan dermed kontrolleres mot hverandre; 11.8 dB gjelder fortsatt bare for DnR v2-protokollen i tabell II.

Fra DnR-teststandarden til komprimerte spektre

Separering av dialog, musikk og effekter fikk en forholdsvis stabil måldefinisjon etter DnR Challenge i 2021. BandIt konsentrerte senere modelleringskapasiteten om ikke-uniforme frekvensbånd, mens TIGER utforsket en rimeligere sekvensmodell. SFC-Locoformer stiller et annet ingeniørspørsmål: Hvis nabo-frekvensbåndene er overflødige, kan de da komprimeres før modellbudsjettet brukes på lengre dialog- og musikkstrukturer?

Denne historien er grunnen til at de tre publiserte modellene hører hjemme på samme oppgaveside uten å beskrives som en enkel erstatning fra gammelt til nytt. BandIt er en sterk bånddelingsbaseline, TIGER tilbyr et beregningsorientert alternativ, og det publiserte SFC medium-sjekkpunktet rapporterer 11.8 dB under samme DnR v2-protokoll som tabell II bruker. Arkitektur, vekter og evalueringsprotokoll betyr alle noe.

**SFC-artikkelens figur 1: tre spektrale kodingsveier**Den offisielle sammenligningen av TF-toveisseparering, fast bånddeling og SFC-koding; ingen redaksjonelt omtrentegnede blokker er lagt til.Offisiell kilde: Figur 1

Spektral komprimering som en adaptiv operator

Z(t,k)=Σ_f A(k,f|X)\cdotW_f\cdotX(t,f)

X(t,f)komplekst inngangsspektrum
A(k,f|X)inngangsadaptiv båndaggregering
Z(t,k)komprimert sekvensrepresentasjon

A er ingen fast regel for frekvensbeskjæring. Det er en inngangsavhengig aggregeringsvekt, så den kortere k-aksen etterlater mer sekvenskapasitet til dialog, musikk og omgivelser over tid.

Dekoderen spør fortsatt med ukomprimerte trekk for å gjenopprette hvert utgangsfrekvensbånd. Likningen er en abstraksjon av informasjonsflyten; CrossAttnEncoder, CrossAttnDecoder og den adaptive spørringen i kodelageret er den revisjonsbare implementasjonen.

Artikkel, kode og vekter kan spores gjennom SFC-Locoformer-kildekode / Publisert DnR-sjekkpunkt / SFC-artikkelen og DnR-tabellen.

**SFC-artikkelens figur 2: SFC-CA-enkoder og -dekoder**Artikkelens originaldiagram viser hvordan lærbare spørringer komprimerer spektrale trekk, og hvordan dekoderen gjenoppretter den opprinnelige frekvenslengden.Offisiell kilde: Figur 2

Hvor langt den felles tabellen rekker

Bare rader verifisert under samme publiserte protokoll rangeres her; TIGER-DnR settes ikke inn i tabell II uten et tilsvarende resultat.

Modell	Publisert resultat	Slik bør det leses
SFC-Locoformer medium	11.8 dB SI-SDR	høyeste publiserte verdi i denne protokollen; kontroller fortsatt dialogkantene
BandIt	10.9 dB SI-SDR	bånddelingsbaseline under samme protokoll
TIGER-DnR	effektivitetsdokumentasjon vist separat	ikke blandet inn i en manglende tabellrad

Tre lyttesjekker utover gjennomsnittspoengsummen

I dialog: lytt etter sibilanser, pust og fjern tale. SI-SDR fjerner global forsterkning fra sammenligningen, men kan overse metalliske kanter og skadede romsus. I musikk: sjekk etter talespøkelser; i effekter: bevar kontinuiteten i dører, fottrinn og omgivelser.

Kringkastingsmikser inneholder også limiting, dialog-ducking og kanalsammenlegging. En DnR-artikkelprotokoll representerer ikke automatisk hver leveringsmiksmaster; sammenligninger mellom SFC, BandIt og TIGER bør bruke de samme utdragene og kontrollere dialogkanter, musikklekkasje og omgivelseskontinuitet hver for seg.

Modellen identifiserer ikke hvert objekt i en scene

Effektsporet er en bred beholder. Regn, trafikk, applaus og foley forblir kombinert, så DnR-utdata er ikke lyddekomponering på objektnivå.

Vilkårene i lisensen oppstrøms styrer fortsatt utrulling og videredistribusjon, selv om oppgaveformen ikke lenger avbryter arbeidsflyten med en forelesning om modellisens.

Artikler og offentlige filer for SFC-Locoformer-kildekoden

Modellnavn, tall og begrensninger kan spores tilbake til artiklene, kodelagrene eller modellkortene nedenfor.