ChordEdit: one-step niskoenergetski transport za source-to-target uređivanje slika

Problem: brzo generisanje još nije bilo brzo uređivanje

Istraživanje difuzije stvorilo je očekivanje da uređivanje treba biti trenutno ako model generiše sliku u jednom ili nekoliko koraka. SD-Turbo, SwiftBrush-v2, InstaFlow i srodni destilirani generatori ciljaju interaktivni rad. Ipak, uređivanje stvarne slike strožije je od generisanja iz šuma: traženo se mora promijeniti, a sve ostalo važno sačuvati.

Taj drugi zahtjev otežava jedan korak. Višekoračni uređivači postepeno usmjeravaju sliku i ispravljaju put. Inverzijske metode rekonstruišu izvor u latentnom prostoru, a metode s nekoliko koraka mijenjaju brzinu za korekcije. Uređivač bez treniranja nema prostora za oporavak ako je jedini smjer nestabilan.

Rad nestabilnost opisuje poljima i energijom. Jednostavno uređivanje ispituje model s izvornim i ciljnim promptom i oduzima drift polja. U destiliranom modelu ta polja mogu biti snažno nelinearna. Njihova razlika daje veliko, nepravilno vektorsko polje, a jedan grubi korak uzrokuje deformacije, slomljenu pozadinu i lažne detalje.

Zato „samo jedan korak“ nije dovoljno. Brz alat je beskoristan ako ne čuva ulaz. Važni su praćenje prompta i dosljednost. Pretvaranje konja u jednoroga ne smije rastopiti scenu; promjena jeseni u proljeće ne smije pregraditi cestu. ChordEdit cilja upravo tu ravnotežu.

Šta ChordEdit konceptualno mijenja

ChordEdit ne tretira uređivanje kao prostu vektorsku aritmetiku dva polja uslovljena promptom. Traži niskoenergetski put koji izvornu distribuciju prenosi ka ciljnoj, koristeći dinamički optimalni prijenos i ideju da je put manje energije stabilniji.

Metoda ne traži ponovno treniranje T2I modela niti skupu inverziju svake slike. Očitava brzinu, predikciju šuma ili ekvivalentno vidljivo polje i gradi kontrolu. Neovisna je o modelu jer se izlazi različitih brzih T2I parametrizacija mogu mapirati u uporediv prostor polja.

Ključ je Chord Control Field. Umjesto trenutne razlike drifta, ChordEdit uzima vremenski ponderisan prosjek na kratkom intervalu. Time smanjuje energiju i varijansu potrebne za integraciju u jednom koraku: drhtav signal postaje mirniji akord koji ide ka cilju bez razaranja izvora.

Rad opisuje i opcionalno proksimalno poboljšanje. Prijenos daje prednost dosljednosti i očuvanju, a poboljšanje jača semantičko poravnanje. Original treba ostati prepoznatljiv, a tražena promjena dovoljno vidljiva.

Zašto su važni „bez treniranja“ i „bez inverzije“

Trenirani uređivač može biti brz, ali zavisiti od dodatnog modela, inverzijske mreže, određenog backbonea ili ograničenih podataka. To smanjuje prenosivost. Metoda bez treniranja koristi postojeći model, a bez inverzije ne troši vrijeme na rekonstrukciju izvora prije uređivanja.

ChordEdit spaja tri teška uslova: jedan korak, bez treniranja i bez inverzije. Višekoračne metode usrednjavaju nestabilnost, inverzija čvršće usidri sliku, a trening uči korekciju. ChordEdit čuva prenosivost i vraća stabilnost potrebnu za rad u stvarnom vremenu.

Zato nije generički omotač slika-u-sliku. Izvorni i ciljni prompt definišu distribucije, a seed, broj uzoraka šuma, prozor prijenosa, delta i skala koraka određuju aproksimaciju putanje u javnom demu.

Kako čitati prijavljene rezultate

ChordEdit se na PIE-bench poredi s višekoračnim, malokoračnim i jednokoračnim uređivačima. Nije važan jedan rang. Dosljednost pozadine mjeri se metrikama poput PSNR, semantičko poravnanje rezultatima tipa CLIP-Edited, a vrijeme rada je ključno zbog uređivanja u stvarnom vremenu. Tvrdnja je ravnoteža brzine, vjernosti i semantike.

Zaključak navodi 0.38 sekundi i malu potrošnju VRAM. Autori prijavljuju manje od pola VRAM-a SwiftEdit na istom modelu, oko 19 puta veću brzinu od FlowEdit, više od 208 puta od Direct Inversion i najmanje 3.4 puta od najbrže malokoračne alternative.

Ablacije su informativnije od brzine. Bez proksimalnog poboljšanja Chord prijenos postiže PSNR 23.89 i CLIP-Edited 21.87, naspram 21.89 i 20.83 za naivno polje. S poboljšanjem na SD-Turbo, PSNR 21.38 i CLIP-Edited 21.96 rastu na 22.20 i 22.96.

Tabela kroz modele pokazuje poboljšanja na InstaFlow, SwiftBrush-v2 i SD-Turbo. Za SD-Turbo PSNR raste 21.38–22.20, a CLIP-Edited 21.96–22.96. To podržava neovisnost od modela, ali ne znači isto ponašanje svake fotografije i prompta; metoda se primjenjuje na kompatibilne brze T2I backbone modele.

Poređenje uobičajenih puteva uređivanja

Šta kontrolišu parametri javnog dema

source_prompt opisuje vidljivu distribuciju slike, a target_prompt željenu. Razlika daje semantički smjer; netačan opis izvora može mijenjati već prisutan sadržaj.

Zvanični demo koristi seed 42 i nudi t_start, t_end, t_delta, step_scale i n_samples od 1 do 16. Oni postavljaju interval integracije, diskretizaciju i Monte Carlo procjenu; više uzoraka povećava računanje, ne pravi novu verziju modela.

Kako ga dobro koristiti

Šta metoda ne obećava

ChordEdit je brz i elegantan, ali nije univerzalni fotoeditor. Ne razumije neizrečenu namjeru niti garantuje očuvanje svakog identitetskog detalja, logotipa, lica ili teksta. Smanjuje nestabilnost, ali ne uklanja sve pristranosti, halucinacije i dvosmislenosti. Rad upozorava na zloupotrebu i namjenjuje metodu kreativnoj i pomoćnoj upotrebi.

Treba razdvojiti performanse rada, ponašanje zvaničnog dema i stvarne rezultate. Prvo se mjeri protokolom, drugo pokazuje namjeru autora, treće zavisi od slike, prompta, seeda i parametara. Slojevi su usklađeni, ali nisu isti kao kontrolisana tabela.

Praktično čitanje: ChordEdit približava tekstualno uređivanje u stvarnom vremenu jer rješava specifičnu nestabilnost jednokoračnih polja. Posebno je koristan za semantičke izmjene uz očuvanje pozadine kada je višekoračni rad prespor.

Činjenice, tumačenje i značenje proizvoda