STARS: A Unified Framework for Singing Transcription, Alignment, and Refined Style Annotation
ACL Findings - 2025
Učitavanje...
Traži vokalni snimak, tekst, foneme i mapu fonema na riječi. Izvozi MIDI, vremena fonema i riječi te vokalne tehnike; nije dovoljan samo audio.
Ulaz
Podržava ulaze u formatima kao što su mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Podržani formati
Izlaz
MIDI / JSON
Slučaj upotrebe
Uređivanje nota, instrumentacije i detalja izvedbe.
Odaberite model prema materijalu i namjeni te pregledajte primjere prije slanja.
Cijena, vrijeme, formati i parametri zavise od odabranog modela.
STARS · Bilingual: Uređivanje nota, instrumentacije i detalja izvedbe.
STARS · Chinese: Uređivanje nota, instrumentacije i detalja izvedbe.
ACL Findings - 2025
Uključuje javne rezultate testiranja modela koji se koriste ovdje i drugdje. Podrazumijevano se prikazuje potpuna izvorna tabela; za poređenje se mogu odabrati uslovi i metrike. Rezultati različitih uslova testiranja nisu direktno uporedivi.
Prikazani su samo zapisi s provjerenom javnom implementacijom inferencije i odgovarajućim težinama, kao i algoritmi kojima težine nisu potrebne. Zatvoreni servisi, neobjavljene težine i nepotvrđene verzije eksperimenata su isključeni. Ovo nije rangiranje svih modela.
Javne težine ne potvrđuju potpunu licencu otvorenog koda. Proširite podatke za navedene licence težina i uslove pristupa. Nedeklarisane licence su posebno označene.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 6
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
w/o CTC · w/o VQ · w/o MOE · Conv
Vrijednosti dolaze iz povezanog javnog izvora. Oznake redova navode testni skup ili kontrolnu tačku; neobjavljeni rezultati prikazuju se kao -.
| Poredak po metrici | Model | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSJavne težine · Kod za inferenciju | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualModel na ovoj straniciJavne težine · Kod za inferencijustars_chinese_english_bilingual/model_ckpt_steps_300000.ckptKod za inferencijuLicenca težina nije navedena | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
Oznake prikazuju modele ili komponente korištene ovdje. Rezultati i postavke dolaze iz navedenih testova, a ne iz nove procjene cijelog postupka obrade na stranici.
Skupovi podataka, verzije i uslovi ostaju odvojeni, uključujući izvore bez prihvatljivih redova.
Lokalno pokretanje 3 / izvorni redovi 3
Lokalno pokretanje 2 / izvorni redovi 6
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
w/o CTC · w/o VQ · w/o MOE · Conv
Rezultati važe za navedeni skup podataka, metriku i verziju modela. Različiti testovi nisu direktno uporedivi.
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 3 / izvorni redovi 3
Vrijednosti dolaze iz povezanog javnog izvora. Oznake redova navode testni skup ili kontrolnu tačku; neobjavljeni rezultati prikazuju se kao -.
| Poredak po metrici | Model | COnPOff(F) ↑ | RPA ↑ |
|---|---|---|---|
| 1 | STARS (ours)Javne težine · Kod za inferenciju | 71.0 | 86.7 |
| 2 | ROSVOTJavne težine · Kod za inferenciju | 70.2 | 83.8 |
| 3 | VOCANOJavne težine · Kod za inferenciju | 50.2 | 76.6 |
Odaberite skup podataka za prikaz svih metrika svakog modela. Redovi slijede službeni poredak ili odabranu metriku. Podebljano je označena najbolja uporediva vrijednost u svakoj koloni, uključujući izjednačenja. Različiti protokoli ocjenjivanja rangiraju se zasebno; nedostajući rezultati prikazani su kao -.
Lokalno pokretanje 2 / izvorni redovi 6
Potpun javni paket za inferenciju ovih eksperimenata nije provjeren. Druge težine s istim nazivom modela nisu zamjena.
w/o CTC · w/o VQ · w/o MOE · Conv
Vrijednosti dolaze iz povezanog javnog izvora. Oznake redova navode testni skup ili kontrolnu tačku; neobjavljeni rezultati prikazuju se kao -.
| Poredak po metrici | Model | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSJavne težine · Kod za inferenciju | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualJavne težine · Kod za inferencijustars_chinese_english_bilingual/model_ckpt_steps_300000.ckptKod za inferencijuLicenca težina nije navedena | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
U povratnim informacijama navedite alat, korake i problem. Snimci ekrana mogu pomoći u pronalaženju uzroka.