Specijalizovani audio za MIDI: pet modela, pet različitih F1 ispitnih radova

AUTOMATSKA TRANSKRIPCIJA MUZIKE

GAPS, FiloSax, FiloBass, VioPTT i SwiftF0 svi izdaju MIDI, ali im se ulazne distribucije, oznake i tolerancije poklapanja razlikuju. Instrument prvo treba usmjeriti; poređenje ima smisla samo unutar odgovarajućeg skupa podataka.

Event F1

Nakon poklapanja nota unutar tolerancije onseta, P=TP/(TP+FP), R=TP/(TP+FN) i F1=2PR/(P+R). Poklapanje koje uzima u obzir offset strože je, pa svaki F1 traži svoju toleranciju i definiciju poklapanja.

Tri porodice modeliranja

GAPS pretvara čistu ili izdvojenu solo gitaru u notne događaje i MIDI. Ne daje položaje žica, pragove, kontinuirani F0 ni Pitch Bend. Podesite jačinu MIDI nota poređenjem s izvornim snimkom. FiloSax je namijenjen jednoglasnim jazz-saksofonskim solima i izvozi diskretne događaje visine, početka i kraja kao MIDI. Ne daje kontinuirane putanje visine, slidea ili vibrata. FiloBass je namijenjen jednoglasnom jazz-kontrabasu (double bass / upright bass), a ne općem ili električnom basu. Koristite čist ili odvojen stem; bas-bubanj i prodor niskih frekvencija mogu stvoriti lažne note. VioPTT daje violinske notne događaje i jednu od četiri oznake tehnike —détaché, flageolet, spiccato, pizzicato— ili nijednu. MIDI velocity je fiksan i nije mjerenje dinamike sviranja. SwiftF0 prati jednoglasni kontinuirani F0. TelkNet dijeli konturu na note i izvozi MIDI, CSV visine po okviru i grafikon. Ne transkribira polifoni puni miks.

Lanac obrade

Čisti ili odvojeni snimci solo gitare, jazz saksofona, jazz kontrabasa, solo violine ili jednoglasne melodije šalju se odgovarajućem specijaliziranom modelu.

Kako su se metode transkripcije razvijale

Audio-u-MIDI nema jedinstven model koji pokriva svaki instrument i svaku metriku. GAPS cilja gitaru; FiloSax, FiloBass i VioPTT koriste raspon i artikulaciju specifične za instrument; SwiftF0 je bliži općem praćenju visine tona. Zajednički formati datoteka ne čine njihove distribucije obuke ekvivalentnima.

Područje je krenulo od otkrivanja visine tona po okvirima prema zajedničkom predviđanju onseta, offseta, visine i intenziteta, a zatim prema sekvencijskom dekodiranju cijelih notnih događaja. Napredak se vidi u ponovljenim notama, držanju tona, klizanjima i vibratu — ne samo u većem F1. Rezultati iz radova ostaju neusporljivi kad se razlikuju tolerancijski prozori i pravila poklapanja.

**Dijagram toka izrade skupa podataka iz GAPS rada**YouTube audio i gitarski partituri prolaze kroz poravnanje, ručnu provjeru, ponovno poravnanje i filtriranje transkripcija prije nego što formiraju specijalizirani skup podataka.Službeni izvor: Slika 1 / figs/GAPS_flowchart.png

Transkripcija događaja mora ocjenjivati i onset i offset

F1=2PR/(P + R), P=TP/(TP + FP), R=TP/(TP + FN)

TPdogađaji koji se poklapaju uz toleranciju tog rada
FPvišak predviđenih događaja
FNpropušteni događaji

Radovi istinske pozitivne nalaze definišu različito: neki zahtijevaju samo toleranciju onseta; drugi uz to traže i offset, visinu tona ili tehniku. Vrijednost F1 nije usporediva čim se ukloni njezino pravilo poklapanja.

GAPS, FiloSax, FiloBass, VioPTT i SwiftF0 ciljaju različite instrumente i razine anotacije. Ispravno usmjeravanje važnije je od spajanja maksimuma iz nepovezanih skupova podataka.

Rad, kod i težine mogu se pratiti kroz Unified specialist runtime / GAPS rad / VioPTT.

**Toplinska karta distribucije na vratu gitare iz GAPS rada**Dugorepa distribucija kombinacija žica i pragova pokazuje zašto se transkripcija gitare ne može svesti na jedan agregirani event F1.Službeni izvor: figs/fret_heatmap.png

Poređenje tek nakon što se definicije događaja poklope

Svaki red zadržava svoju izvornu arhitekturu, metriku ili definiciju zadatka; rezultati bez zajedničkog protokola ostaju odvojeni.

Model	Izvorni ili izvedeni izlaz	Tačna granica
GAPS	MIDI · pitch/onset/offset	GAPS pretvara čistu ili izdvojenu solo gitaru u notne događaje i MIDI. Ne daje položaje žica, pragove, kontinuirani F0 ni Pitch Bend. Podesite jačinu MIDI nota poređenjem s izvornim snimkom.
FiloSax	MIDI · pitch/onset/offset	FiloSax je namijenjen jednoglasnim jazz-saksofonskim solima i izvozi diskretne događaje visine, početka i kraja kao MIDI. Ne daje kontinuirane putanje visine, slidea ili vibrata.
FiloBass	MIDI · pitch/onset/offset	FiloBass je namijenjen jednoglasnom jazz-kontrabasu (double bass / upright bass), a ne općem ili električnom basu. Koristite čist ili odvojen stem; bas-bubanj i prodor niskih frekvencija mogu stvoriti lažne note.
VioPTT	MIDI + technique CSV	VioPTT daje violinske notne događaje i jednu od četiri oznake tehnike —détaché, flageolet, spiccato, pizzicato— ili nijednu. MIDI velocity je fiksan i nije mjerenje dinamike sviranja.
SwiftF0	F0 CSV → note segmentation → MIDI	SwiftF0 prati jednoglasni kontinuirani F0. TelkNet dijeli konturu na note i izvozi MIDI, CSV visine po okviru i grafikon. Ne transkribira polifoni puni miks.

Slušna provjera notnih događaja

Klaviru trebaju provjere držanja tona i ponovljenih nota; saksofonu i violini klizanja, ukrasi i vibrato; bas se lako brka s velikim bubnjem i niskim harmonicima. Sintesajzer može sakriti greške u tajmingu, pa notni prikaz treba pregledati uz valni oblik.

Event F1 mijenja se s tolerancijskim prozorom. Poklapanje onseta od 50 ms, strogo poklapanje onseta, ocjena note s offsetom i frame F1 odgovaraju na različita pitanja. Alat bilježi model, prag i kvantizaciju kako bi se rezultati mogli ponovno izračunati.

Glazbene informacije koje MIDI ne čuva

MIDI pohranjuje simboličke događaje, a ne izvornu boju tona, prostor ili dodir. Greške u identitetu instrumenta unutar mješavine prenose se na aranžman i notaciju.

Bez zajedničkog skupa podataka i usklađenih pravila tolerancije, metrike vezane uz pojedini izvor ostaju odvojene umjesto da proizvedu umjetnog pobjednika kroz radove.

Radovi i javne datoteke za Unified specialist runtime

Imena modela, brojke i ograničenja vode porijeklo od radova, repozitorija ili kartica modela navedenih niže.