Specjalistyczny dźwięk do MIDI: pięć modeli, pięć różnych arkuszy egzaminacyjnych F1 · TelkNet
Model
Specjalistyczny dźwięk do MIDI: pięć modeli, pięć różnych arkuszy egzaminacyjnych F1
Te modele mają publiczne wagi, integrację jako narzędzie lub profile TelkNet, jednoznaczny wybór wersji i niezmienne definicje runtime. Status Admin steruje widocznością i przyjmowaniem zadań; aktywacja wymaga E2–E4, a trasa domyślna dodatkowo E5.
GAPS, FiloSax, FiloBass, VioPTT i SwiftF0 zwracają MIDI, ale różnią się rozkładami danych wejściowych, etykietami i tolerancjami dopasowania. Najpierw przypisz instrument, a porównuj wyłącznie w obrębie odpowiedniego zbioru danych.
F1 zdarzeń
Po dopasowaniu nut w ramach tolerancji onsetu P=TP/(TP+FP), R=TP/(TP+FN) i F1=2PR/(P+R). Dopasowanie uwzględniające offset jest surowsze, więc każdy wynik F1 wymaga podania tolerancji i definicji dopasowania.
Trzy rodziny modelowania
GAPS zamienia czystą lub odseparowaną gitarę solo w zdarzenia nutowe i MIDI. Nie zwraca pozycji strun, progów, ciągłego F0 ani Pitch Bend. Dostosuj dynamikę MIDI, porównując ją z oryginalnym nagraniem. FiloSax jest przeznaczony do monofonicznych solówek saksofonu jazzowego i eksportuje dyskretne zdarzenia wysokości, początku i końca jako MIDI. Nie tworzy ciągłych śladów wysokości, slide ani vibrato. FiloBass jest przeznaczony do monofonicznego kontrabasu jazzowego (double bass / upright bass), a nie do ogólnego lub elektrycznego basu. Należy użyć czystego albo odseparowanego stemu; stopa i przesłuchy niskich częstotliwości mogą tworzyć fałszywe nuty. VioPTT zwraca zdarzenia nutowe skrzypiec i jedną z czterech etykiet techniki —détaché, flageolet, spiccato, pizzicato— albo brak etykiety. Velocity MIDI ma stałą wartość i nie jest pomiarem dynamiki wykonania. SwiftF0 śledzi monofoniczne ciągłe F0. TelkNet dzieli kontur na nuty i eksportuje MIDI, CSV wysokości dla każdej ramki oraz wykres. Nie transkrybuje polifonicznego pełnego miksu.
Łańcuch przetwarzania
Czyste lub odseparowane nagrania solowej gitary, jazzowego saksofonu, jazzowego kontrabasu, solowych skrzypiec albo melodii monofonicznej trafiają do właściwego modelu specjalistycznego.
Jak ewoluowały metody transkrypcji
W transkrypcji audio do MIDI nie istnieje jeden model obejmujący wszystkie instrumenty i metryki. GAPS celuje w gitarę; FiloSax, FiloBass i VioPTT wykorzystują specyficzną skalę i artykulację instrumentu; SwiftF0 jest bliższy ogólnemu śledzeniu wysokości dźwięku. Wspólne formaty plików nie czynią ich rozkładów treningowych równoważnymi.
Dziedzina przeszła od klatkowej detekcji wysokości do wspólnego przewidywania onsetu, offsetu, wysokości i velocity, a następnie do sekwencyjnego dekodowania kompletnych zdarzeń nutowych. Postęp widać w nutach powtarzanych, podtrzymaniach, glissandach i vibracie, a nie tylko w wyższym F1. Wyniki z publikacji pozostają nieporównywalne, gdy różnią się okna tolerancji i reguły dopasowania.
Schemat tworzenia zbioru danych z artykułu GAPSAudio z YouTube i partytury gitarowe przechodzą przez wyrównanie, ręczną weryfikację, ponowne wyrównanie i filtrowanie transkrypcji, zanim utworzą wyspecjalizowany zbiór danych.Oficjalne źródło: Figure 1 / figs/GAPS_flowchart.png
Transkrypcja zdarzeń musi punktować zarówno onset, jak i offset
F1=2PR/(P+R), P=TP/(TP+FP), R=TP/(TP+FN)
TPzdarzenia zgodne z tolerancją danej publikacji
FPnadmiarowe przewidziane zdarzenia
FNpominięte zdarzenia
Publikacje definiują trafienia na różne sposoby: niektóre wymagają tylko tolerancji onsetu, inne dodatkowo offsetu, wysokości dźwięku lub techniki gry. Wartość F1 przestaje być porównywalna, gdy oderwie się ją od reguły dopasowania.
GAPS, FiloSax, FiloBass, VioPTT i SwiftF0 celują w różne instrumenty i poziomy adnotacji. Właściwe przypisanie instrumentu ma większe znaczenie niż łączenie maksimów z niepowiązanych zbiorów danych.
Artykuł, kod i wagi można prześledzić przez Unified specialist runtime / artykuł GAPS / VioPTT.
Mapa cieplna rozkładu na gryfie z artykułu GAPSDługoogonowy rozkład kombinacji struna-próg pokazuje, dlaczego transkrypcji gitary nie da się sprowadzić do jednego zagregowanego F1 zdarzeń.Oficjalne źródło: figs/fret_heatmap.png
Porównuj dopiero po ujednoliceniu definicji zdarzeń
Każdy wiersz zachowuje własną architekturę źródłową, metrykę lub definicję zadania; wyniki bez wspólnego protokołu pozostają rozdzielne.
Model
Wyjście natywne lub pochodne
Dokładny zakres
GAPS
MIDI · pitch/onset/offset
GAPS zamienia czystą lub odseparowaną gitarę solo w zdarzenia nutowe i MIDI. Nie zwraca pozycji strun, progów, ciągłego F0 ani Pitch Bend. Dostosuj dynamikę MIDI, porównując ją z oryginalnym nagraniem.
FiloSax
MIDI · pitch/onset/offset
FiloSax jest przeznaczony do monofonicznych solówek saksofonu jazzowego i eksportuje dyskretne zdarzenia wysokości, początku i końca jako MIDI. Nie tworzy ciągłych śladów wysokości, slide ani vibrato.
FiloBass
MIDI · pitch/onset/offset
FiloBass jest przeznaczony do monofonicznego kontrabasu jazzowego (double bass / upright bass), a nie do ogólnego lub elektrycznego basu. Należy użyć czystego albo odseparowanego stemu; stopa i przesłuchy niskich częstotliwości mogą tworzyć fałszywe nuty.
VioPTT
MIDI + technique CSV
VioPTT zwraca zdarzenia nutowe skrzypiec i jedną z czterech etykiet techniki —détaché, flageolet, spiccato, pizzicato— albo brak etykiety. Velocity MIDI ma stałą wartość i nie jest pomiarem dynamiki wykonania.
SwiftF0
F0 CSV → note segmentation → MIDI
SwiftF0 śledzi monofoniczne ciągłe F0. TelkNet dzieli kontur na nuty i eksportuje MIDI, CSV wysokości dla każdej ramki oraz wykres. Nie transkrybuje polifonicznego pełnego miksu.
Odsłuchowa kontrola zdarzeń nutowych
Fortepian wymaga kontroli podtrzymań i nut powtarzanych; saksofon i skrzypce — glissand, ornamentów i vibrata; bas łatwo pomylić z werblami basowymi i niskimi harmonicznymi. Syntezator potrafi ukryć błędy rytmiczne, więc porównuj pianolę z przebiegiem fali.
F1 zdarzeń zmienia się wraz z oknem tolerancji. Dopasowanie onsetu 50 ms, ścisłe dopasowanie onsetu, wynik nutowy z offsetem i klatkowe F1 odpowiadają na różne pytania. Narzędzie zapisuje model, próg i kwantyzację, aby wyniki można było odtworzyć.
Informacje muzyczne, których MIDI nie zachowuje
MIDI przechowuje zdarzenia symboliczne, a nie oryginalną barwę, pomieszczenie czy dotyk. Błędy identyfikacji instrumentu w miksie przenoszą się na aranżację i notację.
Bez wspólnego zbioru danych i zgodnych reguł tolerancji metryki specyficzne dla źródeł pozostają rozdzielne, zamiast wytwarzać syntetycznego zwycięzcę ponad publikacjami.
Publikacje i publiczne pliki dla Unified specialist runtime
Nazwy modeli, liczby i ograniczenia prowadzą do poniższych artykułów, repozytoriów lub kart modeli.