Ładowanie...

Wokal do MIDI · ROSVOT / GAME · TelkNet

MIDI / transkrypcjaGPU obciążenia pracąSOME · Kod źródłowy SOME v1.0.0-baseline · Wagi SOME v1.0.0-baseline · Changelog SOME · Publikacja

Wokal do MIDI

Zamień śpiew, nucenie lub wokal na MIDI. Porównaj ROSVOT, GAME, SOME i VOCANO przed poprawieniem melodii.

25 kredyty/wykorzystanieWejście plikuMaksymalnie 100 MBSzacowany czas 45-1800 sekund

Wejście

Prześlij śpiew solo, nucenie lub oddzielony wokal prowadzący. Jeśli masz tylko gotowy utwór, wybierz „Pełny utwór”; wokal prowadzący zostanie najpierw wydzielony.

Obsługiwane formaty

mp3wavflacoggm4aaacaifaiffmp4movmkv

Produkcja

MIDI

Przypadek użycia

Kopiowanie śpiewanej melodii do DAW w celu edycji, dublowania, programowania syntezatora lub szkicu notacji.

Wybierz rodzinę modeli

Wokal do MIDI · ROSVOTDostępneOdporna ścieżka dla śpiewu z szumem lub przebiciem akompaniamentu; obecny oficjalny checkpoint trenowano głównie na śpiewie mandaryńskim.Wokal do MIDI · GAMEDostępneZamienia śpiew w MIDI z ustawieniami języka, segmentacji i wykrywania nut.Wokal do MIDI · SOMEDostępneSOME to szybka i lekka ścieżka śpiewu do MIDI.Wokal do MIDI · VOCANODostępneVOCANO wydobywa wysokość wokalu przez Patch-CNN i wyznacza granice nut przez PyramidNet-110. Opublikowany tryb inferencji nie ma dodatkowych ustawień modelu.

Wybierz model do swojego materiału i celu, a przed wysłaniem zapoznaj się z przykładami.

Koszt, czas, formaty i parametry zależą od wybranego modelu.

Szybka opinia

W opinii podaj nazwę narzędzia, kroki i napotkany problem. Zrzuty ekranu ułatwią jego zlokalizowanie.

Modele, parametry i źródła

SOME to szybka i lekka ścieżka śpiewu do MIDI.

ROSVOTROSVOT paper, Table 1ROSVOT + RWBDVOCANO: A Note Transcription Framework for Singing Voice in Polyphonic MusicRobust Singing Voice Transcription Serves SynthesisGAME: Generative Adaptive MIDI ExtractorSOME: Singing-Oriented MIDI ExtractorGAMESOMEVOCANO

ROSVOT

Odporna ścieżka dla śpiewu z szumem lub przebiciem akompaniamentu; obecny oficjalny checkpoint trenowano głównie na śpiewie mandaryńskim.

ROSVOT source (pinned)ROSVOT project page ROSVOT paper

Próg granic nut ROSVOT: domyślnie 0.85; zakres 0–1.
Próg granic słów ROSVOT: domyślnie 0.5; zakres 0–1.

GAME

Zamienia śpiew w MIDI z ustawieniami języka, segmentacji i wykrywania nut.

GAME v1.0.3 source (pinned)GAME v1.0.3 weights GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)

Pozostaw puste, aby użyć oficjalnego identyfikatora języka 0 w GAME. To nie jest automatyczne wykrywanie; wybierz język, jeśli go znasz.
Próg segmentacji — Oficjalne ustawienie modelu; w razie wątpliwości zachowaj wartość domyślną.
Promień segmentacji (s) — Oficjalne ustawienie modelu; w razie wątpliwości zachowaj wartość domyślną.
Czas startu D3PM — Oficjalne ustawienie modelu; w razie wątpliwości zachowaj wartość domyślną.
Kroki odszumiania GAME: domyślnie 8; zakres 1–128.
Próg estymacji — Oficjalne ustawienie modelu; w razie wątpliwości zachowaj wartość domyślną.
Po transkrypcji analizuje oryginalne uderzenia i zapisuje tempo w MIDI, zachowując czas nut.
Nie zamieszczono jeszcze oddzielnych wyników oceny GAME v1.0.3.

SOME

SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

Po transkrypcji analizuje oryginalne uderzenia i zapisuje tempo w MIDI, zachowując czas nut.

VOCANO

VOCANO wydobywa wysokość wokalu przez Patch-CNN i wyznacza granice nut przez PyramidNet-110. Opublikowany tryb inferencji nie ma dodatkowych ustawień modelu.

VOCANO source and official weights VOCANO ISMIR 2021 paper

Dla a cappella lub już oddzielonego wokalu wybierz „Sam wokal / ścieżka wokalna”. Przy „Pełnym utworze” najpierw zostanie wydzielony wokal prowadzący.

Notatki z artykułu i benchmarków

VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music

ISMIR - 2021

VOCANO wydobywa wysokość wokalu przez Patch-CNN i wyznacza granice nut przez PyramidNet-110. Opublikowany tryb inferencji nie ma dodatkowych ustawień modelu.

Official source and citation

Robust Singing Voice Transcription Serves Synthesis

ACL - 2024

Odporna ścieżka dla śpiewu z szumem lub przebiciem akompaniamentu; obecny oficjalny checkpoint trenowano głównie na śpiewie mandaryńskim.

Paper

GAME: Generative Adaptive MIDI Extractor

Official technical guide - 2026

Zamienia śpiew w MIDI z ustawieniami języka, segmentacji i wykrywania nut.

v1.0.3 technical guide (pinned)v1.0.3 ONNX guide (pinned)v1.0.3 weights

SOME: Singing-Oriented MIDI Extractor

Official technical guide - 2023

Technical guide (pinned)Baseline weights

Oficjalne / repozytoria

ROSVOT source (pinned)ROSVOT project page GAME v1.0.3 source (pinned)GAME v1.0.3 weights SOME source (pinned)SOME baseline weights VOCANO source and official weights

Artykuły / notatki techniczne

ROSVOT paper GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)SOME technical guide (pinned)VOCANO ISMIR 2021 paper

Przewodnik po parametrach

Dla a cappella lub już oddzielonego wokalu wybierz „Sam wokal / ścieżka wokalna”. Przy „Pełnym utworze” najpierw zostanie wydzielony wokal prowadzący.
Pozostaw puste, aby użyć oficjalnego identyfikatora języka 0 w GAME. To nie jest automatyczne wykrywanie; wybierz język, jeśli go znasz.
Próg segmentacji — Oficjalne ustawienie modelu; w razie wątpliwości zachowaj wartość domyślną.
Promień segmentacji (s) — Oficjalne ustawienie modelu; w razie wątpliwości zachowaj wartość domyślną.
Czas startu D3PM — Oficjalne ustawienie modelu; w razie wątpliwości zachowaj wartość domyślną.
Kroki odszumiania GAME: domyślnie 8; zakres 1–128.
Próg estymacji — Oficjalne ustawienie modelu; w razie wątpliwości zachowaj wartość domyślną.
Po transkrypcji analizuje oryginalne uderzenia i zapisuje tempo w MIDI, zachowując czas nut.
Próg granic nut ROSVOT: domyślnie 0.85; zakres 0–1.
Próg granic słów ROSVOT: domyślnie 0.5; zakres 0–1.

Przypadki użycia

Zmień linię głównego wokalu w edytowalne nuty.
Porównaj cztery modele transkrypcji, gdy w nagraniu występują spady, szumy lub niejasne granice nut.
Użyj MIDI jako ścieżki prowadzącej w DAW, a następnie koryguj wysokość i długość nut ze słuchu.

Przepływ pracy

1Wybierz rodzaj nagrania i prześlij śpiew solo, ścieżkę wokalną lub pełny utwór. Pełny utwór jest najpierw separowany.
2Zacznij od modelu domyślnego; porównania czterech wersji użyj, gdy jeden wynik trudno ocenić.
3Przełączaj się między oryginalnym wokalem a każdą rolką fortepianu, popraw wybrany MIDI, a następnie pobierz go.

Co sprawdzić

To narzędzie podąża za śpiewaną melodią wiodącą; nie przebudowuje perkusji, akordów ani kompletnego układu.
GAME udostępnia kontrolę języka i segmentacji. Punkt kontrolny ROSVOT jest szkolony głównie w zakresie śpiewu mandaryńskiego.
Porównanie wykonuje cztery osobne konwersje i zwraca cztery niezależne pliki MIDI, bez łączenia modeli.

Modele w tej dziedzinie

3 wyników

Zawiera publiczne wyniki testów modeli używanych tutaj i poza serwisem. Domyślnie wyświetlana jest pełna tabela źródłowa; można też wybrać warunki i metryki do porównania. Wyniki z różnych warunków testowych nie są bezpośrednio porównywalne.

Wyświetlane są tylko wyniki ze zweryfikowaną publiczną implementacją inferencji i odpowiednimi wagami oraz algorytmy niewymagające wag. Zamknięte usługi, nieopublikowane wagi i niepotwierdzone wersje eksperymentalne są pomijane. To nie jest ranking wszystkich modeli.

Publiczne wagi nie potwierdzają pełnej licencji open source. Rozwiń dane, aby sprawdzić zadeklarowane licencje wag i warunki dostępu. Brak deklaracji licencji jest oznaczony osobno.

Test porównawczyKategoria

Wybrany model nie ma zweryfikowanego, odpowiadającego mu publicznego wyniku i nie otrzymał miejsca w rankingu.

GAME 1.0 · Czysty wokal

Wybierz zbiór danych, aby zobaczyć wszystkie metryki każdego modelu. Wiersze są uporządkowane według oficjalnej pozycji lub wybranej metryki. Pogrubienie oznacza najlepszą porównywalną wartość w kolumnie, także przy remisie. Różne protokoły oceny są klasyfikowane osobno; brakujące wyniki są oznaczone jako -.

Prywatne dane autorów, 100 odłożonych nagrań; każdy rozmiar używa swojego najlepszego opublikowanego K. OA to ogólna trafność klatek, nie F1 nut, i nie można jej łączyć z ROSVOT.

Ranking według metryki

GAME 1.0 · Czysty wokal
Pozycja według metryki	Model	Ranking ogólny w ramach tego protokołu↑OA (%)	QER (%)↓	Presence F1 (%)↑	RPA (%)↑	Pitch RMSE↓	Chamfer (frames)↓
1	GAME 1.0 Medium · K=8 Publiczne wagi · Kod inferencji Publiczne wagi Kod inferencji`GAME-1.0.3-medium-onnx.zip`Licencja wag (deklaracja repozytorium): MIT	95.03	12.3	99.23	94.86	0.552	1.44
1	GAME 1.0 Large · K=1 Publiczne wagi · Kod inferencji Publiczne wagi Kod inferencji`GAME-1.0.3-large-onnx.zip`Licencja wag (deklaracja repozytorium): MIT	95.03	12.87	99.15	94.92	0.684	1.44
3	GAME 1.0 Small · K=2 Publiczne wagi · Kod inferencji Publiczne wagi Kod inferencji`GAME-1.0.3-small-onnx.zip`Licencja wag (deklaracja repozytorium): MIT	94.99	13.13	99.14	94.99	0.653	1.5

Oryginalne rekordy (3)

GAME · Technical Report §10 ↗Sprawdzono: 2026-09-27

Wszystkie źródła ocen (1)

Zbiory, wersje i warunki są rozdzielone, również źródła bez kwalifikujących się wierszy.

ROSVOT paper, Table 1 ↗
Do wdrożenia 2 / wiersze źródłowe 10
Poza rankingiem: 8
Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Wszystkie wyniki źródłowe i źródła

Wyniki dotyczą wskazanego zbioru, miary i wersji modelu. Różnych testów nie można bezpośrednio porównywać.

ROSVOT paper, Table 1

Do wdrożenia 2 / wiersze źródłowe 10

Poza rankingiem: 8

Nie zweryfikowano pełnego publicznego pakietu inferencji dla tych eksperymentów. Inne wagi modelu o tej samej nazwie nie wystarczą.

TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Odporna ścieżka dla śpiewu z szumem lub przebiciem akompaniamentu; obecny oficjalny checkpoint trenowano głównie na śpiewie mandaryńskim.

Ranking według metryki

ROSVOT paper, Table 1
Pozycja według metryki	Model	COn (F) ↑		COff (F) ↑		COnPOff (F) ↑		Pitch (AOR) ↑		Melody (RPA) ↑
Pozycja według metryki	Model	clean	noisy	clean	noisy	clean	noisy	clean	noisy	clean	noisy
1	ℳ (ours) Publiczne wagi · Kod inferencji checkpoints.zip · rosvot + rwbd + rmvpe Kod inferencjiNie zadeklarowano licencji wag	94.0	93.8	94.5	94.4	77.4	77.0	97.0	97.1	87.6	87.4
2	ℳ (w/ E W ) Publiczne wagi · Kod inferencji checkpoints.zip · rosvot + rwbd + rmvpe Kod inferencjiNie zadeklarowano licencji wag	93.3	93.5	93.2	92.9	77.1	77.0	96.5	96.2	87.5	87.2

Oryginalne rekordy (2)

ROSVOT paper, Table 1 ↗Sprawdzono: 2026-10-25