Lädt...

Gesang zu MIDI · ROSVOT / GAME · TelkNet

MIDI / TranskriptionGPU ArbeitsbelastungVOCANO · Quellcode model.pt · Gewichte model3_patch25.npy · Gewichte VOCANO · Publikation

Gesang zu MIDI

Wandle Gesang, Summen oder Gesangsspuren in MIDI um. Vergleiche ROSVOT, GAME, SOME und VOCANO und korrigiere die Melodie.

25 Credits/NutzungDateieingabeMaximal 100 MBGeschätzte 45-1800 Sekunden

Eingabe

Laden Sie Solostimme, Summen oder eine getrennte Leadspur hoch. Liegt nur der fertige Song vor, wählen Sie „Kompletter Song“; der Leadgesang wird vor der Transkription getrennt.

Unterstützte Formate

mp3wavflacoggm4aaacaifaiffmp4movmkv

Ausgabe

MIDI

Anwendungsfall

Kopieren einer gesungenen Melodie in einen DAW zum Bearbeiten, Verdoppeln, Synthesizerprogrammieren oder für einen Notationsentwurf.

Modellfamilie wählen

Gesang zu MIDI · ROSVOTVerfügbarRobuster Pfad für Gesang mit Rauschen oder Begleitungsresten; der aktuelle offizielle Checkpoint wurde überwiegend mit Mandarin-Gesang trainiert.Gesang zu MIDI · GAMEVerfügbarWandelt Gesang in MIDI um, mit Einstellungen für Gesangssprache, Segmentierung und Notenerkennung.Gesang zu MIDI · SOMEVerfügbarSOME ist der schnelle, leichte Gesang-zu-MIDI-Pfad.Gesang zu MIDI · VOCANOVerfügbarVOCANO extrahiert die Gesangstonhöhe mit Patch-CNN und bestimmt Notengrenzen mit PyramidNet-110. Der veröffentlichte Inferenzaufruf bietet keine weiteren Modellregler.

Wähle ein Modell passend zu deinem Material und Vorhaben und sieh dir vor dem Start die Beispiele an.

Kosten, Dauer, Formate und Parameter hängen vom gewählten Modell ab.

Schnelles Feedback

Nennen Sie im Feedback das Werkzeug, die Schritte und das Problem. Screenshots helfen bei der Einordnung.

Modelle, Parameter und Quellen

VOCANO extrahiert die Gesangstonhöhe mit Patch-CNN und bestimmt Notengrenzen mit PyramidNet-110. Der veröffentlichte Inferenzaufruf bietet keine weiteren Modellregler.

ROSVOTROSVOT paper, Table 1ROSVOT + RWBDVOCANO: A Note Transcription Framework for Singing Voice in Polyphonic MusicRobust Singing Voice Transcription Serves SynthesisGAME: Generative Adaptive MIDI ExtractorSOME: Singing-Oriented MIDI ExtractorGAMESOMEVOCANO

ROSVOT

Robuster Pfad für Gesang mit Rauschen oder Begleitungsresten; der aktuelle offizielle Checkpoint wurde überwiegend mit Mandarin-Gesang trainiert.

ROSVOT source (pinned)ROSVOT project page ROSVOT paper

ROSVOT-Notengrenzwert: Standard 0.85, Bereich 0–1.
ROSVOT-Wortgrenzwert: Standard 0.5, Bereich 0–1.

GAME

Wandelt Gesang in MIDI um, mit Einstellungen für Gesangssprache, Segmentierung und Notenerkennung.

GAME v1.0.3 source (pinned)GAME v1.0.3 weights GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)

Leer lassen, um GAMEs offizielle Sprach-ID 0 zu verwenden. Das ist keine automatische Spracherkennung; wählen Sie die Sprache, wenn sie bekannt ist.
Segmentierungsschwelle — Offizielle Modelloption; im Zweifel den Standardwert beibehalten.
Segmentierungsradius (s) — Offizielle Modelloption; im Zweifel den Standardwert beibehalten.
D3PM-Startzeit — Offizielle Modelloption; im Zweifel den Standardwert beibehalten.
GAME-Entrauschungsschritte: Standard 8, Bereich 1–128.
Schätzschwelle — Offizielle Modelloption; im Zweifel den Standardwert beibehalten.
Nach der Transkription werden die Beats analysiert und das Tempo in MIDI geschrieben; die Notenzeiten bleiben erhalten.
Separate Bewertungsergebnisse für GAME v1.0.3 sind noch nicht erfasst.

SOME

SOME ist der schnelle, leichte Gesang-zu-MIDI-Pfad.

SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

Nach der Transkription werden die Beats analysiert und das Tempo in MIDI geschrieben; die Notenzeiten bleiben erhalten.

VOCANO

VOCANO source and official weights VOCANO ISMIR 2021 paper

Für A-cappella oder eine bereits getrennte Gesangsspur „Isolierter Gesang / Vocal-Stem“ wählen. Bei „Kompletter Song“ wird zuerst der Leadgesang getrennt.

Papier- und Benchmark-Notizen

VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music

ISMIR - 2021

Official source and citation

Robust Singing Voice Transcription Serves Synthesis

ACL - 2024

Robuster Pfad für Gesang mit Rauschen oder Begleitungsresten; der aktuelle offizielle Checkpoint wurde überwiegend mit Mandarin-Gesang trainiert.

Paper

GAME: Generative Adaptive MIDI Extractor

Official technical guide - 2026

Wandelt Gesang in MIDI um, mit Einstellungen für Gesangssprache, Segmentierung und Notenerkennung.

v1.0.3 technical guide (pinned)v1.0.3 ONNX guide (pinned)v1.0.3 weights

SOME: Singing-Oriented MIDI Extractor

Official technical guide - 2023

SOME ist der schnelle, leichte Gesang-zu-MIDI-Pfad.

Technical guide (pinned)Baseline weights

Offizielle / Repositorien

ROSVOT source (pinned)ROSVOT project page GAME v1.0.3 source (pinned)GAME v1.0.3 weights SOME source (pinned)SOME baseline weights VOCANO source and official weights

Arbeiten / technische Anmerkungen

ROSVOT paper GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)SOME technical guide (pinned)VOCANO ISMIR 2021 paper

Parameterleitfaden

Für A-cappella oder eine bereits getrennte Gesangsspur „Isolierter Gesang / Vocal-Stem“ wählen. Bei „Kompletter Song“ wird zuerst der Leadgesang getrennt.
Leer lassen, um GAMEs offizielle Sprach-ID 0 zu verwenden. Das ist keine automatische Spracherkennung; wählen Sie die Sprache, wenn sie bekannt ist.
Segmentierungsschwelle — Offizielle Modelloption; im Zweifel den Standardwert beibehalten.
Segmentierungsradius (s) — Offizielle Modelloption; im Zweifel den Standardwert beibehalten.
D3PM-Startzeit — Offizielle Modelloption; im Zweifel den Standardwert beibehalten.
GAME-Entrauschungsschritte: Standard 8, Bereich 1–128.
Schätzschwelle — Offizielle Modelloption; im Zweifel den Standardwert beibehalten.
Nach der Transkription werden die Beats analysiert und das Tempo in MIDI geschrieben; die Notenzeiten bleiben erhalten.
ROSVOT-Notengrenzwert: Standard 0.85, Bereich 0–1.
ROSVOT-Wortgrenzwert: Standard 0.5, Bereich 0–1.

Anwendungsfälle

Verwandeln Sie eine Lead-Gesangslinie in bearbeitbare Noten.
Vergleichen Sie vier Transkriptionsmodelle, wenn die Aufnahme Anschnitt, Rauschen oder unklare Notengrenzen aufweist.
Verwenden Sie den MIDI als Führungsschiene in einem DAW und korrigieren Sie dann Tonhöhen und Notenlängen nach Gehör.

Arbeitsablauf

1Wählen Sie die Art der Aufnahme und laden Sie Solostimme, Vocal-Stem oder den kompletten Song hoch. Ein kompletter Song wird zuerst getrennt.
2Beginnen Sie mit dem Standardmodell; nutzen Sie den Vier-Versionen-Vergleich, wenn ein Ergebnis schwer zu beurteilen ist.
3Wechseln Sie zwischen der Originalstimme und jeder Pianorolle, korrigieren Sie den gewählten MIDI und laden Sie ihn dann herunter.

Prüfpunkte

Dieses Instrument folgt der gesungenen Hauptmelodie; Schlagzeug, Akkorde oder ein komplettes Arrangement werden nicht neu aufgebaut.
GAME stellt Sprach- und Segmentierungskontrollen bereit. Der veröffentlichte Checkpoint von ROSVOT ist hauptsächlich auf Mandarin-Gesang trainiert.
Der Vergleich führt vier getrennte Konvertierungen aus und liefert vier eigenständige MIDI-Dateien, ohne die Modelle zusammenzuführen.

Modelle dieses Fachgebiets

3 Einträge

Enthält öffentliche Testergebnisse für hier und andernorts verwendete Modelle. Standardmäßig wird die vollständige Quelltabelle angezeigt; Bedingungen und Metriken lassen sich zum Vergleich auswählen. Werte aus unterschiedlichen Testbedingungen sind nicht direkt vergleichbar.

Angezeigt werden nur Einträge mit verifizierter öffentlicher Inferenzimplementierung und passenden Gewichten sowie Algorithmen ohne trainierte Gewichte. Geschlossene Dienste, unveröffentlichte Gewichte und nicht zuordenbare Experimentversionen sind ausgeschlossen. Dies ist keine Gesamtrangliste aller Modelle.

Öffentliche Gewichte belegen keine vollständige Open-Source-Lizenz. Die aufgeklappten Daten zeigen erklärte Gewichtslizenzen und Zugangsbedingungen. Nicht erklärte Lizenzen sind gesondert gekennzeichnet.

BenchmarkWertungskategorie

Für das ausgewählte Modell liegt kein passendes, geprüftes öffentliches Ergebnis vor; es erhält keinen Rang.

GAME 1.0 · Sauberer Gesang

Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.

Private Daten der Autoren, 100 zurückgehaltene Aufnahmen; jede Größe nutzt ihr bestes berichtetes K. OA ist die Gesamtgenauigkeit pro Frame, kein Noten-F1, und nicht mit ROSVOT kombinierbar.

Rangfolge nach Metrik

GAME 1.0 · Sauberer Gesang
Rang nach Kennzahl	Modell	Gesamtrang innerhalb dieses Protokolls↑OA (%)	QER (%)↓	Presence F1 (%)↑	RPA (%)↑	Pitch RMSE↓	Chamfer (frames)↓
1	GAME 1.0 Medium · K=8 Öffentliche Gewichte · Inferenzcode Öffentliche Gewichte Inferenzcode`GAME-1.0.3-medium-onnx.zip`Gewichtslizenz (Angabe des Repositorys): MIT	95.03	12.3	99.23	94.86	0.552	1.44
1	GAME 1.0 Large · K=1 Öffentliche Gewichte · Inferenzcode Öffentliche Gewichte Inferenzcode`GAME-1.0.3-large-onnx.zip`Gewichtslizenz (Angabe des Repositorys): MIT	95.03	12.87	99.15	94.92	0.684	1.44
3	GAME 1.0 Small · K=2 Öffentliche Gewichte · Inferenzcode Öffentliche Gewichte Inferenzcode`GAME-1.0.3-small-onnx.zip`Gewichtslizenz (Angabe des Repositorys): MIT	94.99	13.13	99.14	94.99	0.653	1.5

Originaleinträge (3)

GAME · Technical Report §10 ↗Geprüft: 2026-09-27

Alle Bewertungsquellen (1)

Datensätze, Versionen und Bedingungen bleiben getrennt, auch Quellen ohne zugelassene Ranglisteneinträge.

ROSVOT paper, Table 1 ↗
Ausführbare Einträge 2 / Originalzeilen 10
Nicht eingestuft: 8
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Alle Originalergebnisse und Quellen

Werte gelten für den jeweiligen Datensatz, Messwert und die Modellversion. Verschiedene Tests sind nicht direkt vergleichbar.

ROSVOT paper, Table 1

Ausführbare Einträge 2 / Originalzeilen 10

Nicht eingestuft: 8

Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.

TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Robuster Pfad für Gesang mit Rauschen oder Begleitungsresten; der aktuelle offizielle Checkpoint wurde überwiegend mit Mandarin-Gesang trainiert.

Rangfolge nach Metrik

ROSVOT paper, Table 1
Rang nach Kennzahl	Modell	COn (F) ↑		COff (F) ↑		COnPOff (F) ↑		Pitch (AOR) ↑		Melody (RPA) ↑
Rang nach Kennzahl	Modell	clean	noisy	clean	noisy	clean	noisy	clean	noisy	clean	noisy
1	ℳ (ours) Öffentliche Gewichte · Inferenzcode checkpoints.zip · rosvot + rwbd + rmvpe InferenzcodeGewichtslizenz nicht angegeben	94.0	93.8	94.5	94.4	77.4	77.0	97.0	97.1	87.6	87.4
2	ℳ (w/ E W ) Öffentliche Gewichte · Inferenzcode checkpoints.zip · rosvot + rwbd + rmvpe InferenzcodeGewichtslizenz nicht angegeben	93.3	93.5	93.2	92.9	77.1	77.0	96.5	96.2	87.5	87.2

Originaleinträge (2)

ROSVOT paper, Table 1 ↗Geprüft: 2026-10-25