Φόρτωση...

Φωνή σε MIDI · ROSVOT / GAME · TelkNet

MIDI / μεταγραφήGPU φόρτο εργασίαςVOCANO · Πηγαίος κώδικας model.pt · Βάρη model3_patch25.npy · Βάρη VOCANO · Δημοσίευση

Φωνή σε MIDI

Μετατρέψτε τραγούδι, μουρμούρισμα ή φωνητικά σε MIDI. Συγκρίνετε ROSVOT, GAME, SOME και VOCANO πριν διορθώσετε τη μελωδία.

25 πιστώσεις/χρήσηΕισαγωγή αρχείουΜέγιστο 100 MBΕκτιμώμενα 45-1800 δευτερόλεπτα

Εισαγωγή

Ανεβάστε σόλο τραγούδι, βόμβο ή απομονωμένη κύρια φωνή. Αν έχετε μόνο το τελικό τραγούδι, επιλέξτε «Ολόκληρο τραγούδι»· η κύρια φωνή θα απομονωθεί πριν από τη μεταγραφή.

Υποστηριζόμενες μορφές

mp3wavflacoggm4aaacaifaiffmp4movmkv

Παραγωγή

MIDI

Περίπτωση χρήσης

Αντιγραφή μιας τραγουδισμένης μελωδίας σε ένα DAW για επεξεργασία, διπλασιασμό, συνθετικό προγραμματισμό ή προσχέδιο σημειογραφίας.

Επιλέξτε οικογένεια μοντέλων

Φωνή σε MIDI · ROSVOTΔιαθέσιμοΑνθεκτική διαδρομή για τραγούδι με θόρυβο ή διαρροή συνοδείας· το τρέχον επίσημο checkpoint έχει εκπαιδευτεί κυρίως σε τραγούδι στα Μανδαρινικά.Φωνή σε MIDI · GAMEΔιαθέσιμοΜετατρέπει το τραγούδι σε MIDI με ρυθμίσεις γλώσσας, τμηματοποίησης και ανίχνευσης νοτών.Φωνή σε MIDI · SOMEΔιαθέσιμοΤο SOME είναι η γρήγορη, ελαφριά διαδρομή τραγουδιού σε MIDI.Φωνή σε MIDI · VOCANOΔιαθέσιμοΤο VOCANO εξάγει το ύψος της φωνής με Patch-CNN και εντοπίζει τα όρια των νοτών με PyramidNet-110. Η δημοσιευμένη είσοδος inference δεν έχει πρόσθετες ρυθμίσεις μοντέλου.

Επιλέξτε μοντέλο για το υλικό και τον σκοπό σας και δείτε τα παραδείγματα πριν από την υποβολή.

Κόστος, χρόνος, μορφές και παράμετροι εξαρτώνται από το επιλεγμένο μοντέλο.

Γρήγορα σχόλια

Στα σχόλιά σας αναφέρετε το εργαλείο, τα βήματα και το πρόβλημα. Τα στιγμιότυπα οθόνης βοηθούν στον εντοπισμό του.

Μοντέλα, παράμετροι και πηγές

Το VOCANO εξάγει το ύψος της φωνής με Patch-CNN και εντοπίζει τα όρια των νοτών με PyramidNet-110. Η δημοσιευμένη είσοδος inference δεν έχει πρόσθετες ρυθμίσεις μοντέλου.

ROSVOTROSVOT paper, Table 1ROSVOT + RWBDVOCANO: A Note Transcription Framework for Singing Voice in Polyphonic MusicRobust Singing Voice Transcription Serves SynthesisGAME: Generative Adaptive MIDI ExtractorSOME: Singing-Oriented MIDI ExtractorGAMESOMEVOCANO

ROSVOT

Ανθεκτική διαδρομή για τραγούδι με θόρυβο ή διαρροή συνοδείας· το τρέχον επίσημο checkpoint έχει εκπαιδευτεί κυρίως σε τραγούδι στα Μανδαρινικά.

ROSVOT source (pinned)ROSVOT project page ROSVOT paper

Κατώφλι ορίων νοτών ROSVOT: προεπιλογή 0.85, εύρος 0–1.
Κατώφλι ορίων λέξεων ROSVOT: προεπιλογή 0.5, εύρος 0–1.

GAME

Μετατρέπει το τραγούδι σε MIDI με ρυθμίσεις γλώσσας, τμηματοποίησης και ανίχνευσης νοτών.

GAME v1.0.3 source (pinned)GAME v1.0.3 weights GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)

Αφήστε το πεδίο κενό για το επίσημο ID γλώσσας 0 του GAME. Δεν πρόκειται για αυτόματη ανίχνευση· επιλέξτε γλώσσα όταν τη γνωρίζετε.
Όριο τμηματοποίησης — Επίσημη ρύθμιση μοντέλου· αν δεν είστε βέβαιοι, κρατήστε την προεπιλογή.
Ακτίνα τμηματοποίησης (s) — Επίσημη ρύθμιση μοντέλου· αν δεν είστε βέβαιοι, κρατήστε την προεπιλογή.
Χρόνος έναρξης D3PM — Επίσημη ρύθμιση μοντέλου· αν δεν είστε βέβαιοι, κρατήστε την προεπιλογή.
Βήματα αποθορυβοποίησης GAME: προεπιλογή 8, εύρος 1–128.
Όριο εκτίμησης — Επίσημη ρύθμιση μοντέλου· αν δεν είστε βέβαιοι, κρατήστε την προεπιλογή.
Μετά τη μεταγραφή αναλύει τους αρχικούς παλμούς και γράφει το τέμπο στο MIDI, διατηρώντας τον χρονισμό των νοτών.
Δεν έχουν ακόμη καταχωριστεί ξεχωριστά αποτελέσματα αξιολόγησης για το GAME v1.0.3.

SOME

Το SOME είναι η γρήγορη, ελαφριά διαδρομή τραγουδιού σε MIDI.

SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

Μετά τη μεταγραφή αναλύει τους αρχικούς παλμούς και γράφει το τέμπο στο MIDI, διατηρώντας τον χρονισμό των νοτών.

VOCANO

VOCANO source and official weights VOCANO ISMIR 2021 paper

Για a cappella ή ήδη απομονωμένα φωνητικά επιλέξτε «Μεμονωμένη φωνή / φωνητικό stem». Στο «Ολόκληρο τραγούδι» απομονώνεται πρώτα η κύρια φωνή.

Χαρτί και σημειώσεις αναφοράς

VOCANO: A Note Transcription Framework for Singing Voice in Polyphonic Music

ISMIR - 2021

Official source and citation

Robust Singing Voice Transcription Serves Synthesis

ACL - 2024

Paper

GAME: Generative Adaptive MIDI Extractor

Official technical guide - 2026

Μετατρέπει το τραγούδι σε MIDI με ρυθμίσεις γλώσσας, τμηματοποίησης και ανίχνευσης νοτών.

v1.0.3 technical guide (pinned)v1.0.3 ONNX guide (pinned)v1.0.3 weights

SOME: Singing-Oriented MIDI Extractor

Official technical guide - 2023

Το SOME είναι η γρήγορη, ελαφριά διαδρομή τραγουδιού σε MIDI.

Technical guide (pinned)Baseline weights

Επίσημα / αποθετήρια

ROSVOT source (pinned)ROSVOT project page GAME v1.0.3 source (pinned)GAME v1.0.3 weights SOME source (pinned)SOME baseline weights VOCANO source and official weights

Έγγραφα / τεχνικές σημειώσεις

ROSVOT paper GAME v1.0.3 technical guide (pinned)GAME v1.0.3 ONNX guide (pinned)SOME technical guide (pinned)VOCANO ISMIR 2021 paper

Οδηγός παραμέτρων

Για a cappella ή ήδη απομονωμένα φωνητικά επιλέξτε «Μεμονωμένη φωνή / φωνητικό stem». Στο «Ολόκληρο τραγούδι» απομονώνεται πρώτα η κύρια φωνή.
Αφήστε το πεδίο κενό για το επίσημο ID γλώσσας 0 του GAME. Δεν πρόκειται για αυτόματη ανίχνευση· επιλέξτε γλώσσα όταν τη γνωρίζετε.
Όριο τμηματοποίησης — Επίσημη ρύθμιση μοντέλου· αν δεν είστε βέβαιοι, κρατήστε την προεπιλογή.
Ακτίνα τμηματοποίησης (s) — Επίσημη ρύθμιση μοντέλου· αν δεν είστε βέβαιοι, κρατήστε την προεπιλογή.
Χρόνος έναρξης D3PM — Επίσημη ρύθμιση μοντέλου· αν δεν είστε βέβαιοι, κρατήστε την προεπιλογή.
Βήματα αποθορυβοποίησης GAME: προεπιλογή 8, εύρος 1–128.
Όριο εκτίμησης — Επίσημη ρύθμιση μοντέλου· αν δεν είστε βέβαιοι, κρατήστε την προεπιλογή.
Μετά τη μεταγραφή αναλύει τους αρχικούς παλμούς και γράφει το τέμπο στο MIDI, διατηρώντας τον χρονισμό των νοτών.
Κατώφλι ορίων νοτών ROSVOT: προεπιλογή 0.85, εύρος 0–1.
Κατώφλι ορίων λέξεων ROSVOT: προεπιλογή 0.5, εύρος 0–1.

Περιπτώσεις χρήσης

Μετατρέψτε μια βασική φωνητική γραμμή σε επεξεργάσιμες νότες.
Συγκρίνετε τέσσερα μοντέλα μεταγραφής όταν η εγγραφή έχει αιμορραγία, θόρυβο ή ασαφή όρια νότας.
Χρησιμοποιήστε το MIDI ως οδηγό κομμάτι σε ένα DAW και, στη συνέχεια, διορθώστε τις θέσεις και τα μήκη των νότων με το αυτί.

Ροή εργασιών

1Επιλέξτε τον τύπο ήχου και ανεβάστε σόλο φωνή, φωνητικό stem ή ολόκληρο τραγούδι. Το ολόκληρο τραγούδι διαχωρίζεται πρώτα.
2Ξεκινήστε με το προεπιλεγμένο μοντέλο· χρησιμοποιήστε τη σύγκριση τεσσάρων εκδόσεων όταν ένα αποτέλεσμα είναι δύσκολο να κριθεί.
3Κάντε εναλλαγή μεταξύ του αρχικού φωνητικού και κάθε ρολού πιάνου, διορθώστε το επιλεγμένο MIDI και, στη συνέχεια, κατεβάστε το.

Τι να ελέγξετε

Αυτό το εργαλείο ακολουθεί την τραγουδισμένη μελωδία μολύβδου. δεν ξαναφτιάχνει ντραμς, συγχορδίες ή μια πλήρη διασκευή.
Το GAME εκθέτει τα στοιχεία ελέγχου γλώσσας και τμηματοποίησης. Το απελευθερωμένο σημείο ελέγχου του ROSVOT εκπαιδεύεται κυρίως στο τραγούδι Mandarin.
Η σύγκριση εκτελεί τέσσερις ξεχωριστές μετατροπές και δίνει τέσσερα ανεξάρτητα αρχεία MIDI, χωρίς συγχώνευση των μοντέλων.

Μοντέλα του πεδίου

3 αποτελέσματα

Περιλαμβάνει δημόσια αποτελέσματα δοκιμών μοντέλων που χρησιμοποιούνται εδώ και αλλού. Από προεπιλογή εμφανίζεται ο πλήρης πίνακας της πηγής· μπορείτε επίσης να επιλέξετε συνθήκες και μετρικές για σύγκριση. Βαθμολογίες από διαφορετικές συνθήκες δεν συγκρίνονται άμεσα.

Εμφανίζονται μόνο εγγραφές με επαληθευμένη δημόσια υλοποίηση συμπερασμού και αντίστοιχα βάρη, καθώς και αλγόριθμοι που δεν χρειάζονται βάρη. Εξαιρούνται κλειστές υπηρεσίες, μη δημοσιευμένα βάρη και μη ταυτοποιημένες πειραματικές εκδόσεις. Δεν πρόκειται για κατάταξη όλων των μοντέλων.

Τα δημόσια βάρη δεν τεκμηριώνουν πλήρη άδεια ανοικτού κώδικα. Αναπτύξτε τα δεδομένα για τις δηλωμένες άδειες βαρών και τους όρους πρόσβασης. Οι μη δηλωμένες άδειες επισημαίνονται χωριστά.

Δοκιμή αναφοράςΚατηγορία

Το επιλεγμένο μοντέλο δεν έχει επαληθευμένο αντίστοιχο δημόσιο αποτέλεσμα και δεν του αποδόθηκε κατάταξη.

GAME 1.0 · Καθαρά φωνητικά

Επιλέξτε ένα σύνολο δεδομένων για να δείτε όλες τις μετρικές κάθε μοντέλου. Οι γραμμές ακολουθούν την επίσημη κατάταξη ή την επιλεγμένη μετρική. Η έντονη γραφή δείχνει την καλύτερη συγκρίσιμη τιμή κάθε στήλης, μαζί με τις ισοβαθμίες. Τα διαφορετικά πρωτόκολλα αξιολόγησης κατατάσσονται χωριστά· οι βαθμολογίες που λείπουν εμφανίζονται ως -.

Ιδιωτικά δεδομένα των συγγραφέων, 100 δεσμευμένες ηχογραφήσεις· κάθε μέγεθος χρησιμοποιεί το καλύτερο δημοσιευμένο K. Το OA είναι συνολική ακρίβεια ανά πλαίσιο, όχι F1 νοτών, και δεν συνδυάζεται με ROSVOT.

Κατάταξη ανά μετρική

GAME 1.0 · Καθαρά φωνητικά
Κατάταξη ανά μετρική	Μοντέλο	Συνολική κατάταξη στο ίδιο πρωτόκολλο↑OA (%)	QER (%)↓	Presence F1 (%)↑	RPA (%)↑	Pitch RMSE↓	Chamfer (frames)↓
1	GAME 1.0 Medium · K=8 Δημόσια βάρη · Κώδικας συμπερασμού Δημόσια βάρη Κώδικας συμπερασμού`GAME-1.0.3-medium-onnx.zip`Άδεια βαρών (δήλωση αποθετηρίου): MIT	95.03	12.3	99.23	94.86	0.552	1.44
1	GAME 1.0 Large · K=1 Δημόσια βάρη · Κώδικας συμπερασμού Δημόσια βάρη Κώδικας συμπερασμού`GAME-1.0.3-large-onnx.zip`Άδεια βαρών (δήλωση αποθετηρίου): MIT	95.03	12.87	99.15	94.92	0.684	1.44
3	GAME 1.0 Small · K=2 Δημόσια βάρη · Κώδικας συμπερασμού Δημόσια βάρη Κώδικας συμπερασμού`GAME-1.0.3-small-onnx.zip`Άδεια βαρών (δήλωση αποθετηρίου): MIT	94.99	13.13	99.14	94.99	0.653	1.5

Αρχικές εγγραφές (3)

GAME · Technical Report §10 ↗Ελέγχθηκε: 2026-09-27

Όλες οι πηγές αξιολόγησης (1)

Σύνολα δεδομένων, εκδόσεις και συνθήκες παραμένουν χωριστά, ακόμη και πηγές χωρίς επιλέξιμες γραμμές.

ROSVOT paper, Table 1 ↗
Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 10
Εκτός κατάταξης: 8
Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.
TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Όλα τα αρχικά αποτελέσματα και οι πηγές

Οι βαθμολογίες αφορούν το συγκεκριμένο σύνολο δεδομένων, μέτρο και έκδοση μοντέλου· διαφορετικές δοκιμές δεν συγκρίνονται άμεσα.

ROSVOT paper, Table 1

Τοπικά εκτελέσιμα 2 / αρχικές γραμμές 10

Εκτός κατάταξης: 8

Δεν έχει επαληθευτεί πλήρες δημόσιο πακέτο εξαγωγής συμπερασμάτων για αυτά τα πειράματα. Άλλα βάρη με το ίδιο όνομα μοντέλου δεν αρκούν.

TONY · VOCANO · MusicYOLO · Yong et al. (2023) · ℳ (conformer) · ℳ (conv) · ℳ (w/o wbd) · ℳ (w/o noise)

Κατάταξη ανά μετρική

ROSVOT paper, Table 1
Κατάταξη ανά μετρική	Μοντέλο	COn (F) ↑		COff (F) ↑		COnPOff (F) ↑		Pitch (AOR) ↑		Melody (RPA) ↑
Κατάταξη ανά μετρική	Μοντέλο	clean	noisy	clean	noisy	clean	noisy	clean	noisy	clean	noisy
1	ℳ (ours) Δημόσια βάρη · Κώδικας συμπερασμού checkpoints.zip · rosvot + rwbd + rmvpe Κώδικας συμπερασμούΔεν έχει δηλωθεί άδεια βαρών	94.0	93.8	94.5	94.4	77.4	77.0	97.0	97.1	87.6	87.4
2	ℳ (w/ E W ) Δημόσια βάρη · Κώδικας συμπερασμού checkpoints.zip · rosvot + rwbd + rmvpe Κώδικας συμπερασμούΔεν έχει δηλωθεί άδεια βαρών	93.3	93.5	93.2	92.9	77.1	77.0	96.5	96.2	87.5	87.2

Αρχικές εγγραφές (2)

ROSVOT paper, Table 1 ↗Ελέγχθηκε: 2026-10-25