STARS: A Unified Framework for Singing Transcription, Alignment, and Refined Style Annotation
ACL Findings - 2025
Lädt...
Benötigt Gesangsaufnahme, Liedtext, Phoneme und eine Phonem-zu-Wort-Zuordnung. Liefert Noten-MIDI sowie Phonem-, Wort- und Gesangstechnikzeiten; kein reiner Audio-Workflow.
Eingabe
Unterstützt Eingaben in Formaten wie mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv
Unterstützte Formate
Ausgabe
MIDI / JSON
Anwendungsfall
Noten, Instrumentierung und Spieldetails bearbeiten.
Wähle ein Modell passend zu deinem Material und Vorhaben und sieh dir vor dem Start die Beispiele an.
Kosten, Dauer, Formate und Parameter hängen vom gewählten Modell ab.
STARS · Chinese: Noten, Instrumentierung und Spieldetails bearbeiten.
STARS · Bilingual: Noten, Instrumentierung und Spieldetails bearbeiten.
ACL Findings - 2025
Enthält öffentliche Testergebnisse für hier und andernorts verwendete Modelle. Standardmäßig wird die vollständige Quelltabelle angezeigt; Bedingungen und Metriken lassen sich zum Vergleich auswählen. Werte aus unterschiedlichen Testbedingungen sind nicht direkt vergleichbar.
Angezeigt werden nur Einträge mit verifizierter öffentlicher Inferenzimplementierung und passenden Gewichten sowie Algorithmen ohne trainierte Gewichte. Geschlossene Dienste, unveröffentlichte Gewichte und nicht zuordenbare Experimentversionen sind ausgeschlossen. Dies ist keine Gesamtrangliste aller Modelle.
Öffentliche Gewichte belegen keine vollständige Open-Source-Lizenz. Die aufgeklappten Daten zeigen erklärte Gewichtslizenzen und Zugangsbedingungen. Nicht erklärte Lizenzen sind gesondert gekennzeichnet.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 3 / Originalzeilen 3
Die Werte stammen aus der verlinkten öffentlichen Quelle. Zeilenbezeichnungen geben den Testdatensatz oder Checkpoint an; nicht veröffentlichte Werte erscheinen als -.
| Rang nach Kennzahl | Modell | COnPOff(F) ↑ | RPA ↑ |
|---|---|---|---|
| 1 | STARS (ours)Hier eingesetztes ModellÖffentliche Gewichte · Inferenzcode | 71.0 | 86.7 |
| 2 | ROSVOTÖffentliche Gewichte · Inferenzcode | 70.2 | 83.8 |
| 3 | VOCANOÖffentliche Gewichte · Inferenzcode | 50.2 | 76.6 |
Die Markierungen kennzeichnen hier verwendete Modelle oder Komponenten. Werte und Einstellungen stammen aus den zitierten Tests, nicht aus einer neuen Bewertung der gesamten Verarbeitungskette.
Datensätze, Versionen und Bedingungen bleiben getrennt, auch Quellen ohne zugelassene Ranglisteneinträge.
Ausführbare Einträge 3 / Originalzeilen 3
Ausführbare Einträge 2 / Originalzeilen 6
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
w/o CTC · w/o VQ · w/o MOE · Conv
Werte gelten für den jeweiligen Datensatz, Messwert und die Modellversion. Verschiedene Tests sind nicht direkt vergleichbar.
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 3 / Originalzeilen 3
Die Werte stammen aus der verlinkten öffentlichen Quelle. Zeilenbezeichnungen geben den Testdatensatz oder Checkpoint an; nicht veröffentlichte Werte erscheinen als -.
| Rang nach Kennzahl | Modell | COnPOff(F) ↑ | RPA ↑ |
|---|---|---|---|
| 1 | STARS (ours)Öffentliche Gewichte · Inferenzcode | 71.0 | 86.7 |
| 2 | ROSVOTÖffentliche Gewichte · Inferenzcode | 70.2 | 83.8 |
| 3 | VOCANOÖffentliche Gewichte · Inferenzcode | 50.2 | 76.6 |
Wählen Sie einen Datensatz, um alle Kennzahlen jedes Modells anzuzeigen. Die Zeilen folgen dem offiziellen Rang oder der gewählten Kennzahl. Fett markiert den besten vergleichbaren Wert jeder Spalte, einschließlich Gleichständen. Unterschiedliche Bewertungsprotokolle werden getrennt eingestuft; fehlende Werte erscheinen als -.
Ausführbare Einträge 2 / Originalzeilen 6
Für diese Experimente ist kein vollständiges öffentliches Inferenzpaket verifiziert. Andere Gewichte desselben Modellnamens reichen nicht aus.
w/o CTC · w/o VQ · w/o MOE · Conv
Die Werte stammen aus der verlinkten öffentlichen Quelle. Zeilenbezeichnungen geben den Testdatensatz oder Checkpoint an; nicht veröffentlichte Werte erscheinen als -.
| Rang nach Kennzahl | Modell | BER ↓ | IOU ↑ | COnPOff(F) ↑ | RPA ↑ | T-F1 ↑ | T-ACC ↑ | S-ACC ↑ |
|---|---|---|---|---|---|---|---|---|
| 1 | STARSÖffentliche Gewichte · Inferenzcode | 18.6 | 80.9 | 71.0 | 86.7 | 79.9 | 91.5 | 68.0 |
| 2 | BilingualÖffentliche Gewichte · Inferenzcodestars_chinese_english_bilingual/model_ckpt_steps_300000.ckptInferenzcodeGewichtslizenz nicht angegeben | 19.4 | 75.6 | 68.1 | 86.2 | 76.8 | 91.4 | 70.4 |
Nennen Sie im Feedback das Werkzeug, die Schritte und das Problem. Screenshots helfen bei der Einordnung.