Modell
SoulX-Singer und YingMusic-Singer-Plus: Partiturantrieb und Melodiereferenz, zwei Syntheserouten für Gesangsstimmen
Singing-Synthese / Routenvergleich
Singing-Synthese / Routenvergleich
GESANGSSYNTHESE
Der Partiturmodus von SoulX verarbeitet aus MIDI abgeleitete Metadaten. YingMusic-Singer-Plus verarbeitet einen Gesangsausschnitt, der die Melodie vorgibt, zusammen mit dem Zieltext. Das eine System benötigt eine Ausrichtung von Noten und Silben, das andere kodiert die Melodie aus Audio.
Der generative Pfad folgt dx_t/dt = v_θ(x_t,t | l,m,r). Das Geschwindigkeitsfeld ist dabei durch Text, Melodie und eine Stimmklangreferenz bedingt. Eine fehlerhafte Ausrichtung lenkt diesen integrierten Pfad zu einem unbefriedigenden Kompromiss zwischen Aussprache, Rhythmus und Identität.
SoulX wandelt MIDI in segmentierte Metadaten um; Silben und Noteneinsätze müssen übereinstimmen. YingMusic kommt ohne explizite MIDI-Daten aus, benötigt jedoch eine saubere Melodiestimme, da übersprechende Begleitung die Melodierepräsentation verunreinigt.
SoulX-Singer konzentriert sich auf MIDI, Text und einen Stimmklang-Prompt. YingMusic-Singer-Plus betont zusätzlich die flexible Bearbeitung von Texten und eine Melodieführung ohne Annotation jeder einzelnen Note. Ein Vergleich muss Tonhöhe, Dauer, Artikulation und Referenzstimmklang getrennt betrachten, statt beide Systeme auf einen einzigen Gesangsschalter zu reduzieren.
Der Eingabevertrag bestimmt, was ein Gesangssystem leisten kann. SoulX-Singer legt den Schwerpunkt auf Zero-Shot-Stimmklang und Gesangserzeugung; YingMusic-Singer-Plus kombiniert Texte mit Melodie- oder Partiturbedingungen. Beide erzeugen Gesang, doch das eine System hängt stärker von Referenzaudio, das andere von strukturierter Musik ab.
Die Gesangssynthese entwickelte sich von Verkettungs- und Akustikmodellen über neuronale Vocoder und Codec-Token bis zu großen Generatoren. Das dauerhafte Problem bleibt die Ausrichtung von Phonemen, Notendauer, Vibrato, Atemzügen und Stimmklang. Selbst ein flüssiger Refrain kann falsche Wörter verbergen und taktweise abdriften.
ŝ=G(lyrics, pitch, duration, e_timbre, c_style)pitchTonhöhe oder MelodiekonturdurationNotendauere_timbreStimmklang aus einem autorisierten PromptSoulX-Singer verwendet Text, MIDI/Metadaten und einen Stimmklang-Prompt; YingMusic-Singer-Plus akzeptiert eine flexiblere Melodieführung. Tonhöhe und Dauer sind editierbare Partiturbedingungen, während eine Melodiereferenz zusätzliche Vortragsinformationen enthält.
Tonhöhengenauigkeit, Dauer, Textverständlichkeit, Stimmklangähnlichkeit und Atmung sind getrennte Prüfkriterien. Ein einzelnes ausgewähltes Beispiel mit hohen Tönen belegt keine Stabilität über eine ganze Songlänge.
Paper, Code und Gewichte sind über SoulX-Singer / das SoulX-Singer-Paper / YingMusic-Singer-Plus zugänglich.
Jede Zeile behält Architektur, Metrik oder Aufgabendefinition ihrer Quelle bei; Ergebnisse ohne gemeinsames Protokoll bleiben getrennt.
| Modell | Architektur oder Beleg | Geltungsbereich |
|---|---|---|
| SoulX-Singer | referenzgesteuerter Zero-Shot-Gesang | Identität, Text und Langformstabilität |
| YingMusic-Singer-Plus | Text plus Melodie/Partitur | Ausrichtung, Tonumfang und Tempo |
| traditionelle Gesangssynthese-Pipeline | explizite Akustikmerkmale plus Vocoder | klare Steuerung, aber begrenzte domänenübergreifende Natürlichkeit |
Jedes Wort sollte auf Auslassungen, verschluckte Konsonanten, Wiederholungen und Konsonantentiming geprüft werden; anschließend folgen Toneinsatz, Slides und Vibrato. Natürlichkeit ersetzt keine inhaltliche Genauigkeit.
Tonart, BPM, Taktart und Referenzausschnitt müssen konstant bleiben. Begleitung und Hall aus der Referenz können in die Ausgabe übernommen werden.
Das Klonen einer Sängerstimme erfordert eine ausdrückliche Erlaubnis und darf weder Identitätsvortäuschung noch Täuschung oder die Umgehung von Rechten unterstützen.
Das Modell ersetzt weder Arrangement noch stimmliche Regie. Tonumfang, Artikulation, Emotion und Sprachgewohnheiten erfordern weiterhin menschliche Arbeit.
Modellnamen, Zahlen und Einschränkungen lassen sich auf die folgenden Paper, Repositorien oder Modellkarten zurückführen.