Modell
SoulX-Singer og YingMusic-Singer-Plus: partiturdrift og melodireferanse, to syngende stemmesynteseruter
Sangsyntese / rutesammenligning
Sangsyntese / rutesammenligning
SANGSYNTESE
Notemodusen i SoulX bruker metadata avledet fra MIDI. YingMusic-Singer-Plus bruker et sangklipp som leverer melodien, sammen med målteksten. Det ene trenger justering mellom noter og tekst, mens det andre koder melodien fra lyd.
Genereringsbanen følger dx_t/dt = v_θ(x_t,t | l,m,r), der hastighetsfeltet er betinget av tekst, melodi og klangreferanse. Feiljustering bøyer denne integrerte banen mot et dårlig kompromiss mellom uttale, rytme og stemmeidentitet.
SoulX konverterer MIDI til segmenterte metadata; stavelser og noteanslag må stemme overens. YingMusic unngår eksplisitt MIDI, men trenger en ren melodivokal fordi lekkasje fra akkompagnementet forurenser melodirepresentasjonen.
SoulX-Singer er bygget rundt MIDI, tekst og en klangprøve. YingMusic-Singer-Plus legger i tillegg vekt på fleksibel tekstredigering og melodistyring uten annotering note for note. En sammenligning må skille mellom tonehøyde, varighet, artikulasjon og referanseklang, i stedet for å redusere begge systemene til én sangbryter.
Inndatakontrakten avgjør hva et sangsystem kan gjøre. SoulX-Singer legger vekt på zero-shot-klang og generering av sang; YingMusic-Singer-Plus kombinerer tekst med melodi- eller notebetingelser. Begge leverer sang, men det ene er mer avhengig av referanselyd og det andre av strukturert musikk.
Sangsyntese har utviklet seg fra konkatenasjon og akustiske modeller via nevrale vokodere og kodektokener til store generatorer. Det vedvarende problemet er justering mellom fonemer, notevarighet, vibrato, pust og klang. Et flytende refreng kan skjule feil tekst og forskyvning på tvers av takter.
ŝ=G(lyrics, pitch, duration, e_timbre, c_style)pitchtonehøyde eller melodikonturdurationnotevarighete_timbreklang fra en godkjent lydprøveSoulX-Singer bruker tekst, MIDI/metadata og en klangprøve; YingMusic-Singer-Plus godtar mer fleksibel melodistyring. Tonehøyde og varighet er redigerbare notebetingelser, mens en melodireferanse inneholder ekstra informasjon om fremføringen.
Nøyaktig tonehøyde, varighet, tydelig tekst, klanglikhet og pust er separate kontroller. Ett utvalgt eksempel på en høy tone kan ikke dokumentere stabilitet gjennom en hel sang.
Artikler, kode og vekter kan følges via SoulX-Singer / SoulX-Singer-artikkelen / YingMusic-Singer-Plus.
Hver rad beholder arkitekturen, måleverdien eller oppgavedefinisjonen fra sin egen kilde; resultater uten en felles protokoll holdes atskilt.
| Modell | Arkitektur eller dokumentasjon | Omfang |
|---|---|---|
| SoulX-Singer | referansestyrt zero-shot-sang | stemmeidentitet, tekst og stabilitet i lange forløp |
| YingMusic-Singer-Plus | tekst pluss melodi/noter | justering, register og tempo |
| tradisjonell sangsyntese | eksplisitte akustiske egenskaper pluss vokoder | tydelig kontroll, men begrenset naturlighet på tvers av domener |
Sammenlign hvert ord med tanke på utelatelser, utydelige konsonanter, gjentakelser og konsonanttiming, og undersøk deretter starten på tonene, glidninger og vibrato. Naturlighet erstatter ikke korrekt innhold.
Hold toneart, BPM, taktart og utsnittet av referansen uendret. Akkompagnement og romklang i referansen kan bli kopiert til resultatet.
Kloning av en sangers stemme krever uttrykkelig tillatelse og må ikke støtte etterligning, bedrag eller omgåelse av rettigheter.
Modellen erstatter ikke arrangement eller vokal regi. Register, diksjon, følelser og språkvaner krever fortsatt menneskelig arbeid.
Modellnavn, tall og begrensninger kan spores til artiklene, kodelagrene eller modellkortene nedenfor.