모델
SoulX-Singer 및 YingMusic-Singer-Plus: 악보 드라이브 및 멜로디 참조, 두 가지 노래 음성 합성 경로
노래 합성/루트 비교
노래 합성/루트 비교
© 2026 텔크넷. 판권 소유.
가창 합성
SoulX의 악보 모드는 MIDI에서 파생된 메타데이터를 입력으로 사용한다. YingMusic-Singer-Plus는 멜로디를 제공하는 가창 클립과 목표 가사를 입력받는다. 전자는 음표와 가사의 정렬이 필요하고, 후자는 오디오에서 멜로디를 인코딩한다.
생성 경로는 dx_t/dt = v_θ(x_t,t | l,m,r)를 따르며, 속도장은 가사, 멜로디, 음색 참조를 조건으로 삼는다. 정렬이 어긋나면 이 적분 경로는 발음, 리듬, 정체성 사이에서 만족스럽지 못한 절충점으로 휘어진다.
SoulX는 MIDI를 구간별 메타데이터로 변환하며, 음절과 음표 시작 시점이 맞아야 한다. YingMusic은 명시적인 MIDI가 필요하지 않지만 깨끗한 멜로디 보컬이 필요하다. 반주 누출이 멜로디 표현을 오염시키기 때문이다.
SoulX-Singer는 MIDI, 가사, 음색 프롬프트를 중심으로 설계됐다. YingMusic-Singer-Plus는 음표별 주석 없이도 유연하게 가사를 조작하고 멜로디를 유도하는 기능을 강조한다. 두 시스템을 하나의 가창 스위치로 단순화하지 말고 음높이, 길이, 조음, 참조 음색을 나눠 비교해야 한다.
입력 규약은 가창 시스템이 할 수 있는 일을 결정한다. SoulX-Singer는 제로샷 음색과 가창 생성에 중점을 두고, YingMusic-Singer-Plus는 가사에 멜로디 또는 악보 조건을 결합한다. 두 시스템 모두 가창을 출력하지만 하나는 참조 오디오에, 다른 하나는 구조화된 음악에 더 의존한다.
가창 합성은 연결 합성과 음향 모델에서 출발해 신경망 보코더, 코덱 토큰, 대규모 생성기로 발전했다. 음소, 음표 길이, 비브라토, 호흡, 음색을 정렬하는 문제는 여전히 남아 있다. 유창한 후렴 한 구절도 잘못된 가사를 숨기거나 마디를 지날수록 어긋날 수 있다.
ŝ=G(lyrics, pitch, duration, e_timbre, c_style)pitch음높이 또는 멜로디 윤곽duration음표 길이e_timbre사용 권한을 받은 프롬프트의 음색SoulX-Singer는 가사, MIDI/메타데이터, 음색 프롬프트를 사용하고, YingMusic-Singer-Plus는 더 유연한 멜로디 지침을 받는다. 음높이와 길이는 편집 가능한 악보 조건인 반면, 멜로디 참조에는 추가적인 연주 정보가 담긴다.
음높이 정확도, 길이, 가사 명료도, 음색 유사도, 호흡은 각각 따로 확인해야 한다. 선택한 고음 샘플 하나만으로 곡 전체의 안정성을 입증할 수 없다.
논문, 코드, 가중치는 SoulX-Singer / SoulX-Singer 논문 / YingMusic-Singer-Plus에서 확인할 수 있다.
각 행은 원 출처의 아키텍처, 지표 또는 과업 정의를 유지하며, 공통 프로토콜이 없는 결과는 분리해 제시한다.
| 모델 | 아키텍처 또는 근거 | 범위 |
|---|---|---|
| SoulX-Singer | 참조 기반 제로샷 가창 | 정체성, 가사, 장문 안정성 |
| YingMusic-Singer-Plus | 가사와 멜로디/악보 | 정렬, 음역, 템포 |
| 전통적 가창 합성 파이프라인 | 명시적 음향 특성과 보코더 | 제어는 명확하지만 도메인 간 자연스러움은 제한적 |
모든 단어를 대조해 누락, 삼켜진 자음, 반복, 자음 타이밍을 확인한 뒤 음높이 진입, 슬라이드, 비브라토를 살펴본다. 자연스러움이 내용 정확도를 대신하지는 않는다.
조성, BPM, 박자표, 참조 구간을 동일하게 유지해야 한다. 참조의 반주와 리버브가 출력에 복사될 수 있다.
가수 복제에는 명시적인 허가가 필요하며, 사칭, 기만, 권리 회피를 지원해서는 안 된다.
모델은 편곡이나 보컬 디렉팅을 대신하지 않는다. 음역, 발음, 감정, 언어 습관에는 여전히 사람의 작업이 필요하다.
모델명, 수치, 제한 사항은 아래 논문, 저장소 또는 모델 카드에서 확인할 수 있다.