dots.tts: 연속 음향 잠재 변수, 흐름 일치 및 48kHz 장거리 음성
음성합성 / 논문 집중독
음성 합성
dots.tts는 음성을 이산 오디오 토큰으로 환원하지 않습니다. AudioVAE가 연속 잠재 변수를 공급하고, 의미 인코더가 생성된 패치를 언어 백본에 맞게 압축하며, 플로 헤드가 다음 음향 궤적을 예측합니다.
조걼부 플로 매칭
모델은 언어 은닉 상태 h와 화자 정보 s를 조건으로 L=E||v_θ(x_t,t,h,s)-u_t||²를 학습합니다. SOAR는 여기에 자기 교정 정렬을 더하고, MF는 궤적을 네 번의 평가로 증류합니다.
SOAR와 MeanFlow가 맞바꾸는 서로 다른 오류
공식 Seed-TTS-Eval 표에서 SOAR는 공개된 세 분할 전체에 걸쳐 평균 SIM 79.2를, 네 단계 MeanFlow 모델은 78.2를 기록했습니다. SOAR는 자기 교정 정렬을 적용하고, MeanFlow는 더 긴 교사 궤적을 네 단계 학생 모델로 증류하면서 속도와 음향적 실패 양상이 모두 달라집니다.
참조 오디오와 무작위 음성
공식 사용 지침은 녹음 내용과 일치하는 전사문을 갖춘 짧고 깨끗한 참조를 권장합니다. 대략 10초면 보통 충분하며, 더 긴 프롬프트가 복제 품질을 저절로 높여 주지는 않습니다. 참조 없이 무작위로 샘플링한 음성은 지속적인 캐릭터 정체성이라 할 수 없습니다.
음향 표현은 어떻게 진화해 왔나
dots.tts는 연속 플로 매칭을 텍스트, 화자 참조, 음향 맥락에 조건화합니다. dots.tts-soar는 개방 도메인에서의 견고성과 추론 동작을 위해 학습 방식과 가중치를 조정한 모델입니다. LongCat-AudioDiT 역시 연속 생성을 쓰지만, 같은 과제나 프로토콜은 아닙니다.
음성 합성은 음향 특징과 보코더의 조합에서 출발해 자기회귀 코덱 토큰을 거쳐 확산과 플로 매칭으로 이동해 왔습니다. 중요한 변화는 궤적과 조건화이지, 구형에서 신형으로 바뀌었다는 단순한 꼬리표가 아닙니다. 짧은 참조 하나에도 음색, 억양, 마이크, 방 환경이 함께 담깁니다.
연속 음향 잠재 변수 위의 자기회귀 플로 매칭
p(z₁:T|text)=∏_t pθ(z_t|z_<t,text), z_t∈R^dz_t연속 음향 잠재 변수z_<t이전 음향 맥락text정규화된 텍스트와 제어 신호
AudioVAE는 48 kHz 파형을 연속 잠재 변수로 압축하고, 의미 재인코딩이 내용 단서를 복원하며, Qwen2.5 백본이 맥락을 모델링하고, 플로 헤드가 음향을 되살립니다. 연속 z는 이산 코덱 토큰이 아닙니다.
32단계의 SOAR와 4단계의 MF는 품질과 지연 사이의 절충을 드러냅니다. 유사도, WER, 첫 오디오 지연, 전체 실시간 계수는 각각 따로 살펴야 합니다.
논문, 코드, 가중치는 dots.tts / dots.tts-soar / 기술 보고서를 통해 확인할 수 있습니다.
각 음성 지표가 답하는 것
각 행은 원래의 아키텍처, 지표, 과제 정의를 그대로 유지하며, 공통 프로토콜이 없는 결과는 분리해 둡니다.
| 모델 | 아키텍처 또는 근거 | 범위 |
|---|---|---|
| dots.tts | 기본 연속 플로 체크포인트 | 내용, 음색, 장문 일관성 |
| dots.tts-soar | 개방 도메인/추론 모델 | 동일 참조에서의 안정성과 지연 |
| 자기회귀 코덱 TTS | 토큰 단위 기준선 | 첫 오디오, 반복, 오류 누적 |
내용, 음색, 장문 청취
유사도를 판단하기 전에 숫자, 약어, 동음이의어, 쉼을 단어 단위로 확인해야 합니다. 화자 점수는 누락과 반복을 놓칠 수 있고, ASR은 그대로 복사된 잡음과 방 울림을 잡아내지 못할 수 있습니다.
SOAR와 기본 모델은 동일한 텍스트와 참조로 비교하십시오. 첫 오디오까지의 시간, 실시간 계수, 최대 메모리, 장문 안정성을 따로 기록하고, 유창한 한 문장으로 시스템 전체를 요약하지 마십시오.
음성 유사성이 남기는 위험
제로샷 음성 조건화가 곧 화자의 동의를 뜻하지는 않습니다. 공개적으로 사용하려면 허가, 목적 제한, 철회 경로가 필요합니다.
감정, 억양, 환경은 음색과 함께 복사될 수 있으며, 모델이 순수한 정체성 요소만 분리해 낸다고 보장할 수는 없습니다.
dots.tts 관련 논문과 공개 파일
모델 이름, 수치, 한계는 아래 논문, 저장소, 모델 카드로 거슬러 확인할 수 있습니다.