LongCat-AudioDiT 3.5B: 오디오 확산 변환기에 스피커 조건 쓰기

논문 읽기 / 제로샷 음성 복제

LongCat-AudioDiT 3.5B는 텍스트-음성 변환과 제로샷 복제를 겨냥한다. 목표 텍스트와 화자 레퍼런스, 운율 단서가 어쿠스틱 잠재를 생성하는 확산 트랜스포머 안에서 만난다. 공개된 유사도 수치가 답하는 질문은 자연스러움이나 단어 오류, 다국어 억양보다 좁다.

확산의 학습 목표

순방향 과정은 깨끗한 어쿠스틱 잠재 x₀를 x_t로 오염시킨다. 텍스트와 화자 정보 c를 조건으로 받은 네트워크는 노이즈나 속도를 예측한다:

L=E ||ε−εθ(x_t,t,c)||²

공개된 품질 경로는 32회 함수 평가를 사용한다. 무조건 합성에는 CFG를 쓰고, 레퍼런스 기반 복제는 강한 가이던스 아래의 과포화를 줄이기 위해 프로젝트의 APG 방식을 따른다.

자기회귀 오디오 토큰에서 AudioDiT로

많은 제로샷 시스템이 이산 어쿠스틱 유닛을 하나씩 생성한다. LongCat은 대신 확산 트랜스포머로 연속적인 어쿠스틱 궤적을 복원하고, 텍스트 특징은 UMT5가, 정체성과 운율은 레퍼런스가 제공한다. 이 전환은 오차 누적의 위치를 토큰 순서에서 반복적 디노이징과 가이던스 쪽으로 옮긴다.

유사도는 자연스러움이 아니다

공식 Seed 표에는 세 개의 화자 유사도 분할이 나오며, 3.5B 값의 평균은 약 80.0이다. 이 행들은 해당 표 안에서만 비교할 수 있고, MOS나 단어 오류, 언어 간 억양, 장문 일관성을 대신하지는 못한다. 목소리는 비슷하게 들리면서도 이름을 잘못 읽을 수 있다.

레퍼런스 품질과 권리

쓸 만한 프롬프트는 짧고 깨끗하며 화자가 한 명이다. 여러 화자와 음악, 강한 잔향은 환경을 정체성과 뒤섞는다. 음성 유사도는 합성의 속성일 뿐, 신원 확인 신호도 아니고 특정 인물을 흉내 낼 허가도 아니다.

자기회귀 음성에서 확산 트랜스포머로

제로샷 복제는 흔히 자기회귀 이산 오디오 토큰을 사용해 왔다. 모델이 어쿠스틱 유닛을 하나씩 예측하는 동안 레퍼런스가 화자 조건을 제공하는 방식이다. LongCat-AudioDiT 3.5B는 대신 확산 트랜스포머로 연속 어쿠스틱 잠재를 복원하며, 텍스트에는 UMT5를, 음색과 운율에는 레퍼런스를 활용한다.

이점과 비용은 모두 전역 디노이징에서 비롯된다. 궤적 전체에 걸쳐 문장 구조를 수정할 수 있지만, 32회 함수 평가는 지연을 키운다. APG와 CFG 역시 음색 포화도와 발음 안정성, 복사되는 배경 소음을 바꾸므로 단일한 가이던스 수치 이상의 의미를 가진다.

확산 디노이징 안의 화자 조건

L=E ||ε−εθ(z_t,t,c_text,c_spk)||²

• z_tt 단계의 어쿠스틱 잠재
• c_text텍스트 조건
• c_spk레퍼런스에서 얻은 화자 조건

이 일반적인 조걸부 확산 표기는 텍스트 조건과 화자 조건이 디노이저에 함께 들어감을 보여 줄 뿐, 저장소 수식을 한 줄씩 옮긴 것으로 제시하지 않는다. 32회의 함수 평가가 잠재를 반복적으로 갱신한다.

화자 유사도와 내용 정확성은 서로 다른 축이다. 잡음 섞인 프롬프트는 실내 소리를 음성 조건으로 바꿀 수 있고, 유사도가 높다고 해서 이름과 숫자, 쉼이 정확하다는 증거가 되지는 않는다.

논문과 코드, 가중치는 LongCat-AudioDiT source / LongCat-AudioDiT 3.5B weights에서 따라갈 수 있다.

Seed 유사도 표 읽는 법

평균은 공식 ZH, EN, ZH-Hard SIM 열을 대상으로 계산하며, 세 값이 모두 있는 행만 포함한다. 자연스러움과 WER는 별도의 질문으로 남는다.

모델	세 분할 평균 SIM	남은 검증 과제
LongCat-AudioDiT 3.5B	약 80.0	WER, 자연스러움, 지연 시간
Qwen3-TTS	약 74.5	음성 디자인 대 복제
VoxCPM	약 74.4	장문 일관성과 RTF

복제 샘플은 짝지어 검토해야 한다

같은 문장에 대해 무조건 합성 출력과 레퍼런스 조건 출력을 모두 보관한다. 음색, 억양, 운율보다 먼저 이름과 숫자, 쉼을 확인한다. 비슷한 소리인지만 확인하면 빠진 단어나 복사된 잡음을 놓치기 쉽다.

쓸 만한 레퍼런스는 짧고 깨끗하며 화자가 한 명이다. 여러 목소리와 강한 잔향, 음악은 정체성을 환경과 뒤섞고, 같은 텍스트의 반복 샘플은 유사도와 운율, 발음 전반의 분산을 드러낸다.

유사도는 신원 확인이 아니다

화자 유사도는 임베딩 근접도를 측정한다. 신원을 증명하지도, 목소리를 사용할 권한을 부여하지도 않는다. 이 도구는 사용자가 처리할 권리가 있는 레퍼런스 자료를 위한 것이다.

공개 저장소와 3.5B 모델 카드가 함께 공개된 자료의 범위를 확정한다. 유사도 수치는 명명된 테스트 세트에 묶여 있으며, 다국어 발음과 장문 안정성, 지각적 자연스러움에 대한 별도 점검을 대신하지 않는다.

LongCat-AudioDiT source의 논문과 공개 파일

모델 이름과 수치, 한계는 아래 논문과 저장소, 모델 카드로 거슬러 올라가 확인할 수 있다.

1. LongCat-AudioDiT source
2. LongCat-AudioDiT 3.5B weights