MuScriptor-large: 멀티 트랙 MIDI에 대한 13억 6600만 매개변수 전체 믹스의 실제 측정 및 경계
자동 음악 전사
자동 음악 채보
MuScriptor-large는 공개된 MuScriptor 체크포인트 가욍데 가장 크며, 모델 카드가 내세우는 플래그십 최고 품질 옵션이다. 16 kHz 모노 오디오를 5초 세그먼트로 나누고, 이를 512빈 멜 특징으로 표현한 뒤, 48층 디코더 전용 Transformer로 음높이·온셋·오프셋·악기·드럼 이벤트를 생성한다. 공개 체크포인트에는 정확히 1,366,399,488개의 F32 파라미터가 들어 있고, safetensors 파일 크기는 5,465,642,136바이트다.
패밀리 내 최대라는 사실이 곧 전 분야 최고 수준이라는 주장은 아니다. 논문은 비공개 D_Test에서 YourMT3+를 크게 앞섰다고 보고하면서, 외부 데이터셋 8개에 대한 결과도 함께 공개했다. 그리고 거기서 MuScriptor가 모든 지표를 쓸어 담지는 못한다. D_Real, D_RL, D_Test는 공개되어 있지 않고, MIROS와는 같은 오디오·지표·후처리 프로토콜로 비교된 적이 없다. 뒷받침되는 결론은 더 좁다. MuScriptor-large는 저자 보고상 선두 결과를 근거로 하는, 범용 다악기 AMT의 가장 강력한 신규 오픈웨이트 후보 가욍데 하나다.
1. 플래그십 등급은 마케팅에서 따온 이름이 아니라 정확한 체크포인트다
MuScriptor는 small, medium, large 세 가지 체크포인트를 공개한다. 리포지토리 메타데이터에는 정확한 파라미터 수 102,968,832, 307,030,528, 1,366,399,488이 적혀 있다. large는 medium의 약 4.45배 크기이며, 플래그십 최고 품질 릴리스로 명시되어 있다. 논문의 규모 절제 실험은 60M, 100M, 300M, 1.3B라는 라벨을 쓰는데, 이 실험 라벨을 공개 체크포인트 세 개의 정확한 파라미터 수로 갈아 끼워서는 안 된다.
리비전 8809fdfbed2affa7ade94a7059e746e3880720e7에서 가중치 리포지토리에는 5,465,642,136바이트짜리 model.safetensors와 소수의 설정 파일이 들어 있다. 소스는 별도로 커밋 302343e8992bdfc619f77f1988168374ed5d675d에 고정되어 있다. 이 식별자들이 합쳐져야 아키텍처, 토크나이저, 추론 기본값, 가중치가 모두 묶인다. 구현체가 조용히 medium을 불러오거나 움직이는 main 브랜치를 따라갈 수 있다면 'large'라는 라벨만으로는 충분하지 않다.
F32 저장 방식이 모든 연산을 F32로 해야 한다는 뜻은 아니며, 비공식 저비트 파생본이 품질상 동등하다는 근거도 되지 않는다. 이 릴리스에는 대체 양자화 체크포인트에 대한 동일 프로토콜 품질 연구가 없다. 따라서 품질 우선 경로는 정확한 large 식별자를 요구하고, 불러올 수 없을 때는 더 작은 등급으로 갈아타는 대신 명확하게 실패하는 쪽이 맞다.
2. 어쿠스틱 윈도에서 조걛부 이벤트 시퀀스로
입력은 16 kHz 모노로 변환된다. 단시간 푸리에 변환은 2,048포인트 윈도와 160샘플 홉을 써서 초당 100프레임을 만들고, 이를 512개 멜 빈에 투영한다. 따라서 5초 세그먼트에는 어쿠스틱 프레임이 대략 500개 들어간다. 이 특징들은 폭 1,536, 어텐션 헤드 24개, 48층의 디코더 전용 Transformer로 들어간다. 모델은 믹스를 먼저 고정된 스템 집합으로 쪼갠 뒤 각각에 독립 채보기를 돌리지 않는다. 시간, 악기, 노트 이벤트가 하나의 공유 시퀀스 안에서 생성된다.
p(y|x,c)=∏n=1N p(yn|y<n, Enc(x), c)x5초 오디오 세그먼트의 멜 표현c선택적 악기 조건; 빈 집합은 자동 감지yn시간·악기·음높이·종결 이벤트 토큰
자기회귀 인수분해 덕분에 앞서 생성된 악기와 코드 정보가 뒤의 결정에 반영되고, 풀믹스에서 악기 간 맥락을 살리는 데 유용하다. 반대로 오류도 그대로 전파된다. 잘못된 타임 시프트 하나가 뒤따르는 노트들을 밀어 버릴 수 있고, 노트오프가 빠지면 노트가 매달린 채 남으며, 악기 토큰이 흔들리면 음높이는 맞는데 트랙이 어긋난다.
현재 공식 예제는 배치 1, 빔 크기 1, cfg_coef=1, 프렐루드 강제(prelude forcing)를 사용한다. 빔 크기 1은 결정론적 argmax 경로다. 빔을 넓히면 더 많은 접두사를 유지하는 대신 메모리를 더 쓴다. 통제된 절제 실험 없이는 빔 4를 '최고 품질'로 부를 수 없다.
분류기 없는 가이던스(classifier-free guidance)는 조걛부 로짓과 비조걛부 로짓을 결합해 조건을 또렷하게 만든다: ℓ=ℓu+s(ℓc−ℓu). 논문 최종 표는 CFG=1에서 Multi F1 48.2, CFG=2에서 47.8을 보고한다. 따라서 공개 기본값은 '가이던스 숫자가 클수록 좋다'고 가정하지 않고 1을 유지한다.
3. MIDI 파일 145만 개, 실제 오디오 11,000시간, 검토된 채보 300곡
논문은 학습 자료를 세 층으로 나눈다. D_Synth에는 Lakh MIDI와 상업 데이터 제공업체에서 모은 MIDI 파일 약 145만 개가 들어 있고, 250개가 넘는 SoundFont로 렌더링했다. 전조, 템포, 벨로시티, 악기 무작위화, 디튜닝을 거쳐 같은 심볼릭 자료를 더 넓은 음색 범위에 노출시킨다. 합성 렌더링은 정확한 이벤트 경계를 주지만, 마이크 블리드, 마스터링, 연주 잡음, 실제 프로덕션의 긴 꼬리까지 온전히 재현하지는 못한다.
D_Real에는 남부 녹음 약 170,000곡, 총 11,000시간 분량이 담겨 있다. 노트 라벨은 샘플 단위 수동 주석이 아니라 오디오-심볼릭 정렬에서 얻었다. 실제 믹스는 프로덕션 분포를 넓혀 주는 대신, 제목 매칭, 버전 차이, 플러그인 레이턴시, 정렬 오차를 함께 끌어들인다. 이어서 D_RL은 사람이 검토한 고품질 채보 300곡을 골라 GRPO/REINFORCE식 후학습에 쓴다. 세 단계는 커버리지, 도메인 시프트, 시퀀스 선호도를 각각 다루지만, 실제 데이터셋과 보상 데이터셋은 공개되어 있지 않다.
지도학습은 토큰 단위 음의 로그 우도를 최소화하고, 후학습은 온셋·오프셋·프레임·드럼·다악기 측정치를 조합한 보상을 쓴다. 시퀀스 수준 최적화는 독립 토큰 분류가 놓치는 구조적 실패에 벌점을 줄 수 있다. 다만 검토된 보상 세트가 300트랙뿐이라서, 희귀 악기, 극단적 템포, 비서구 전통에 대한 커버리지는 여전히 공개 외부 평가가 필요하다.
LSFT=−Σn log p(yn|y<n,x,c), J(θ)=E[R(y)]LSFT지도학습 단계의 시퀀스 교차 엔트로피R(y)완성된 채보에 대한 결합 보상D_RL검토된 채보 300곡, 공개 벤치마크 아님
4. 인터페이스 이름 35개와 학습된 그룹 36개 사이의 엄격한 화이트리스트
MuScriptor는 128개 General MIDI 프로그램을 MT3_FULL_PLUS 악기 그룹에 매핑한다. 모델은 36개 그룹을 학습하지만, 공개 데모에서 선택 가능한 이름은 35개다. 어쿠스틱·일렉트릭 피아노, 세 개의 기타 그룹, 어쿠스틱·일렉트릭 베이스, 스트링, 브라스, 우드윈드, 신시사이저, 보이스, 드럼 등이 여기 속한다. 이 차이는 남부 표현과 선택 인터페이스의 경계를 보여 준다. 인터페이스 선택지 35개를 학습된 범주의 전체 수로 본도해서는 안 된다.
악기 필드를 비워 두면 모델이 지원하는 어떤 그룹이든 감지할 수 있다. 이름을 하나라도 선택하는 순간, 디코더는 나머지 악기 토큰을 전부 하드 마스킹한다. 느슨한 선호가 아니라 엄격한 화이트리스트다. 편성을 알고 있을 때는 악기 누출을 줄여 주지만, 사용자가 넣지 못한 실제 파트를 지워 버릴 수도 있다. 피아노·베이스·드럼은 편성이 확실한 트리오에는 좋은 제약이지만, 편곡이 불확실하다면 자동 감지가 더 안전하다.
이 제약은 인터페이스에서 토크나이저의 토큰 마스크까지 그대로 전달되어야 한다. API가 선택된 칩을 버리면 가짜 컨트롤이 되고, 문자열을 제한 없이 받으면 철자 오류가 실행 시점까지 숨는다. 충실한 계약은 공식 식별자 35개만 받고, 중복을 거부하고, 빈 배열을 자동 감지로 정의한다.
5. 비공개 D_Test의 큰 폭 향상을 읽는 법
논문 표 1은 같은 비공개 D_Test에서 YourMT3+ YPTF.MoE+Multi (noPS)와 MuScriptor 학습 단계들을 비교한다. CFG=1의 최종 large 모델은 Onset 60.4, Frame 73.3, Offset 49.0, Drums 50.2, Multi 48.2를 보고했다. YourMT3+는 32.52, 45.54, 17.79, 41.4, 21.9다. 격차는 상당하며, 저자들의 더 큰 데이터·모델·후학습 레시피가 그들의 실제 믹스 분포와 주석 프로토콜 아래에서 성능을 실질적으로 끌어올렸다는 주장을 뒷받침한다.
| 동일 비공개 D_Test | Onset F1 | Frame F1 | Offset F1 | Drums F1 | Multi F1 |
|---|---|---|---|---|---|
| YourMT3+ | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
| MuScriptor-large, CFG=1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
Multi F1은 악기·음높이·온셋·오프셋이 매칭 규칙을 함께 만족해야 하므로, 더 적은 필드만 검사하는 점수와 바꿔 쓸 수 없다. MIROS는 2025 AMT Challenge에서 0.5998을 기록했지만, 그것은 약 20초짜리 합성 발췌 76개로 이뤄진 다른 세트와 program + pitch + onset Multi Onset F1 프로토콜 위에서다. MuScriptor는 그 동일 프로토콜 테스트에 참가하지 않았다. 48.2와 0.5998을 나란히 놓고 순위를 매기면 서로 다른 분모와 서로 다른 이벤트 정의를 비교하는 셈이다.
D_Test에는 남부 자료에서 뽑은 다악기 작품 372곡이 들어 있고, 학습-테스트 누출을 줄이려고 제목 필터링을 적용했다. 제목 필터링은 유용하지만 공개적이고 재현 가능한 중복 제거 감사와 같지는 않다. 오디오, 주석, 버전 선택, 겹침 정리 규칙은 공개되어 있지 않다. 따라서 헤드라인 수치는 저자가 보고한 비공개 세트 결과라는 꼬리표를 계속 달고 있어야 한다.
6. 교차 도메인 표와 겹침 노트 절제 실험이 드러내는 실패 영역
외부 데이터셋 8개에서는 훨씬 들쭉날쭉한 모습이 나타난다. YourMT3+와 비교해 MuScriptor는 Frame F1에서 7/8, Multi F1에서 6/8 데이터셋을 이기지만, Onset F1은 4/8에서만 앞선다. RWC-C에서는 온셋·프레임·오프셋·멀티에서, RWC-R에서는 오프셋·드럼·멀티에서, Bach10에서는 온셋과 오프셋에서 뒤진다. 지속음 활동이 강하고 트랙 전체 내용을 잘 잡아낸다고 해서 모든 트랜지언트·악기 계열·녹음 분포에서 우세한 것은 아니다.
토크나이저에는 구체적인 표현 한계가 있다. 같은 악기·같은 음높이의 노트가 동시에 겹치면 둘을 깨끗하게 표현할 수 없다. 논문은 주요 D_Test 평가에서 더 짧은 쪽 겹침을 제거했다. 이 제거가 없으면 Onset F1은 60.4에서 51.8로, Offset은 49.0에서 41.9로, Multi는 48.2에서 42.0으로 떨어진다. 페달을 밟은 채 같은 음을 반복하는 피아노, 스트링 유니즌, 레이어링된 기타 모두 이 충돌을 만날 수 있다.
모델 규모 절제 실험은 최종 비교와는 별도의 차트로 봐야 한다. 논문 표 4는 악기 조건을 둔 채 D_Real만으로 학습한다. 60M, 100M, 300M, 1.3B 라벨에 따라 Multi F1이 35.2에서 38.2, 39.7, 40.5로 오른다. 해당 설정에서 규모 확장의 이득이 이어짐을 보여 주지만, 최종 합성 사전학습과 강화 단계는 포함하지 않으며 공개 small, medium, large 파일의 직접 벤치마크도 아니다.
| 논문 규모 라벨 | Onset | Frame | Offset | Drums | Multi |
|---|---|---|---|---|---|
| 60M | 47.7 | 65.7 | 35.3 | 39.8 | 35.2 |
| 100M | 51.2 | 67.2 | 38.7 | 41.5 | 38.2 |
| 300M | 52.4 | 68.0 | 40.3 | 42.0 | 39.7 |
| 1.3B | 53.2 | 68.7 | 41.0 | 42.5 | 40.5 |
청취 검토는 빽빽한 유니즌, 드럼과 베이스가 겹치는 트랜지언트, 디스토션 기타, 합창, 희귀 음색, 강한 잔향에 집중하는 것이 좋다. 트랙이 짧은 조각으로 끊기거나, 트랙 간 누출이 생기거나, 서스테인이 잘리거나, 악기 하나가 여러 채널로 쪼개져도 종합 점수는 괜찮게 유지될 수 있다. 평균은 모집단의 경향을 말해 줄 뿐, 피아노 롤 검사와 재합성 재생을 대신하지 못한다.
7. Type-1 멀티트랙 MIDI가 보존하는 것과 라이터가 고정하는 것
현재 라이터는 Type-1 MIDI를 만들어 낸다. 메타데이터가 자체 트랙을 차지하고, 각 악기 트랙에는 이름, 프로그램, 채널, 노트온, 노트오프 이벤트가 실린다. 드럼은 General MIDI 채널 10 규약을 따른다. 모든 것을 Type-0으로 납작하게 눌러 담는 방식보다 DAW에서 음소거·솔로·편집이 쉽고, 악기 드리프트도 더 잘 드러낸다.
출력은 연주된 다이낈믹을 복원하지 않는다. 공개 코드는 노트 벨로시티를 100으로 기록한다. MIDI 안의 벨로시티 필드는 파일 형식을 채울 뿐, 모델이 녹음에서 표현을 추론했다는 근거가 아니다. 드럼은 온셋만 제공한다. 모델은 곡의 템포 맵, 박자표, 비트 그리드도 추론하지 않는다. 라이터는 고정된 120 BPM 템포 이벤트로 이벤트 초를 틱으로 변환한다. '120 BPM으로 고정'을 '120 BPM을 감지'로 포장해서는 안 된다.
연속적인 타이밍은 어느 정도 보존 될 수 있지만, 악보 소프트웨어가 보여 주는 기보 값은 그 고정 템포와 이후 양자화에 좌우된다. 루바토, 스윙, 자유 박자, 템포 변화는 별도의 비트·구조 분석이 필요하다. 재생 가능한 이벤트, 편집 가능한 트랙, 출판 수준의 악보는 서로 다른 세 층이다. 보이싱, 타이, 페달링, 이명동음 표기, 반복, 표현에는 여전히 음악적 판단이 필요하다.
긴 오디오를 겹치는 세그먼트로 처리할 때는 온셋 소유권을 전역 초 기준으로 배정하고, 경계를 넘어 열 려 있는 노트는 다음 세그먼트로 넘겨야 한다. 세그먼트 MIDI 파일을 단순히 이어 붙이면 경계 어택이 중복되거나 서스테인이 잘리거나 트랙 이름·프로그램·드럼 채널이 버려질 수 있다. 수용 기준으로는 매달린 노트가 없는지, 트랙 메타데이터가 보존 됐는지, 세그먼트 이음새에서 체계적인 타이밍 드리프트가 없는지를 확인해야 한다.
8. 라이선스 정보
MuScriptor 코드는 MIT 라이선스를 쓴다. large 가중치는 CC BY-NC 4.0이며 게이트가 걸린 Hugging Face 페이지를 통해 배포된다. 접근하려면 로그인된 계정, 페이지 약관 동의, 그리고 채보하려는 음악에 필요한 권리를 사용자가 보유했음을 확인하는 절차가 필요하다.
코드와 가중치의 라이선스는 서로 다르다. 가중치 파일에 접근할 수 있다고 해서 비상업(NonCommercial) 조건이 바뀌지는 않는다. 허용되는 사용 범위는 고정된 모델 카드와 라이선스 원문이 1차 기준이다.
9. 결론과 1차 출처
MuScriptor-large의 가치는 구체적이다. 1.366B 파라미터로 공개 패밀리 가욍데 가장 크고, 실제 풀믹스를 겨냥하며, 하드 악기 화이트리스트를 지원하고, 편집 가능한 Type-1 멀티트랙 MIDI를 만들어 남으며, 비공개 D_Test에서 YourMT3+ 대비 큰 폭의 향상을 저자가 보고했다. 한계도 똑같이 구체적이다. 헤드라인 데이터는 비공개이고, 외부 지표는 전승이 아니며, 같은 음높이 겹침 노트는 토크나이저에서 충돌하고, 벨로시티와 실제 템포 맵은 없으며, 가중치는 비상업용 라이선스다.
'최고 품질의 MuScriptor 체크포인트'라는 말은 성립한다. '독립적으로 확인된 범용 오디오-MIDI SOTA'라는 말은 성립하지 않는다. 같은 녹음, 같은 이벤트 정의, 같은 매칭 허용 오차, 같은 겹침 정책으로 MuScriptor-large, YourMT3+, MIROS를 비교하는 공개 재현이 나오면 이 평가는 달라질 수 있다.