MuScriptor: An Open Model for Multi-Instrument Music Transcription
arXiv - 2026
MuScriptor-large로 음악을 여러 악기의 MIDI로 변환합니다.
로딩 중...
곡이나 합주를 멀티트랙 MIDI로 변환해 DAW에서 음표와 파트를 정리하고 편곡하세요.
입력
mp3 / wav / flac / ogg / m4a / aac / aif / aiff / mp4 / mov / mkv와 같은 형식의 입력을 지원합니다
지원되는 포맷
출력
MIDI
사용 사례
음표, 악기 편성과 연주 세부 사항을 편집합니다.
소재와 용도에 맞는 모델을 고르고 예시를 확인한 뒤 제출하세요.
비용, 시간, 형식과 매개변수는 선택한 모델에 따라 달라집니다.
의견에 도구 이름, 작업 단계와 발생한 문제를 적어 주세요. 스크린샷을 첨부하면 확인에 도움이 됩니다.
TelkNet 구간 보정이나 보컬 복원 없이 공식 구간 분할과 악기 문맥 처리를 사용합니다.
기본 구간 보정은 지속음을 보존하며 구간 간 악기 오류를 줄입니다. 전체 혼합 MIDI의 첫 후보입니다.
YourMT3+ · YPTF.MoE+Multi noPS: 전체 믹스에서 편집 가능한 MIDI 초안과 더불어 piano/키보드, guitar, bass, drums, 현악기/관악기, vocal 초안 등 더 깔끔한 솔로/일반 악기 입력도 포함합니다
YMT3+: 전체 믹스에서 편집 가능한 MIDI 초안과 더불어 piano/키보드, guitar, bass, drums, 현악기/관악기, vocal 초안 등 더 깔끔한 솔로/일반 악기 입력도 포함합니다
YourMT3+ · YPTF.Single noPS: 전체 믹스에서 편집 가능한 MIDI 초안과 더불어 piano/키보드, guitar, bass, drums, 현악기/관악기, vocal 초안 등 더 깔끔한 솔로/일반 악기 입력도 포함합니다
YourMT3+ · YPTF.Multi PS: 전체 믹스에서 편집 가능한 MIDI 초안과 더불어 piano/키보드, guitar, bass, drums, 현악기/관악기, vocal 초안 등 더 깔끔한 솔로/일반 악기 입력도 포함합니다
YourMT3+ · YPTF.MoE+Multi PS: 전체 믹스에서 편집 가능한 MIDI 초안과 더불어 piano/키보드, guitar, bass, drums, 현악기/관악기, vocal 초안 등 더 깔끔한 솔로/일반 악기 입력도 포함합니다
MIROS MusicFM multi-decoder 공식 지역 MIROS 노선을 pretrained_msd.pt와 세력 조정된 last.ckpt checkpoint로 운행합니다.
BS-RoFormer SW Fixed BS-Rofo-SW-Fixed.ckpt 플러스 BS-Rofo-SW-Fixed.yaml를 사용해 전체 믹스를 six WAV stems로 나눕니다.
OaFS는 악기 34종을 감지하여 MIDI와 음표 표를 내보냅니다. 벨로시티는 127로 고정됩니다.
지정한 개수의 이름 없는 음색 트랙으로 음표를 묶습니다. 악기 이름은 식별하지 않습니다. 악기 수를 아는 짧은 합주에 적합하며 같은 음높이로 겹치는 성부는 구분하지 못할 수 있습니다.
보컬, 드럼, 베이스, 기타, 피아노와 기타 소리로 분리한 뒤 MIDI로 전사하고 합칩니다. 벨로시티 예측과 악기 재지정을 선택할 수 있으며 분리 오류가 음표에 영향을 줄 수 있습니다.
6개 스템으로 분리한 뒤 MIDI로 채보합니다. SheetSage2-Refined가 박, 박자표와 구간을, Tsumugi가 코드와 조성을 추정합니다. 기존 전체 곡 채보 방식도 선택할 수 있습니다.
arXiv - 2026
MuScriptor-large로 음악을 여러 악기의 MIDI로 변환합니다.
IEEE MLSP - 2024
YourMT3+는 향상된 트랜스포머 아키텍처, MoE 변형, 다중 채널 디코딩, cross-dataset stem augmentation MT3를 확장합니다.
ICLR - 2022
MT3는 시퀀스 모델링을 통한 다중 작업 다중 트랙 음악 전사를 확립했으며, 최신 AMT 비교의 기준선으로 남아 있습니다.
arXiv / OpenReview - 2026
2025년 AMT 챌린지 요약 논문은 2025년 1월 1일부터 4월 30일까지 열린 대회를 위해 2026년 3월 29일에 발표되었습니다. 이 보고서에는 21개의 등록 팀, 14개의 제출 팀, 8개의 유효한 점수 팀, 그리고 발췌문당 최대 3개의 악기가 포함된 76개의 클래식 시험 세트가 포함되어 있습니다.
Signals - 2026
OaFS는 악기 34종을 감지하여 MIDI와 음표 표를 내보냅니다. 벨로시티는 127로 고정됩니다.
이 사이트와 외부 모델의 공개 평가 결과를 포함합니다. 기본적으로 출처의 전체 표를 표시하며, 조건과 지표를 선택해 비교할 수도 있습니다. 평가 조건이 다른 점수는 직접 비교할 수 없습니다.
공개 추론 구현과 해당 가중치가 확인된 기록만 표시합니다. 가중치가 필요 없는 알고리즘도 포함됩니다. 폐쇄형 서비스, 미공개 가중치, 실험 버전이 확인되지 않은 기록은 제외하며 전체 모델 종합 순위는 아닙니다.
가중치 공개만으로 완전한 오픈 소스 라이선스가 보장되지는 않습니다. 데이터를 펼치면 가중치 라이선스와 접근 조건을 확인할 수 있습니다. 명시되지 않은 라이선스는 별도로 표시합니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 3 / 원본 행 7
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
논문은 동일한 비공개 D_Test에서 CFG=1 최종 모델과 YourMT3+를 비교합니다. 독립 재현 결과가 없으며 MIROS나 다른 평가 프로토콜과 직접 비교할 수 없습니다.
| 지표별 순위 | 모델 | 평가 조건 | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RL사이트 사용 모델공개 가중치 · 추론 코드 | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
표시는 사이트에서 사용하는 모델이나 구성 모델을 뜻합니다. 점수와 설정은 인용된 공개 평가 기준이며, 사이트 전체 처리 과정을 다시 평가한 결과가 아닙니다.
데이터셋, 버전, 조건을 구분하며 순위에 포함할 항목이 없는 출처도 남깁니다.
배포 가능 3 / 원본 행 7
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
배포 가능 16 / 원본 행 16
배포 가능 0 / 원본 행 4
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
MuScriptor (60M) · MuScriptor (100M) · MuScriptor (300M) · MuScriptor (1.3B)
배포 가능 9 / 원본 행 17
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
배포 가능 9 / 원본 행 14
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
배포 가능 9 / 원본 행 9
배포 가능 1 / 원본 행 5
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
배포 가능 1 / 원본 행 7
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
배포 가능 1 / 원본 행 12
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
배포 가능 10 / 원본 행 25
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
배포 가능 68 / 원본 행 102
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
배포 가능 28 / 원본 행 28
배포 가능 2 / 원본 행 5
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
OaFS-ResUnet · OaFS-CFP · OaFS-single
배포 가능 3 / 원본 행 7
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
D16 · MSE · Syn · Rescale
점수는 해당 데이터셋, 지표, 모델 버전에 대한 결과이며 서로 다른 테스트끼리는 직접 비교할 수 없습니다.
표에는 공개 가중치 또는 설정이 있고 로컬에서 실행할 수 있는 모델만 표시합니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 3 / 원본 행 7
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
𝒟 Synth · MuScriptor trained on · 1 · 𝒟 Synth · MuScriptor trained on · 2 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 1 · 𝒟 Synth + 𝒟 Real · MuScriptor trained on · 2
논문은 동일한 비공개 D_Test에서 CFG=1 최종 모델과 YourMT3+를 비교합니다. 독립 재현 결과가 없으며 MIROS나 다른 평가 프로토콜과 직접 비교할 수 없습니다.
| 지표별 순위 | 모델 | 평가 조건 | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor (1.3B) · 𝒟 Synth + 𝒟 Real + 𝒟 RL공개 가중치 · 추론 코드 | D_Test · CFG = 1 | 60.4 | 73.3 | 49.0 | 50.2 | 48.2 |
| 2 | YourMT3+ (YPTF.MoE+Multi (noPS)) | D_Test · CFG = 1 | 32.52 | 45.54 | 17.79 | 41.4 | 21.9 |
표에는 공개 가중치 또는 설정이 있고 로컬에서 실행할 수 있는 모델만 표시합니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 16 / 원본 행 16
논문 표 2는 두 모델의 학습 데이터에 모두 포함되지 않은 8개 데이터셋에서 공개되고 로컬 배포 가능한 모델을 평가합니다.
| 지표별 순위 | 모델 | 평가 조건 | F1 Score ( ↑ ) | ||||
|---|---|---|---|---|---|---|---|
| Onset | Frame | Offset | Drums | Multi | |||
| 1 | MuScriptor공개 가중치 · 추론 코드 | Bach10 | 43.1 | 85.0 | 36.0 | - | 34.7 |
| 2 | YourMT3+ | Bach10 | 59.8 | 66.0 | 48.0 | - | 26.4 |
표에는 공개 가중치 또는 설정이 있고 로컬에서 실행할 수 있는 모델만 표시합니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 9 / 원본 행 17
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
GIU · press_to_win · press_to_win5 · press_to_win3 · press_to_win4 · Bytedance Piano transcription · press_to_win2 · Midnight Questor
공식 순위표에서 재현 가능한 오픈 소스 항목을 공식 순위 그대로 표시합니다. F1, 정밀도, 재현율, 시작, 종료 및 겹침은 백분율로, 처리 시간은 밀리초로 표시합니다. YourMT3+ 대회 설정은 파일명에 제공된 악기 정보를 사용합니다. 이 점수는 이 사이트의 전체 처리 과정에 대한 실측 결과가 아닙니다.
| 공식 순위 | 모델 | Members | Submission date | Runtime (ms) | F-measure (summary)↑ | Precision↑ | Recall↑ | Average overlap ratio↑ | F-measure (details)↑ | Onset precision↑ | Onset recall↑ | Onset F-measure↑ | Offset precision↑ | Offset recall↑ | Offset F-measure↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | MIROS (Music Information Retrieval Osnabrück)공개 가중치 · 추론 코드MIROS fine-tuned decoderMusicFM encoder추론 코드 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt평가 설정가중치 라이선스 미명시 | Deniz Gün, Fernando Riveros, Paul Koesling, Anish Haluvani Sundresh, William Shelor | 2025-06-02 | 22.0535 | 0.5999 | 0.655839 | 0.5724 | 0.739079 | 0.599875 | 0.877975 | 0.759886 | 0.799196 | 0.807888 | 0.701962 | 0.736779 |
| 2 | YourMT3-YPTF-MoE-M | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-03 | 12.5981 | 0.5939 | 0.600966 | 0.588778 | 0.730518 | 0.593868 | 0.792573 | 0.777088 | 0.783356 | 0.767444 | 0.750847 | 0.757675 |
| 3 | YourMT3-YPTF-S | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 15.3954 | 0.5582 | 0.556491 | 0.561459 | 0.732617 | 0.55816 | 0.762297 | 0.771807 | 0.76566 | 0.743591 | 0.753287 | 0.747136 |
| 4 | YourMT3-P | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.9916 | 0.3948 | 0.39658 | 0.398548 | 0.72627 | 0.394752 | 0.60259 | 0.613207 | 0.601815 | 0.685018 | 0.691227 | 0.681928 |
| 5 | MT3공개 가중치 · 추론 코드 | Google Research Brain Team: Josh Gardner, Ian Simon, Ethan Manilow, Curtis Hawthorne, Jesse Engel | 2025-06-02 | 20.1915 | 0.3932 | 0.38112 | 0.411528 | 0.71797 | 0.393214 | 0.663145 | 0.726103 | 0.687734 | 0.63501 | 0.698339 | 0.659656 |
| 7 | YourMT3-YPTF-SP-V공개 가중치 · 추론 코드 | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 14.5031 | 0.3306 | 0.32796 | 0.335827 | 0.714713 | 0.330591 | 0.632511 | 0.657221 | 0.641741 | 0.686195 | 0.711273 | 0.695724 |
| 10 | YourMT3-YPTF-MoE-MP | Sungkyun Chang, Simon Dixon, Emmanouil Benetos | 2025-06-02 | 16.0262 | 0.2173 | 0.214966 | 0.220641 | 0.611634 | 0.217338 | 0.696075 | 0.719896 | 0.70555 | 0.699835 | 0.72405 | 0.709509 |
| 15 | ReconVAT공개 가중치 · 추론 코드 | Kin Wai Cheuk, Dorien Herremans, Li Su | 2025-06-02 | 5.4548 | 0.1416 | 0.121534 | 0.180252 | 0.789788 | 0.141598 | 0.307451 | 0.450635 | 0.35515 | 0.478656 | 0.742044 | 0.564281 |
| 16 | Basic Pitch | Spotify's Audio Intelligence Lab: Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert | 2025-06-02 | 3.9056 | 0.0634 | 0.054995 | 0.078152 | 0.597734 | 0.063433 | 0.264086 | 0.337363 | 0.290772 | 0.444662 | 0.587456 | 0.495507 |
표에는 공개 가중치 또는 설정이 있고 로컬에서 실행할 수 있는 모델만 표시합니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 9 / 원본 행 14
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
press_to_win 1 · press_to_win 2 · press_to_win 3 · Bytedance Piano · press_to_win 4
웹사이트와 논문은 별도 스냅샷으로 마지막 자릿수에 작은 차이가 있습니다. 최대 세 악기로 제한된 합성 구간 76개를 평가하며 각 출처의 값을 유지합니다. YourMT3+ 대회 설정은 파일명에 제공된 악기 정보를 사용합니다. 이 점수는 이 사이트의 전체 처리 과정에 대한 실측 결과가 아닙니다.
| 공식 순위 | 모델 | F1 Score↑ | Precision↑ | Recall↑ | Overlap↑ | Runtime |
|---|---|---|---|---|---|---|
| 1 | MIROS공개 가중치 · 추론 코드MIROS fine-tuned decoderMusicFM encoder추론 코드 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt평가 설정가중치 라이선스 미명시 | 0.5998 | 0.6558 | 0.5724 | 0.7391 | 22.05 |
| 2 | YourMT3-YPTF-MoE-M | 0.5938 | 0.6010 | 0.5888 | 0.7305 | 12.60 |
| 3 | YourMT3-YPTF-S | 0.5581 | 0.5565 | 0.5615 | 0.7326 | 15.40 |
| 4 | YourMT3-P | 0.3947 | 0.3966 | 0.3985 | 0.7263 | 14.99 |
| 5 | MT3 (baseline)공개 가중치 · 추론 코드 | 0.3932 | 0.3811 | 0.4115 | 0.7180 | 20.19 |
| 6 | YourMT3-YPTF-SP-V공개 가중치 · 추론 코드 | 0.3305 | 0.3280 | 0.3358 | 0.7147 | 14.50 |
| 9 | YourMT3-YPTF-MoE-MP | 0.2173 | 0.2150 | 0.2206 | 0.6116 | 16.03 |
| 13 | ReconVAT공개 가중치 · 추론 코드 | 0.1415 | 0.1215 | 0.1803 | 0.7898 | 5.45 |
| 14 | Basic Pitch | 0.0634 | 0.0550 | 0.0782 | 0.5977 | 3.91 |
표에는 공개 가중치 또는 설정이 있고 로컬에서 실행할 수 있는 모델만 표시합니다.
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 9 / 원본 행 9
Table 2는 정확한 악기 수별 평균 ± 표준편차입니다. 그룹마다 따로 순위를 매기며 종합표를 대체하지 않습니다. YourMT3+ 대회 설정은 파일명에 제공된 악기 정보를 사용합니다. 이 점수는 이 사이트의 전체 처리 과정에 대한 실측 결과가 아닙니다.
| 지표별 순위 | 모델 | 평가 조건 | F-measure↑ | Precision↑ | Recall↑ |
|---|---|---|---|---|---|
| 1 | YourMT3-YPTF-MoE-M | Count = 1 (n=6) | 0.7594 ± 0.2304 | 0.7858 ± 0.2411 | 0.7367 ± 0.2254 |
| 2 | MIROS공개 가중치 · 추론 코드MIROS fine-tuned decoderMusicFM encoder추론 코드 logs/Multi_longer_seq_length_frozen_enc_silu/le2bzt53/checkpoints/last.ckpt평가 설정가중치 라이선스 미명시 | Count = 1 (n=6) | 0.7193 ± 0.2103 | 0.9067 ± 0.2286 | 0.6233 ± 0.2295 |
| 3 | MT3 (Baseline)공개 가중치 · 추론 코드 | Count = 1 (n=6) | 0.5483 ± 0.3898 | 0.5548 ± 0.3974 | 0.5422 ± 0.3829 |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 1 / 원본 행 5
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
MT3 (our colab) · MT3 (colab ) · MT3 · PerceiverTF
YourMT3+ 논문과 Slakh 스타일 지표를 이용한 MT3 계열 기준선 비교.
| 지표별 순위 | 모델 | Bass↑ | Brass↑ | C.Perc↑ | Guitar↑ | Organ↑ | Piano↑ | Pipe↑ | Reed↑ | Strings and Ens.↑ | Synth Lead↑ | Synth Pad↑ | Drums↑ | Onset F1 (non-drum)↑ | Offset F1 (non-drum)↑ | Onset F1 (drums/gm)↑ | Multi (Onset-Offset) F1 ♠↑ | Multi Onset F1↑ |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| - | YPTF.MoE+M (PS) | 93.20 | 74.96 | 67.70 | 82.27 | 73.48 | 88.84 | 74.72 | 82.22 | 75.44 | 84.19 | 45.57 | 90.05 | 84.56 | 70.70 | 90.05 | 74.84 | - |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 1 / 원본 행 7
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
YMT3 · noPS · YMT3+ · noPS | PS · YPTF+S · noPS | PS · YPTF+M · noPS | PS · MT3 [ 1 ] · (colab) · AMT · Baseline *
| 지표별 순위 | 모델 | 평가 조건 | MAPS [ 21 ] (unseen) · Piano | MAPS [ 21 ] (seen) | Maestro v3 | MusicNet ext. (EM) [ 10 ] | MusicNet ext. [ 9 , 10 ] | MIR-ST500 [ 13 ] (SVS) · Singing | MIR-ST500 [ 13 ] | MIR-ST500 (100ms [ 20 ] ) | ENSTdrums (DTP [ 15 ] ) · Drums | ENSTdrums (DTM [ 15 ] ) | GuitarSet [ 11 ] (MT3 [ 1 ] ) · Guitar | URMP [ 22 ] Onset F1 [ 1 ] · Agnostic | URMP [ 22 ] Multi F1 [ 1 ] · Ensemble | Slakh [ 18 ] Onset F1 [ 1 ] · Agnostic | Slakh [ 18 ] Multi F1 [ 1 ] · All | ||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Strings↑ | Winds↑ | Strings↑ | Winds↑ | ||||||||||||||||
| - | YPTF.MoE+M | noPS | PS | 87.88 | 86.25 | - | 96.98 | 96.52 | 91.32 | 90.07 | 83.46 | 78.50 | 66.14 | 66.09 | 55.95 | 55.33 | 71.60 | 72.05 | 70.59 | 71.07 | 81.14 | 82.08 | 88.79 | 89.48 | 85.92 | 87.27 | 91.65 | 88.87 | 81.05 | 81.79 | 67.22 | 67.98 | 84.14 | 84.56 | 73.98 | 74.84 |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 1 / 원본 행 12
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
YMT3 base · + Intra-aug. · + Full-vocab. · + Data balancing · + Cross-aug. · + PTF-encoder · + FFN → MoE · + Multi decoder · MT3 (colab) · MT3 [ 1 ] · PerceiverTF [ 25 ]
| 지표별 순위 | 모델 | Onset F1↑ | Offset F1↑ | Drum F1↑ |
|---|---|---|---|---|
| - | YPTF.MoE+Multi | 84.6 | 70.7 | 90.1 |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 10 / 원본 행 25
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
OaFS-ResUnet · Frame F1 (%) · OaFS-CFP · Frame F1 (%) · OaFS-single · Frame F1 (%) · OaFS-ResUnet · Onset F1 (%) · OaFS-CFP · Onset F1 (%) · OaFS-single · Onset F1 (%) · OaFS-ResUnet · Multi-Instrument Frame F1 (%) · OaFS-CFP · Multi-Instrument Frame F1 (%) · OaFS-single · Multi-Instrument Frame F1 (%) · OaFS-ResUnet · Multi-Instrument Onset F1 (%) · OaFS-CFP · Multi-Instrument Onset F1 (%) · OaFS-single · Multi-Instrument Onset F1 (%) · OaFS-ResUnet · Instrument Detection F1 (%) · OaFS-CFP · Instrument Detection F1 (%) · OaFS-single · Instrument Detection F1 (%)
공식 표 5는 다섯 데이터셋을 각각 비교하며 공개 가중치와 일치하는 실험만 표시합니다. 현재 OaFS는 공동 학습 모델이며 이 결과로 MuScriptor보다 우수하다고 판단할 수 없습니다.
| 지표별 순위 | 모델 | 평가 조건 | Frame F1 (%)↑ | Onset F1 (%)↑ | Multi-Instrument Frame F1 (%)↑ | Multi-Instrument Onset F1 (%)↑ | Instrument Detection F1 (%)↑ |
|---|---|---|---|---|---|---|---|
| 1 | MT3공개 가중치 · 추론 코드 | MAESTRO | 55.30 | 95.16 | 55.30 | 95.16 | 99.72 |
| 2 | OaFS | MAESTRO | 76.10 | 94.17 | 76.10 | 94.17 | 100 |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 68 / 원본 행 102
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
OaFS-Single · Acoustic Piano · OaFS-Single · Electric Piano · OaFS-Single · Chromatic Percussion · OaFS-Single · Organ · OaFS-Single · Acoustic Guitar · OaFS-Single · Clean Electric Guitar · OaFS-Single · Distorted Electric Guitar · OaFS-Single · Acoustic Bass · OaFS-Single · Electric Bass · OaFS-Single · Violin · OaFS-Single · Viola · OaFS-Single · Cello · OaFS-Single · Contrabass · OaFS-Single · Orchestral Harp · OaFS-Single · Timpani · OaFS-Single · String Ensemble · OaFS-Single · Synth Strings · OaFS-Single · Choir and Voice · OaFS-Single · Trumpet · OaFS-Single · Trombone · OaFS-Single · Tuba · OaFS-Single · French Horn · OaFS-Single · Brass Section · OaFS-Single · Soprano/Alto Sax · OaFS-Single · Tenor Sax · OaFS-Single · Baritone Sax · OaFS-Single · Oboe · OaFS-Single · English Horn · OaFS-Single · Bassoon · OaFS-Single · Clarinet · OaFS-Single · Pipe · OaFS-Single · Synth Lead · OaFS-Single · Synth Pad · OaFS-Single · Drums
| 지표별 순위 | 모델 | 평가 조건 | Total Number of Notes | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|---|
| 1 | OaFS | Acoustic Piano | 974,080 | 65.90 | 71.37 |
| 2 | MT3공개 가중치 · 추론 코드 | Acoustic Piano | 974,080 | 56.90 | 66.08 |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 28 / 원본 행 28
| 지표별 순위 | 모델 | 평가 조건 | Frame F1 (%)↑ | Onset F1 (%)↑ |
|---|---|---|---|---|
| 1 | OaFS | Piano | 70.36 | 72.10 |
| 2 | MT3공개 가중치 · 추론 코드 | Piano | 63.12 | 69.99 |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 2 / 원본 행 5
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
OaFS-ResUnet · OaFS-CFP · OaFS-single
| 지표별 순위 | 모델 | Number of Trainable Parameters | Number of Instrument Classes Excluding “Others” |
|---|---|---|---|
| - | MT3공개 가중치 · 추론 코드 | 93.7 M | 34 |
| - | OaFS | 64.9 M | 34 |
데이터셋을 선택하면 각 모델의 전체 지표가 표시됩니다. 공식 순위 또는 선택한 지표로 정렬합니다. 굵은 글씨는 동일 평가 조건에서 비교 가능한 각 열의 최상위 값이며 동점도 포함합니다. 평가 방식이 다르면 별도로 순위를 매기며, 누락된 점수는 -로 표시합니다.
배포 가능 3 / 원본 행 7
해당 실험의 완전한 공개 추론 패키지가 확인되지 않았습니다. 이름이 같은 다른 가중치로 대체할 수 없습니다.
D16 · MSE · Syn · Rescale
논문 표 3: K는 지정한 음색 수입니다. 트랙을 최적으로 대응시킨 뒤 트랙별 F1을 계산합니다. 최소 세 번의 학습 평균이며 이 사이트의 체크포인트를 새로 측정한 점수가 아닙니다.
| 지표별 순위 | 모델 | BACH10 2 mix | BACH10 3 mix | BACH10 4 mix | URMP 2 mix | URMP 3 mix | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | F FS↑ | F S↑ | ratio↑ | ||
| 1 | Ours공개 가중치 · 추론 코드 | 83.4 | 84.6 | 99.0 | 77.8 | 80.1 | 96.7 | 66.2 | 72.7 | 89.9 | 68.9 | 66.8 | 82.6 | 58.5 | 60.0 | 77.1 |
| 2 | Share공개 가중치 · 추론 코드 | 82.1 | 83.0 | 98.4 | 76.1 | 78.9 | 96.6 | 68.5 | 72.8 | 91.0 | 69.0 | 68.3 | 84.6 | 57.2 | 57.5 | 74.1 |
| 3 | Tanaka공개 가중치 · 추론 코드 | 77.9 | 79.6 | 93.2 | 66.1 | 69.0 | 83.4 | 55.4 | 59.2 | 73.2 | 65.5 | 64.1 | 79.3 | 56.5 | 56.5 | 72.8 |
TelkNet 수정 기록 · 2026년 8월 13일
같은 전체 곡을 TelkNet과 공식 MuScriptor Large 0.3.0 엄격 모드에 각각 넣었습니다. 두 결과 모두 8개 파트와 6,560개 음표였고, 음표마다 파트·음높이·순서가 같았습니다. 이상은 약 182–222초에 집중됐습니다. 원본 오디오에는 중고역의 뚜렷한 유음정 선율이 남아 있는데, MIDI의 C4 이상 파트에는 약 40.31초의 공백이 생겼습니다. UI, BPM 처리, MIDI 편집기는 음표를 지우지 않았으며 공백은 공식 모델 출력에 이미 있었습니다. 원본 악보가 없어 정확히 몇 음이 빠졌는지는 알 수 없습니다.
TelkNet은 5초 구간 사이에 전달되는 악기 정보를 조정해 오인식이 다음 구간으로 퍼지는 것을 줄이고 구간을 잇는 지속음을 연결합니다. MuScriptor Large가 각 구간을 한 번씩 전사합니다.
이후 14곡으로 16회의 전체 작업을 실행했고 모두 정상적으로 끝났습니다. 첫 곡의 C4 이상 최장 어택 공백은 40.309초에서 1.970초로 줄었습니다. 두 번째 곡은 1,698개 음표·6개 활성 트랙·피아노 70.79%에서 2,279개 음표·8개 활성 트랙·피아노 50.77%로 바뀌었습니다. 두 곡을 각각 두 번씩 다시 실행한 파일은 바이트 단위로 같았습니다.


MuScriptor 템포 호환성
공식 기준은 Beat This final0와 자유 절편 최소제곱 적합으로 하나의 고정 BPM을 출력합니다. 비트가 고정 템포를 지지하지 않으면 strict 모드는 실패하고 best-effort 모드는 임시 120 BPM을 기록합니다. MIDI writer는 onset 지연을 보정하고 마디선을 downbeat에 맞추기 위해 모든 노트를 뒤로 이동합니다.
TelkNet은 같은 Beat This final0을 유지하며 자동 감지한 단일 BPM을 권장 기본값으로 계속 사용합니다. 사용자가 원곡의 템포 변화를 따르는 모드를 선택하면, 곡 전체 그리드가 감지된 박자에서 40 ms 이내일 때만 단일 BPM을 쓰고 그 밖에는 적응형 Tempo Map을 출력합니다. 수동 BPM도 선택할 수 있습니다. 퀀타이즈를 끄면 모델의 원래 노트 시간은 움직이지 않습니다.
| 비교 항목 | 공식 MuScriptor v0.3.0 | TelkNet v11 |
|---|---|---|
| 비트 검출 | Beat This final0를 사용합니다. | 동일한 Beat This final0를 사용하며 검출 모델을 교체하지 않습니다. |
| 출력 템포 그리드 | 자유 절편 피팅으로 하나의 고정 BPM을 출력합니다. 가변 템포에서는 strict가 실패하고 best-effort는 120 BPM을 기록합니다. | 최대 그리드 거리가 40 ms 이하일 때만 고정 BPM, 그 외에는 위상 제한 적응형 Tempo Map. |
| BPM 제어 | 현재 공식 CLI에는 수동 BPM이 없습니다. | 적응형, 자동 고정, 30~300 수동 BPM을 지원합니다. |
| 음표 시간축 | Onset 지연을 보정하고 마디선을 downbeat에 맞추기 위해 모든 음표를 뒤로 이동합니다. | 양자화가 꺼지면 모델 원본 음표 시간을 유지하고 마디 정렬 이동을 적용하지 않습니다. |

Beat This는 여전히 오디오 추정기입니다. 특이한 박자표, 어택이 약한 리듬, 루바토, 급격한 템포 변화, 하프타임 또는 더블타임 펄스 오판은 잘못된 그리드를 만들 수 있습니다. 자동 BPM은 알려진 정확한 값과 소수점 단위로 다를 수 있으므로 원본 BPM을 알 때는 ‘고정 · 수동 BPM’을 사용할 수 있습니다. 음표 퀀타이즈를 켜면 선택에 따라 음표 시간이 의도적으로 이동합니다. 템포 설정으로는 MuScriptor의 누락된 음표, 잘못된 음높이, 악기 및 트랙 이름 오류를 수정할 수 없습니다. 중요한 MIDI는 계속 DAW에서 원곡과 대조해야 합니다.