MIDI에 대한 특수 오디오: 5가지 모델, 5가지 F1 시험지

자동 음악 전사

GAPS, FiloSax, FiloBass, VioPTT, SwiftF0 모두 MIDI를 출력하지만 입력 분포와 레이블, 매칭 허용 오차가 서로 다르다. 악기부터 먼저 라우팅하고, 비교는 해당 데이터셋 안에서만 해야 한다.

이벤트 F1

온셋 허용 오차 안에서 노트를 매칭한 뒤 P=TP/(TP+FP), R=TP/(TP+FN), F1=2PR/(P+R)로 계산한다. 오프셋까지 고려하는 매칭은 더 엄격하므로, 모든 F1에는 허용 오차와 매칭 정의가 함께 따라붙어야 한다.

세 가지 모델링 계열

GAPS는 깨끗하거나 분리된 기타 독주를 음표 이벤트와 MIDI로 변환합니다. 현 번호, 프렛, 연속 F0, Pitch Bend는 출력하지 않습니다. 원본 녹음과 비교하여 MIDI 벨로시티를 조절하세요. FiloSax는 단선율 재즈 색소폰 솔로를 대상으로 이산 음높이·시작·종료 이벤트를 MIDI로 내보냅니다. 연속 음높이, 슬라이드, 비브라토 궤적은 출력하지 않습니다. FiloBass는 단선율 재즈 더블베이스(double bass / upright bass)용이며 범용 베이스나 일렉트릭 베이스 모델이 아닙니다. 깨끗하거나 분리된 stem을 사용해야 하며 킥과 저역 누출은 잘못된 음표를 만들 수 있습니다. VioPTT는 바이올린 음표 이벤트와 détaché, flageolet, spiccato, pizzicato 네 기법 중 하나 또는 기법 없음 표지를 출력합니다. MIDI velocity는 고정값이며 실제 연주 강약 측정치가 아닙니다. SwiftF0는 단선율 연속 F0를 추적합니다. TelkNet가 윤곽을 음표로 나눠 MIDI, 프레임별 음높이 CSV, 도표를 출력합니다. 다성부 전체 믹스 전사기는 아닙니다.

처리 체인

깨끗하거나 분리된 기타 솔로, 재즈 색소폰, 재즈 더블베이스, 바이올린 솔로 또는 단선율 녹음을 해당 전문 모델로 보냅니다.

전사 기법은 어떻게 발전해 왔나

오디오-투-MIDI에는 모든 악기와 지표를 아우르는 단일 모델이 없다. GAPS는 기타를 겨냥하고, FiloSax와 FiloBass, VioPTT는 악기별 음역과 아티큘레이션을 활용하며, SwiftF0는 범용 피치 트래킹에 더 가깝다. 파일 형식이 같다고 해서 학습 분포까지 동등해지는 것은 아니다.

이 분야는 프레임 단위 피치 검출에서 온셋, 오프셋, 피치, 벨로시티의 결합 예측으로, 다시 완전한 노트 이벤트의 시퀀스 디코딩으로 옮겨 왔다. 진전은 F1 수치가 커진 데서뿐 아니라 반복 노트와 서스테인, 슬라이드, 비브라토 처리에서 드러난다. 허용 오차 창과 매칭 규칙이 다르다면 논문 점수는 여전히 서로 비교할 수 없다.

**GAPS 논문 데이터셋 구축 흐름도**YouTube 오디오와 기타 악보는 정렬, 수동 검증, 재정렬, 전사 필터링을 거친 뒤에야 전문 데이터셋이 된다.공식 출처: Figure 1 / figs/GAPS_flowchart.png

이벤트 전사는 온셋과 오프셋을 함께 채점해야 한다

F1=2PR/(P + R), P=TP/(TP + FP), R=TP/(TP + FN)

TP해당 논문의 허용 오차에 맞은 이벤트
FP초과 예측된 이벤트
FN놓친 이벤트

논문마다 참 양성의 정의가 다르다. 온셋 허용 오차만 요구하는 곳도 있고, 오프셋이나 피치, 주법까지 요구하는 곳도 있다. 매칭 규칙을 떼어 놓은 F1 값은 비교 대상이 아니다.

GAPS, FiloSax, FiloBass, VioPTT, SwiftF0는 겨냥하는 악기와 주석 수준이 서로 다르다. 서로 무관한 데이터셋에서 최댓값만 골라 합치는 것보다 올바른 라우팅이 훨씬 중요하다.

논문과 코드, 가중치는 Unified specialist runtime / GAPS paper / VioPTT를 통해 따라가 볼 수 있다.

**GAPS 논문 프렛보드 분포 히트맵**줄-프렛 조합의 롱테일 분포는 기타 전사를 하나의 총괄 이벤트 F1로 환원할 수 없는 이유를 보여 준다.공식 출처: figs/fret_heatmap.png

이벤트 정의가 일치한 뒤에만 비교하라

각 행은 출처별 아키텍처와 지표, 과제 정의를 그대로 유지한다. 공유 프로토콜이 없는 결과는 따로 놓고 본다.

모델	원본 또는 파생 출력	정확한 적용 범위
GAPS	MIDI · pitch/onset/offset	GAPS는 깨끗하거나 분리된 기타 독주를 음표 이벤트와 MIDI로 변환합니다. 현 번호, 프렛, 연속 F0, Pitch Bend는 출력하지 않습니다. 원본 녹음과 비교하여 MIDI 벨로시티를 조절하세요.
FiloSax	MIDI · pitch/onset/offset	FiloSax는 단선율 재즈 색소폰 솔로를 대상으로 이산 음높이·시작·종료 이벤트를 MIDI로 내보냅니다. 연속 음높이, 슬라이드, 비브라토 궤적은 출력하지 않습니다.
FiloBass	MIDI · pitch/onset/offset	FiloBass는 단선율 재즈 더블베이스(double bass / upright bass)용이며 범용 베이스나 일렉트릭 베이스 모델이 아닙니다. 깨끗하거나 분리된 stem을 사용해야 하며 킥과 저역 누출은 잘못된 음표를 만들 수 있습니다.
VioPTT	MIDI + technique CSV	VioPTT는 바이올린 음표 이벤트와 détaché, flageolet, spiccato, pizzicato 네 기법 중 하나 또는 기법 없음 표지를 출력합니다. MIDI velocity는 고정값이며 실제 연주 강약 측정치가 아닙니다.
SwiftF0	F0 CSV → note segmentation → MIDI	SwiftF0는 단선율 연속 F0를 추적합니다. TelkNet가 윤곽을 음표로 나눠 MIDI, 프레임별 음높이 CSV, 도표를 출력합니다. 다성부 전체 믹스 전사기는 아닙니다.

노트 이벤트를 귀로 검토하기

피아노는 서스테인과 반복 노트를 확인해야 하고, 색소폰과 바이올린은 슬라이드와 꾸밈음, 비브라토를 살펴야 한다. 베이스는 킥 드럼이나 낮은 배음과 쉽게 뒤섞인다. 신시사이저는 타이밍 오류를 숨길 수 있으니, 파형과 나란히 놓고 피아노 롤을 검사하는 편이 낫다.

이벤트 F1은 허용 오차 창에 따라 달라진다. 50 ms 온셋 매칭, 엄격한 온셋 매칭, 오프셋을 고려한 노트 점수, 프레임 F1은 각기 다른 질문에 답한다. 모델과 임곗값, 양자화 설정을 기록해 두면 결과를 다시 계산할 수 있다.

MIDI가 담지 못하는 음악 정보

MIDI는 기호 이벤트를 저장할 뿐, 원래의 음색이나 공간감, 터치를 보존하지 않는다. 믹스에서 발생한 악기 식별 오류는 편곡과 기보 단계까지 그대로 전파된다.

공유 데이터셋과 일치된 허용 오차 규칙 없이는 출처별 지표는 각각 따로 남을 뿐, 논문을 넘나드는 종합 우승자가 만들어지지는 않는다.

Unified specialist runtime의 논문과 공개 파일

모델 이름과 수치, 한계는 아래 논문과 저장소, 모델 카드로 거슬러 올라간다.