Beat This!: DBN 엔딩 없는 비트 추적
음악 정보 검색/논문 해석
음악 정보 검색 / 기술 노트
비트 추적은 박이 언제 발생하는지를 묻는다. 음표 채보는 어떤 악기가 어떤 음높이를 연주했는지를 묻는다. Beat This!는 첫 번째 문제를 해결하며, 과거 동적 베이지안 후처리에 맡겼던 구조의 상당 부분을 학습된 시퀀스 모델 안으로 가져온다.
이동을 허용하는 지도 학습
사람이 표시한 비트 주석은 샘플 단위 정밀도에서 일치하지 않는다. 목표 임펄스 y_t와 프레임 확률 p_t가 있을 때, 일반적인 프레임별 BCE는 불과 몇 프레임 밀렸지만 음악적으로는 타당한 예측까지 벌점 처리한다. 이동 허용 목적함수를 간결하게 나타내면 다음과 같다.
L_shift = min_{δ∈[-k,k]} BCE(p_t, y_{t+δ})
이 허용 범위는 학습에 속하며, 사후에 그리드에 강제로 맞추는 연산이 아니다. 비트와 다운비트 헤드는 시퀀스 표현을 공유하지만, 더 드문 다운비트에는 여전히 별도의 의사결정 경로가 필요하다.
DBN을 주 경로 밖으로 옮기기
고전적인 시스템은 DBN으로 템포 연속성과 박자 전환을 강제한다. Beat This!는 데이터셋에 맞춰 조정한 그 단계를 거치지 않고도 주 모델이 안정적인 비트 및 다운비트 시퀀스를 만들 수 있음을 보여 준다. 초 단위 비트 이벤트, 다운비트, 간격에서 계산한 BPM은 서로 다른 세 가지 출력으로 남는다.
재현 가능한 검수
공식 final0.ckpt는 SHA-256으로 고정되며 작업은 오프라인에서 실행된다. 최종 모델은 학습 중 여러 공개 비트 데이터셋을 보았으므로, 그 데이터셋에서 얻은 점수는 낙관적일 수 있다. 따라서 검수에는 실제 완곡도 포함하며, DAW 그리드, 슬라이싱, 후속 MIDI 양자화에 쓸 원시 타이밍 표를 내보낸다.
채보 방법은 어떻게 발전했는가
전통적인 비트 추적은 신경망으로 활성값을 예측한 뒤 동적 베이지안 네트워크가 시퀀스를 선택하게 한다. Beat This는 더 강한 시퀀스 모델링과 이동 허용 지도 학습을 사용해 안정적인 비트와 다운비트를 직접 생성하며, DBN을 기본 경로 밖으로 옮긴다.
후처리를 없앤다고 음악적 사전 지식까지 사라지는 것은 아니다. 박자, 템포 범위, 주석 스타일은 여전히 데이터에 남아 있다. ISMIR 결과는 데이터셋과 지표별로 읽어야 하며, 루바토, 드럼 없는 구간, 복합박자는 여전히 롱테일 사례다.
이동 허용 손실은 주석 경계를 다룬다
L_shift=min_{|δ|≤Δ} BCE(ŷ_t,y_{t+δ})δ허용되는 작은 프레임 이동Δ주석 허용 오차 창BCE활성값에 대한 이진 교차 엔트로피
사람이 표시한 비트 주석은 몇 프레임씩 다를 수 있다. 이동 허용 지도 학습은 작은 정렬 창을 탐색해 주석 흔들림에 대한 벌점을 줄이면서도 곡 전체가 임의로 밀리는 것은 허용하지 않는다.
비트, 다운비트, BPM, MIDI 음표는 서로 다른 출력이다. 예측을 파형과 마디 그리드 위에 겹쳐 반/두 배 템포, 못갖춘마디, 드럼 없는 구간을 점검한다.
논문, 코드, 가중치는 Beat This 소스 코드 및 가중치 / ISMIR 2024 논문에서 확인할 수 있다.
이벤트 정의가 일치한 뒤에만 비교한다
각 행은 출처의 아키텍처, 지표 또는 작업 정의를 그대로 유지하며, 공통 프로토콜이 없는 결과는 분리한다.
| 모델 | 아키텍처 또는 근거 | 범위 |
|---|---|---|
| DBN 없는 Beat This | 엔드투엔드 비트 및 다운비트 | 기본 경로와 장시간 안정성 |
| 선택형 후처리를 적용한 Beat This | 특수 템포 제약 | 숨은 변경을 막기 위해 파라미터 기록 |
| 활성값과 DBN | 명시적 템포/전환 사전 지식 | 견고하지만 잘못된 템포에 고정될 수 있음 |
음표 이벤트 청취 검토
예측을 파형과 마디 그리드 위에 겹쳐 반/두 배 템포, 못갖춘마디, 템포 변화, 드럼 없는 구간을 점검한다. 평균 F-measure는 곡 전체가 한 박 밀린 문제를 숨길 수 있다.
이동 허용 손실은 주석 경계 근처에서 합리적인 그래디언트를 제공할 뿐, 타임스탬프의 임의 이동을 허가하지 않는다.
MIDI가 보존하지 못하는 음악 정보
비트 시점만으로는 완전한 악보가 되지 않는다. 구간 분할, 그루브, 스윙 비율, 박자 변화에는 더 높은 수준의 분석이 필요하다.
데이터셋마다 창, 연속성 규칙, 다운비트 가중치가 다르므로 순위에는 반드시 프로토콜 이름을 남겨야 한다.
Beat This 소스 코드 및 가중치의 논문과 공개 파일
모델 이름, 수치, 한계는 아래 논문, 저장소 또는 모델 카드에서 확인할 수 있다.