Demucs v3 색소폰 모델: 14.22dB 및 협대역 A/B

악기 분리 / 기술 노트

색소폰은 일정한 주파수 대역에 머무는 악기가 아니다. 기본 주파수, 리드 잡음, 배음, 공간 잔향은 보컬, 금관악기, 디스토션 기타와 겹친다. 이 체크포인트의 가치는 수작업 대역 통과 필터가 아니라 학습 데이터의 분포에서 나온다.

파형 재구성

식 x=s_sax+s_back에서 인코더는 시간축 해상도를 낮추고, 시퀀스 병목은 장거리 문맥을 교환하며, 디코더는 두 추정값을 업샘플링한다. 학습 목적을 간결하게 나타내면 다음과 같다.

L = ||ŝ_sax-s_sax||₁ + ||ŝ_back-s_back||₁ + λ||ŝ_sax+ŝ_back-x||₁

일관성 항은 믹스의 에너지가 사라지는 현상을 억제한다. 고음역, 긴 잔향, 리드 보컬과 동시에 이어지는 지속음은 여전히 누출될 수 있으며, 모델 보고서도 이러한 한계를 인정한다.

14.22 dB의 적용 범위

보고된 결과는 좁은 재즈 색소폰 데이터셋에서 약 14.22 dB SDR이며, 인용된 상용 Wind 기준선은 약 14.03 dB다. 작은 격차와 겹치는 변동 폭을 고려하면 이는 같은 표 안에서의 제한적인 비교만 뒷받침할 뿐, 장르와 음역을 아우르는 보편적 SOTA라는 표현을 뒷받침하지 않는다.

분리가 채보 연구에 등장하는 이유

이 연구는 Charlie Parker Omnibook 복원을 지원한다. 역사적 녹음에서 색소폰을 분리한 뒤 FiloSax로 채보한다. 고음역, 금관 유니즌, 강한 잔향, 디스토션 기타는 여전히 어렵기 때문에 누출은 후속 단계의 누락 음표 및 어택 시점 오류와 함께 살펴야 한다.

고정 소스에서 조건부 분리로

색소폰 특화 모델은 Demucs v3의 파형 인코더, 시퀀스 병목, 디코더를 유지하지만 성능 향상은 더 좁게 정의된 소스에서 나온다. FiloSax 데이터와 색소폰 전용 목적 함수가 모델 용량을 리드 잡음, 배음, 슬라이드, 반주와의 중첩에 집중시킨다. 체크포인트 파일 이름에는 14.22 dB SDR이 기록되어 있고, 모델 카드에는 고음역이 약점으로 명시되어 있다.

논문은 분리를 Charlie Parker와 Omnibook 연구 과정에 배치한다. 역사적 재즈 녹음에서 색소폰을 분리한 다음 FiloSax로 채보한다. 분리는 상위 단계 작업이다. 같은 표에는 LALAL.AI Wind의 14.03 dB 결과도 실려 있으며, 이 작은 격차는 비교를 뒷받침하지만 압도적 우위를 주장할 근거는 되지 않는다.

**Demucs 공식 하이브리드 Transformer 아키텍처**파형 및 스펙트로그램 분기, 교차 도메인 Transformer 인코더와 디코더는 원본 Demucs 저장소에서 가져왔다.공식 출처: demucs.png

파형 인코더가 두 스템을 재구성하는 방식

[ŝ_sax,ŝ_back]=D(B(E(x))), L=Σ_k ℓ(ŝ_k,s_k)

E파형 인코더
B양방향 시퀀스 병목
D목표 스템 디코더

인코더가 파형을 압축하고, 시퀀스 병목이 긴 문맥을 교환하며, 두 디코더 경로가 색소폰과 반주를 재구성한다. 특화 데이터는 모델 용량을 리드 잡음, 슬라이드, 재즈 반주와의 중첩에 집중시킨다.

14.22 dB와 14.03 dB 결과는 한 논문의 좁은 테스트셋을 공유하며 차이는 0.19 dB에 불과하다. 고음역, 금관 유니즌, 디스토션 기타는 여전히 카탈로그별 A/B 테스트가 필요하다.

논문, 코드, 가중치는 Demucs v3 색소폰 가중치 / 색소폰 분리 보고서 / Demucs 소스에서 확인할 수 있다.

**공식 후속 색소폰 악보 비교**위쪽 보표는 정답이고 아래쪽은 채보 결과다. 이는 분리 이후의 후속 검사를 보여 주는 것으로, 분리 스펙트로그램이 아니다.공식 출처: 3RfYc-Marmaduke-b1-7.png / 논문에서 Marmaduke로 표기된 그림 설명

색소폰 전사지의 버드 스코어 비교: 위쪽 행이 참값, 아래쪽 행이 셋잇단음표와 코드 표시를 포함한 표기 결과입니다. — **논문 그림 2: 새 전사 제어**이전 형식과 동일합니다. 윗줄은 진실값, 아랫줄은 전사입니다. 삼중항 밀도 측정에 주의하세요. 빠른 레가토에서는 분리 오류가 전사에 의해 증폭될 가능성이 가장 높은 곳이며, 두 줄 사이의 차이점을 여기에서 먼저 찾아야 합니다.공식 출처: vRfYc-TheBird-b41-both.png / The Bird라는 캡션이 붙은 종이 그림

동일한 스템 정의에서 비교 가능한 결과

각 행은 자체 소스 아키텍처, 지표 또는 작업 정의를 유지하며, 공통 프로토콜이 없는 결과는 서로 분리한다.

모델	아키텍처 또는 근거	범위
Demucs v3 + FiloSax	14.22 dB SDR	논문 표의 특화 모델 행
LALAL.AI Wind	14.03 dB SDR	같은 표의 상용 기준선
Mega53 saxophone	일치하는 표 수치 없음	같은 트랙의 청취 비교에만 사용

스템 청취와 믹스 일관성

고음, 강한 잔향, 금관 유니즌, 디스토션 기타는 흔한 누출 사례다. SDR 외에도 둔해진 어택, 반주에 남은 색소폰 잔향, 스템을 합쳤을 때의 믹스 일관성을 점검해야 한다.

Mega53 saxophone은 같은 트랙의 청취 비교에 사용할 수 있지만 논문 표에는 대응하는 행이 없다. 모델은 카탈로그와 악기 음역마다 다시 선택해야 한다.

데이터셋 스템 정의의 경계

테스트 자료는 재즈 색소폰에 치우쳐 있으며 모든 장르, 이펙트 체인, 색소폰 음역을 대표하지 않는다. 보고된 편차 역시 트랙별 변동이 상당함을 보여 준다.

특화 분리는 파형을 바꾸므로 법과학적 복원이 아니다. 리믹스나 데이터셋 작업에서는 원본과 처리 기록을 보존해야 한다.

Demucs v3 색소폰 가중치 관련 논문과 공개 파일

모델 이름, 수치, 한계는 아래 논문, 저장소 또는 모델 카드에서 확인할 수 있다.