모델
BandIt 및 TIGER-DnR: 영화와 TV의 3트랙 분리 계산 할당을 위한 전쟁
영화 및 TV 사운드 / DnR
영화 및 TV 사운드 / DnR
© 2026 텔크넷. 판권 소유.
시네마틱 오디오 / DnR
시네마틱 분리는 세 가지 넓은 소스 계열이 긴 구간 동안 공존하는 상태를 그대로 지켜 내야 한다. BandIt은 비균일 스펙트럼 밴드에 용량을 투입하고, TIGER는 더 효율적인 시퀀스 모델을 추구한다.
추정치를 레퍼런스에 투영하고, s_target=<ŝ,s>s/||s||², 그다음 SI-SNR=10log10(||s_target||²/||ŝ-s_target||²)을 계산한다. 게인은 제거되지만, 트랜지언트 번짐과 공간 손상은 여전히 청취 테스트로 확인해야 한다.
BandIt은 비균일 밴드로 정보 밀도가 높은 영역을 모델링하고 밴드 사이에서 정보를 주고받는다. 동일 프로토콜 비교에서 보고된 값은 10.9 dB로, 공개된 SFC-Locoformer medium 체크포인트의 11.8 dB에 못 미친다. 그래서 BandIt은 기본 모델이 아니라 아키텍처 비교 대상으로 남아 있다.
TIGER-DnR은 해당 DnR 맥락에서 약 9.8 dB로 보고되며 효율적인 시간–주파수 상호작용을 강조한다. 이 숫자는 명시된 프로토콜과 함께일 때만 의미가 있으며, 속도와 라이선스, 분리 품질은 각각 별개의 축이다.
DnR은 대화, 음악, 효과음을 시네마틱 분리의 공통 목표로 자리 잡게 했다. BandIt은 비균일 주파수 밴드를 모델링하고, TIGER는 긴 시퀀스의 비용을 줄인다. 둘은 서로를 대체하기보다 서로 다른 엔지니어링 질문에 답한다.
이후 SFC-Locoformer는 BandIt이 10.9 dB를 보고한 같은 DnR v2 표에서 11.8 dB를 보고한다. TIGER의 공개 근거는 효율성과 별도 실험에 무게를 둔다. 일치하는 행이 없는 한 TIGER는 선택 가능한 모델일 뿐, 임의로 만들어 낸 리더보드 순위가 아니다.
h_b=Enc_b(X[F_b,:]), Ŝ=Dec({h_b}_{b=1}^B)F_b밴드 b의 주파수 빈Enc_b밴드 안쪽 인코딩Dec밴드 간 재구성BandIt은 복소 스펙트럼을 비균일 밴드로 나눈 뒤 밴드 안팎에서 정보를 교환한다. TIGER는 더 저렴한 시퀀스 표현을 강조한다. 둘 모두 DnR 스템을 출력하지만 연산을 쓰는 방식은 다르다.
분할 방식, 샘플 레이트, 스템 정의, 메트릭 구현이 일치할 때만 숫자를 나란히 놓을 수 있다. 일치하는 프로토콜 없이 다른 표를 빌려 오는 것보다 TIGER 칸을 비워 두는 편이 더 엄밀하다.
논문과 코드, 가중치는 BandIt / TIGER / DnR 비교를 통해 따라갈 수 있다.
각 행은 원래의 아키텍처와 메트릭 또는 과제 정의를 그대로 유지하며, 공통 프로토콜이 없는 결과는 별도로 남겨 둔다.
| 모델 | 아키텍처 또는 근거 | 범위 |
|---|---|---|
| SFC-Locoformer medium | 11.8 dB SI-SDR | 같은 DnR v2 표의 현재 품질 기준 |
| BandIt | 10.9 dB SI-SDR | 동일 프로토콜 밴드 분할 기준선 |
| TIGER-DnR | 효율성 근거는 별도로 제시 | 일치하는 표 행이 없으면 순위를 매기지 않음 |
대화에서는 치찰음과 숨소리, 멀리서 들리는 대사를 듣고, 음악에서는 음성 잔향과 손상된 퍼커션을, 효과음에서는 발소리와 문소리, 앰비언스의 연속성을 확인한다. 평균 SI-SDR이 이런 청취 검사를 대신해 주지는 않는다.
납품용 마스터에는 더킹과 리미팅, 채널 폴드다운, 라우드니스 처리가 들어 있다. 논문의 모노 프로토콜은 재현 가능한 기준선이지 모든 마스터는 아니다. 파일과 모델 메타데이터가 있어야 트랙 단위 A/B가 가능해진다.
효과음은 발소리나 빗소리, 교통 소리, 박수 소리가 아니라 여전히 넓은 컨테이너에 가깝다. 세 개의 스템은 객체 수준의 소리 이해가 아니다.
공개된 점수는 데이터셋 버전과 샘플 레이트, 연산량에 따라 달라진다. 모든 리더보드 행은 메트릭 방향과 프로토콜, 출처를 그대로 유지한다.
모델 이름과 숫자, 한계는 아래 논문과 저장소, 모델 카드로 거슬러 올라간다.