Разделение аудио на четыре стема: почему Huge-SCNet подходит цели MSS
Текущий инструмент TelkNet для четырех стемов использует Huge-SCNet-4stems V1.2, чтобы разделить полный микс на вокал, барабаны, бас и прочее. Статья объясняет выбор через историю MSS, сильные стороны и границы Mel-Band RoFormer, субполосное моделирование SCNet и публичные оценки.
РАЗБОР МОДЕЛИ / TelkNet
Текущий инструмент TelkNet для четырех стемов использует Huge-SCNet-4stems V1.2, чтобы разделить полный микс на вокал, барабаны, бас и прочее. Статья объясняет выбор через историю MSS, сильные стороны и границы Mel-Band RoFormer, субполосное моделирование SCNet и публичные оценки.
Архитектурный компромисс
Mel-Band RoFormer силен в деталях вокала благодаря mel-band и RoPE, но разделение на четыре стема должно также сохранять барабаны, бас и высокочастотные детали в прочем.
Маршрут SCNet использует субполосное моделирование и sparse compression, чтобы сбалансировать четыре стема. Поэтому Huge-SCNet-4stems V1.2 является текущей границей модели инструмента.
MVSep Ensemble полезен как ориентир верхнего качества, но его следует описывать как workflow нескольких моделей, а не как одну модель.
Источники
- huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree
- ZFTurbo pretrained models
- MVSep Multisong Leaderboard
- mvsep.com/algorithms/6
- mvsep.com/algorithms/49
- lucidrains/BS-RoFormer
- Kimberley Jensen Mel-Band Roformer Vocal Model
- Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
- sigsep.github.io/datasets/musdb.html
- SCNet
- github.com/thuhcsi/SCNet
- Mel-Band RoFormer
- BS-RoFormer
- HTDemucs