Fire-stem lydseparation: hvorfor Huge-SCNet passer til MSS-målet
TelkNets aktuelle fire-stem-værktøj bruger Huge-SCNet-4stems V1.2 til at dele et helt mix i vokal, trommer, bas og andet. Artiklen forklarer valget gennem MSS-arkitektur, Mel-Band RoFormer-styrker og begrænsninger, SCNet-subbandmodellering og offentlige fire-stem-tal.
MODELANALYSE / TelkNet
TelkNets aktuelle fire-stem-værktøj bruger Huge-SCNet-4stems V1.2 til at dele et helt mix i vokal, trommer, bas og andet. Artiklen forklarer valget gennem MSS-arkitektur, Mel-Band RoFormer-styrker og begrænsninger, SCNet-subbandmodellering og offentlige fire-stem-tal.
Arkitekturafvejning
Mel-Band RoFormer er stærk til vokaldetaljer via mel-band og RoPE, men fire-stem-separation skal også beskytte trommer, bas og højfrekvente instrumentdetaljer i andet.
SCNet-ruten bruger subbandmodellering og sparsom kompression til at balancere de fire stems. Derfor er Huge-SCNet-4stems V1.2 den aktuelle modelgrænse.
MVSep Ensemble kan bruges som kvalitetsloft, men bør beskrives som et multi-model-workflow og ikke som én model.
Referencer
- huggingface.co/Aname-Tommy/Huge-SCNet-4stems/tree
- ZFTurbo pretrained models
- MVSep Multisong Leaderboard
- mvsep.com/algorithms/6
- mvsep.com/algorithms/49
- lucidrains/BS-RoFormer
- Kimberley Jensen Mel-Band Roformer Vocal Model
- Mel-RoFormer for Vocal Separation and Vocal Melody Transcription
- sigsep.github.io/datasets/musdb.html
- SCNet
- github.com/thuhcsi/SCNet
- Mel-Band RoFormer
- BS-RoFormer
- HTDemucs