SFC-Locoformer：11.8 dB DnR 的自适应频谱压缩与对白边界
从可学习频谱压缩、局部—长程序列建模和同协议 SI-SDR 出发，解释为何公开的 medium checkpoint 成为影视三分离质量默认。
论文精读 / 影视声音分离
DnR 把节目混音拆成 dialogue、music、effects。三类信号经常在同一时间、同一频带出现，因此它比“检测到对白就切走背景”难得多。SFC-Locoformer、BandIt 与 TIGER-DnR 都处理这一任务，但频谱压缩方式、序列建模成本和公开评测证据不同。
影视声音分离经历了盲源分离、时频掩码、波形 U-Net 和频带序列模型几次转向。SFC-Locoformer 把频率轴压缩放在长程建模之前；论文中的 11.8 dB、作者实现、公开权重和社区训练版本则属于不同证据层，不能只凭架构名称互相替代。
1. 影视分离的前史：从统计独立性到可编辑 stem
早期盲源分离依赖独立成分分析、非负矩阵分解和稀疏先验，希望从统计结构中还原若干源。音乐与电影混音很快暴露了这些假设的局限：对白、配乐和环境声并不独立，混响让同一声源跨越大量时间帧，母带压缩又改变了各轨之间的能量关系。研究重点于是从寻找严格独立源，转向在已知 stem 定义下学习条件映射。
深度网络先把这项任务改写成时频掩码估计，随后 Wave-U-Net、Demucs 等波形模型用编码器—解码器和跳跃连接保住瞬态。DnR Challenge 提供 dialogue、music、effects 三轨数据后，电影声音第一次拥有相对稳定的共同测试场。BandIt、TIGER 与 SFC-Locoformer 都建立在这条历史上，只是分别把容量投向非均匀频带、计算效率与压缩后的长程上下文。
2. 从比赛系统到公开权重：同一架构会分出多条实现线
论文表格记录的是固定数据版本、模型尺寸和评测脚本下的研究结果。代码仓库公开网络类与推理方式，模型卡或 release 才说明哪一组参数可以下载。影视训练数据常受版权限制，社区训练者会用自己的对白、音乐和效果素材重新训练；损失权重、切片长度、混合增广与 overlap 由此产生新的声音取向。
SFC-Locoformer medium 的 11.8 dB 与 BandIt 的 10.9 dB可以在论文同表中比较，TIGER 的效率实验则属于另一组证据。后续权重即使使用相同类名，只要训练数据或配置变化，就不再自动继承这行数字。把论文、实现、checkpoint 和推理配置连成可追踪的发布链，是理解开源分离生态的必要步骤。
3. 实验解读：压缩率、上下文和 DnR 指标如何互相制约
频率压缩首先改变 token 数和每个 token 承载的谱范围。较高压缩率能让相同显存容纳更长片段，窄带谐波与高频瞬态也更容易在编码阶段混合。论文中的模型尺寸、压缩配置和片段长度是联合实验条件，不能只拿其中一个参数解释最终分数。
Locoformer 的局部模块处理对白齿音、鼓点和短时纹理，全局模块追踪配乐段落、说话场景和环境连续性。上下文变长时，模型更容易判断一段弱能量属于远景对白还是音乐尾音；推理切片过短则重新制造上下文缺口。overlap 主要平滑窗口边界，无法替代真正的长程建模。
SI-SDR 对整体增益做尺度对齐，再比较目标与误差能量，适合共同协议下的系统比较。它会把数分钟节目压成一个平均数，短暂的对白鬼影、金属齿音或脚步断裂可能只占很小权重。三轨均值还会掩盖某一 stem 明显较弱的情况。
DnR v2 的 11.8 dB 因而应被读作固定测试集上的总体位置。面向发行母版，还要考虑多声道折叠、对白闪避、限幅和响度处理。论文结果、公开 checkpoint 的复现与具体母版听感构成三层证据，任何一层都不能替另外两层下结论。
4. SFC 先压缩频率轴，再把预算交给长程结构
相邻 STFT 频点通常高度相关，直接把每个复数频点变成 token 会产生大量冗余。SFC 先在频率轴学习压缩表示 z=C(X)，序列模型在较短的 z 上处理局部与长程关系，解码端再用 D(z) 恢复各目标频谱。压缩率改变中间 token 数，输出仍覆盖原采样率的全部频带。
学习压缩与固定下采样的区别在于，C 可以根据训练目标保留对白谐波、配乐结构和瞬态所需的信息。压得过狠会让窄带细节互相混合，压得太少又失去计算优势。论文中的不同模型尺寸与压缩配置因此应视为联合设计，而不是任意替换。
Locoformer 在局部声学与全局节目结构之间往返
对白齿音和鼓点发生在几十毫秒内，配乐段落、环境连续性和说话场景却跨越数秒。Locoformer 将局部窗口中的精细交互与跨窗口的长程建模结合，让模型既能处理瞬态边缘，也能借助较长上下文判断某段能量属于对白还是音乐。
局部与全局模块的组合仍受切片长度影响。窗口太短时，长混响与弱对白缺少上下文；窗口太长会提高显存与延迟。推理 overlap 用相邻片段的重叠区域平滑接缝，能减轻边界断裂，却不能修复模型在整段上持续作出的错误归属。
11.8 dB 的来源链要保留到 checkpoint 层
SFC-Locoformer 论文表 II 在 DnR v2 协议下给出 medium 模型 11.8 dB SI-SDR，BandIt 同表为 10.9 dB。数字与模型尺寸、数据版本和评测脚本绑定。仓库提供代码说明实现公开，模型卡或发布文件说明具体权重可取得；只有名称相同而权重来源不同，不能沿用这行成绩。
社区重新训练可能采用更大的私有数据、不同增广、损失、批量和推理重叠，结果有机会更好，也可能只对某些母版优化。它仍属于 SFC-Locoformer 架构生态，却应标注训练者与 checkpoint。论文提出、作者发布和社区训练分别回答方法、可得性与实际权重来源。
影视三分离的下一步仍受 stem 定义约束
DnR 的三个输出适合再混音、对白提取和素材分析，但 effects 内部没有对象标签。要继续拆出脚步、车辆、雨声或观众声，需要对象级分离、文本条件分离或更细标注的数据。三轨 SI-SDR 的提升不会自动产生这种语义层级。
多声道节目还有声像与空间一致性问题。把每个声道独立分离可能造成中心对白漂移，折叠为单声道又丢掉空间信息。SFC 的公开 DnR 结果建立了清晰研究基线，面向电影母版的完整系统仍需说明声道策略、响度和后期处理。
5. 自适应频谱压缩写成一个算子
Z(t,k)=Σ_f A(k,f|X)·W_f·X(t,f)X(t,f)复数输入频谱A(k,f|X)随输入变化的频带聚合Z(t,k)送入序列模型的压缩表示
A 表示由输入频谱决定的聚合权重，并非固定删频规则。压缩后的 k 轴比原始频点少，Locoformer 因而能把更多计算留给跨帧对白、配乐与环境声。
解码器还要使用未压缩特征作为查询，把压缩表示投回每个目标频点。公式只概括信息流；仓库中的 CrossAttnEncoder、CrossAttnDecoder 与 adaptive query 给出了可复核实现。
论文、代码与权重可沿 SFC-Locoformer source / Released DnR checkpoint / SFC paper and DnR table 查阅。
6. 同一张表能说到哪里
SFC-Locoformer 与 BandIt 的数字来自同一测试协议。TIGER-DnR 公开的是另一组效率证据，因此不进入这张表的数值排序。
| 模型 | 公开结果 | 实验口径 |
|---|---|---|
| SFC-Locoformer medium | 11.8 dB SI-SDR | 同协议最高公开值；仍需检查对白边界 |
| BandIt | 10.9 dB SI-SDR | 同协议频带基线 |
| TIGER-DnR | 另列效率证据 | 不与缺少同表结果的行混排 |
7. 从论文模块到可复现实验，发布链里还有四个关口
SFC 论文首先提出的是可插入分离器的频谱压缩模块，仓库随后给出 CrossAttnEncoder、CrossAttnDecoder、Mamba 版本和 BandIt split 等实现。它们回答“压缩如何写进网络”，并不自动指定训练语料、目标 stem 或最终 checkpoint。TF-Locoformer 分离器把模块接进完整网络后，才形成可以训练和评测的系统。
官方仓库分别准备 MUSDB18-HQ 与 DnR recipe。前者是人声、鼓、贝斯、其他四轨音乐分离，后者是对白、音乐、效果声三轨影视分离；同一压缩模块跨过两个任务，并不意味着两个分数可以合并。数据准备还包含源活动检测和切片写入 HDF5，这些步骤会改变模型见到的静音比例与有效片段分布。
训练目录保存逐轮 checkpoint，评测脚本既可以读取单个权重，也可以平均目录中的多个 checkpoint。默认推理片段为 12 秒、位移为 6 秒，重叠用于缓和接缝。若复现者改成更短片段、不同位移或只取最后一轮权重，结果已经偏离论文 recipe；即便网络类完全相同，也应单独记录配置。
公开权重同时覆盖音乐与 DnR，许可文件还区分仓库自身代码和改编自 BandIt、TF-Locoformer、ESPnet 的组件。可下载、可运行、可再分发是三件不同的事。严谨的结果记录至少应留下任务数据集、模型目录、checkpoint 选择方式、片段与位移、采样率和三条 stem 的逐轨听检，才能把“用了 SFC”落到可复查的实验上。
结语：压缩频谱的意义在更长的节目结构
SFC-Locoformer 有效压缩相邻频率中的冗余，把更多序列容量留给对白连续性、配乐段落和环境尾音。它延续了频带建模对音频统计结构的利用，又把局部与全局上下文放进同一架构。
公开数字说明它在 DnR v2 协议中的位置，不能替代多声道母版、强限幅节目和对象级效果声上的独立研究。三轨输出仍受数据集 stem 定义约束；模型、权重与使用场景需要分别说明。
对白轨先听齿音、呼吸和远距离台词。SI-SDR 对整体增益不敏感，却可能放过轻微的金属声和空间尾音损失。音乐轨要检查对白是否以“鬼影”形式残留；effects 轨则要保住门响、脚步和环境底噪的连续性。
节目混音还常带有限幅、对白闪避和多声道折叠。论文的 DnR 测试条件无法自动代表所有发行母带；比较 SFC、BandIt 与 TIGER 时，应固定同一段素材，并分别检查对白边缘、配乐串音和环境声连续性。
DnR 的 effects 是一个宽泛容器。雨声、车辆、掌声和拟音会被合在同一输出中，无法据此宣称完成了对象级声音分解。
公开 checkpoint 的许可条款属于模型来源信息。研究复现、产品集成与权重再分发的权利并不相同，实际使用仍以模型卡和仓库许可证为准。