AudioSep-Hive：文本如何成为任意声音分离器的查询向量

4. AudioSep 如何把一句查询变成目标掩码

传统音乐分离预先规定 vocals、drums、bass 等类别，网络输出头与训练 stem 一一对应。环境声音没有这么稳定的清单：同一段录音里，用户可能要“远处警笛”“正在说话的孩子”或“左侧连续滴水声”。文本引导分离把类别头改成语言条件，让同一个模型按描述选择目标。

这条路线的历史来自声音事件识别与音文对齐。大规模音频—文本模型先把描述和声音映射到共同嵌入空间，分离器再把查询向量注入掩码估计。模型由此获得开放词汇能力，同时继承了语言嵌入的模糊性：近义词、抽象场景和训练中少见的修饰语都会改变目标边界。

AudioSep 如何用文本控制时频掩码

给定混合音频 m 与文本 q，文本编码器产生 e_q，音频编码器提取时频特征 H(m)。分离网络估计条件掩码 M=F(H(m),e_q)，再由 M⊙STFT(m) 重建目标波形。语言条件并不直接产生声音，而是在每个时频区域改变“更像目标还是背景”的判断。

当两个声源共享相近频率与时间结构时，语义不同也不保证可分。两个人同时说话、发动机与低频音乐重叠、雨声覆盖所有频带，都会让一个时频单元同时包含多种来源。模型可以利用长时上下文改善归属，却无法绕过混合观测本身的信息不足。

Hive 扩展的是查询与声景的覆盖面

开放类别分离需要比固定 stem 更丰富的训练对。真实录音往往只有整段文字说明，没有干净目标波形；合成混合可以提供精确监督，声音种类和场景又容易过于规整。Hive 路线通过更大规模、多来源的数据组织扩展声景与文本表达，使模型看到同一声音的不同说法和不同背景。

数据扩展也会带来标签噪声。字幕可能只描述最显眼事件，弱声音没有被写出；网络标签可能过于宽泛；合成混合的响度与空间关系不符合真实场景。模型学到的开放词汇能力由这些数据分布塑造，不能从词表很大直接推导出任意描述都能精确分离。

查询语义本身就是实验变量

“狗”“近处吠叫的狗”和“公园里的动物声音”可能对应不同范围。第一种指向对象，第二种增加动作与距离，第三种可能把鸟鸣和环境声一起纳入。若每个模型使用不同提示，结果差异同时包含语言理解与声学分离，无法归因于分离器本身。

开放词汇结果应保留原混合、准确查询和输出波形。SDR 类指标需要干净参考，真实录音常没有这样的真值；此时可以分析目标保留、非目标残留和与原混合的关系，却不能把主观“听起来更干净”换算成论文同名分数。

开放词汇分离仍继承了早期掩码网络的骨架

音频分离长期围绕时频掩码发展：先估计每个声源占据的比例，再与混合谱相乘重建。深度聚类曾把每个时频单元映射到嵌入空间，PIT 解决输出顺序不确定，条件分离则加入类别标签。文本引导是这条历史的延伸，把固定类别向量替换为可组合的语言表示。

语言条件扩大了目标集合，却没有改变混合相位、强重叠和静音目标等基本难题。查询的声音根本不存在时，模型仍可能从背景中找出最相近的模式；目标极弱时，也可能输出带有大量非目标能量的波形。系统需要表达不确定性，而不是始终返回一个看似确定的声源。

训练混合常把两个独立片段按随机响度叠加，真值清楚但缺少共同房间与物理互动。真实场景中的反射、遮挡和自动增益会让声源相关。Hive 等数据扩展提高多样性后，合成与真实分布的距离仍是研究重点。

文本条件分离适合检索、素材发现和开放场景分析，固定音乐 stem 更适合稳定的制作合同。二者可以共享掩码与重建技术，训练目标和输出承诺不同。将开放词汇模型描述成任意对象的干净提取器，会超过论文证据。