Модель
AudioSep-Hive: разделение произвольных звуков с помощью текстового запроса.
Звукоразделение/технические примечания
Звукоразделение/технические примечания
СЕПАРАЦИЯ ЗВУКА / ТЕХНИЧЕСКАЯ ЗАМЕТКА
Сепаратор с фиксированными дорожками определяет пространство ответов ещё до инференса. AudioSep-Hive сначала читает описание — и уже по нему решает, какая составляющая смеси является целью.
Для x(t)=s(t)+n(t) текстовый энкодер выдаёт q=E_text(c). Сепаратор оценивает M=F(X,q) и восстанавливает Ŝ=M⊙X. Компактная запись целевой функции:
L = ||ŝ-s||₁ + λ[1-cos(E_audio(ŝ),q)]
Семантическое слагаемое размещает близкие по смыслу описания в непрерывном пространстве запросов. Неоднозначность оно не снимает: широкие формулировки, слабые целевые источники и пересекающиеся по смыслу описания остаются трудными случаями.
Опубликованный путь инференса — прежде всего моно 32 kHz. Он полезен для извлечения по текстовому запросу и исследований в открытой предметной области, но не заменяет производственные стереодорожки 44.1 kHz. Изменение описания меняет вектор условия и может сместить границу цели.
В 2023 году AudioSep представил сепарацию открытой предметной области по запросам на естественном языке. Hive развивает это направление за счёт семантически согласованного построения данных и экономного по данным обучения. Метод описан в статье, реализация набора данных — в репозитории Hive, опубликованные веса — в карточке модели.
Традиционные музыкальные сепараторы определяют вокал, барабаны и бас ещё до обучения. AudioSep соединил тексто-аудиальные представления CLAP с сепаратором, позволив задавать цели вроде сирены, тенор-саксофона или женской речи. Hive продолжает эту линию, расширяя слаборазмеченное аудио-текстовое покрытие для открытых категорий.
Открытый словарь не означает 283 независимых чекпоинта. Классы обучения дают акустическое и языковое покрытие; на инференсе меняется только текстовый вектор. Замена 'dog' на 'small dog barking behind music' сдвигает условие, но язык не способен создать границу разделимого источника, которой нет в самой смеси.
ŝ_q=iSTFT(Mθ(X,e_q)⊙X)XSTFT смесиe_qэмбеддинг текстового запросаMθмаска, обусловленная запросомЗапрос q встраивается в общее аудио-языковое пространство как e_q и задаёт условие для оценщика маски. 283 метки описывают покрытие обучения — это не 283 фиксированные выходные дорожки в одной задаче.
Один и тот же звук можно описать по-разному, а отрицание или указание отношений способны изменить результат. Зафиксируйте аудио, перефразируйте запрос и проверьте удержание цели, просачивание и согласованность со смесью.
Метод, код и веса можно отследить по ссылкам: Hive source / AudioSep-Hive weights / AudioSep paper.
Сравниваются входные контракты и валидация, а не баллы из несовместимых задач.
| Подход | Запрос | Главная проверка приёмки |
|---|---|---|
| AudioSep-Hive | цель на естественном языке | совпадает ли результат с запрошенным звуком |
| фиксированные музыкальные дорожки | предопределённые классы | перекрёстные просачивания и сохранение стерео |
| детекция звуковых событий | класс плюс временной интервал | локализует события, но не возвращает чистую форму волны |
Широкое существительное заставляет модель идти на компромисс между кандидатами; слишком длинное описание может потерять редкие уточнения. Начинайте со слышимого источника, затем добавляйте положение, регистр или действие вместо абстрактного описания сцены.
Путь открытых категорий — это в основном исследовательский инференс в моно 32 kHz, полезный для поиска, очистки и обнаружения. Фиксированные музыкальные стереодорожки 44.1 kHz остаются отдельной производственной задачей.
Сильно коррелированные источники, слабые цели и выраженная реверберация не получают единственную маску только потому, что различается их семантика. Соседние звуки сцены могут просачиваться в результат.
Языковой запрос сам по себе — экспериментальная переменная. При сравнениях смесь и модель должны оставаться неизменными, а проверять стоит удержание цели, просачивание нецелевых источников и согласованность смеси после обратного объединения.
Названия моделей, числа и ограничения отслеживаются по статьям, репозиториям и карточкам моделей ниже.