Как нейросеть разделяет музыку на вокал и инструменты

Нейросеть работает не с волной напрямую, а со спектрограммой — «фотографией» звука, где по горизонтали идёт время, по вертикали частота, а яркость показывает громкость. На такой картинке инструменты выглядят по-разному: бочка — короткие вспышки внизу, вокал — волнистые линии с характерными обертонами, тарелки — шумовая пыль вверху.

Раз звук стал картинкой, к нему применимы те же приёмы, что научили нейросети отличать кошек от собак на фото. Модель учится узнавать «почерк» каждого тембра и отмечать, какие участки спектрограммы кому принадлежат.

Дальше дело техники: модель строит маску — карту участков, принадлежащих голосу, — применяет её к миксу и превращает результат обратно в звук. Так из одной волны получаются несколько, хотя физически никаких слоёв в файле не было.

Обучение построено на парах «микс — отдельные дорожки». Берутся тысячи треков, у которых есть студийные исходники: модель получает готовый микс, предсказывает, как звучал вокал отдельно, и сверяется с настоящей вокальной дорожкой. Ошиблась — внутренние веса корректируются, и так миллионы раз.

Постепенно модель выучивает не конкретные песни, а сами тембры: как устроен человеческий голос, чем бас-гитара отличается от бочки, как звенит хай-хэт. Поэтому она справляется и с треками, которых никогда не слышала.

Старый способ убрать вокал — вычесть один стереоканал из другого, чтобы исчезло всё, что сведено по центру. Метод слепой: он не знает, что такое голос, и вместе с ним убивает бас и бочку, которые тоже обычно стоят в центре.

Нейросеть опирается на тембр, а не на положение в стереопанораме. Голос отделится, даже если он размазан по каналам, залит реверберацией или продублирован бэками, — а остальные инструменты останутся на своих местах.

Есть и другое следствие: инверсия умела только вычитать центр, а нейросеть решает любую из обратных задач — оставить один голос без музыки, вытащить только ударные или только бас.

Один и тот же механизм даёт разные инструменты: минусовку без голоса, чистую акапеллу или полный набор стемов — вокал, ударные, бас и остальное, до шести дорожек. Разница лишь в том, какие «маски» модель применяет к спектрограмме.

В AudioCensor на этом построена вся линейка разделения — от удаления вокала до караоке с синхронным текстом. Обработка занимает пару минут, работает в браузере, а файлы после обработки не хранятся.

Попробовать можно без риска: первая ИИ-обработка не требует ни регистрации, ни оплаты. Бесплатный лимит — трек до 5 минут и 50 МБ, с пакетом обработок — до 30 минут и выход в WAV, FLAC или MP3 320.

Демикс не восстанавливает то, чего в миксе почти не слышно. Если вокал утоплен под стеной синтезаторов, модели приходится достраивать спорные участки — отсюда лёгкие артефакты на плотных миксах: глуховатые призвуки, следы соседней дорожки.

Сложнее всего похожие тембры: перегруженная гитара и хриплый вокал делят одни частоты, а длинный хвост реверберации голоса физически размазан по всему спектру. На типичной студийной записи результат чистый, но на экстремальных жанрах его стоит проверить на слух.