Разделить на дорожки

Разделить на дорожки - нейросеть, которая делает две вещи в одном месте: 1) делит готовую песню на отдельные “стемы” (дорожки инструментов), 2) анализирует музыкальную структуру трека - темп (BPM), биты/доли и части вроде intro/verse/chorus/bridge/outro.

По заявлению авторов используемых компонентов, разделение на дорожки работает на проверенных моделях для source separation (Demucs и семейство моделей на базе MDX-Net через Python-Audio-Separator): это подход, который обычно применяют для караоке (вокал отдельно от минуса), ремиксов и быстрых “черновых” разборов аранжировки. А за анализ структуры отвечает модель “All-In-One Music Structure Analyzer” - она предсказывает темп, расставляет биты и даёт разметку частей песни (например, интро, куплет, припев).

Как это работает

Если объяснить по-простому, нейросеть “слушает” ваш файл и пытается:

• понять, какие звуки относятся к вокалу, какие - к ударным, какие - к басу, а всё остальное сложить в отдельную дорожку “other” (там обычно гитары, синты, эффекты и т.д.)
• определить, где в песне повторяются одинаковые куски (часто это припев), где начинается и заканчивается каждая секция, и какой у трека темп

В итоге вы получаете набор отдельных аудиодорожек и понимание, как песня устроена по частям.

Настройки

• Аудиофайл - загрузите песню в одном из форматов: mp3, wav, m4a, aac, flac, ogg, opus.

Для чего подойдёт

• сделать “минус” и “плюс”: отделить вокал от музыки для караоке или репетиций
• вытащить барабаны или бас, чтобы удобнее было разучивать партию на слух
• быстро прикинуть структуру песни: где интро, где куплеты и припевы - полезно для кавера, танцевальной постановки или монтажа видео “в долю”
• подготовить черновые дорожки для ремикса: например, оставить вокал и заменить инструментал

Ограничения

• стопроцентной “студийной чистоты” обычно не будет: иногда слышны артефакты (шуршание, “эхо”, странные призвуки) и “протечки”, когда кусочек барабанов попадает в вокал или наоборот
• дорожка “other” - это сборная солянка: гитары, клавиши, эффекты и часть гармоний часто оказываются вместе
• хуже всего часто даются низкие частоты и плотные миксы: бас может частично остаться в “other”, а в старых/шумных записях качество заметно падает
• разметка структуры - это оценка по звуку; в сложных песнях нейросеть может перепутать, где куплет, где припев, или поставить границы секций чуть “мимо”

Чем отличается от аналогов

Главное отличие - комбинация “два в одном”: многие инструменты делают либо только разделение на стемы, либо только анализ структуры (темп, доли, секции). Здесь это объединено: можно и дорожки получить, и сразу понять, как песня собрана по частям.