ElevenLabs Audio Isolation

Коротко

Разработчик

ElevenLabs

На входе

один файл от 5 секунд до часа: аудио MP3, WAV, M4A, AAC, FLAC, OGG, OPUS или видео MP4, MOV, WEBM

На выходе

только голос в MP3, той же длины, что исходник; у видео картинки в ответе нет

Настройки

одна, тип файла; задание писать не нужно

Русский язык

русскую речь чистит, язык записи указывать не нужно

Цена

0.4 ₽/сек.

Обычно готово

≈ 15 с после отправки

API

есть, документация

Убрать шум из видео и аудио: что вышло на наших записях

Чужие записи с живыми людьми мы не брали, поэтому все четыре шумных файла собрали сами из двух частей, голоса и шума, и у нас остался чистый голос для сверки. Тексты озвучили нейросетью xAI TTS v1, ею же — чужие голоса за кадром. Улицу и гул сгенерировали программой ffmpeg, музыку взяли из своих прошлых генераций, а смешали всё той же ffmpeg. Голос в каждой записи громче фона всего на 3–6 дБ: слова разобрать можно, но слушать утомительно. У каждой пробы мы замерили громкость там, где голоса ещё нет, и прогнали исходник и результат через распознавание речи. Ошибкой считали слово, которое распознавание поняло не так, как на той же фразе без шума.

Голосовое с остановки

Девушка записывает другу голосовое, что задерживается. Под голосом гудит улица, дважды проезжает машина, на девятой секунде сигналит другая. Текст, который она произносит, приводим целиком, чтобы было с чем сверять результат:

Улица ушла полностью. До первого слова громкость упала с −23 до −90 дБ, это цифровая тишина, а не приглушённый фон. Гудок тоже исчез. Но слова пострадали: на исходнике распознавание ошиблось в одном слове из 42, после очистки в восьми. «Около семи» превратилось в «ко весене», «купить что-нибудь» в «попичь ты не будь». Обе фразы звучат как раз тогда, когда проезжает вторая машина. Фон пропал, но если по записи нужно сделать субтитры или расшифровку, в этой пробе программе распознавания лучше было отдать исходник с шумом: в нём слов уцелело больше.

Планёрка в пустом зале: гул и эхо

Руководитель зачитывает план на неделю. Комната гулкая, с эхом, рядом гудит вентиляция, а под всем этим тянется низкий электрический фон 50 Гц, как от плохо заземлённого усилителя.

Гул и вентиляцию нейросеть убрала начисто: в паузах снова тишина, на спектрограмме нет ни полосы 50 Гц, ни её призвуков. Эхо между словами стало заметно короче. Зато с разборчивостью здесь хуже всего: ошибок стало 11 из 38 слов против двух на исходнике. Распознавание услышало «коробка по плану» вместо «коротко по плану» и «вернётся из опуска чеканницы» вместо «из отпуска четырнадцатого». Видимо, гул лежит на тех же низких частотах, что и мужской голос, и при чистке нейросеть срезала часть голоса вместе с ним. Если гул ровный, а эха нет, сначала сравните отрывок с DeepFilterNet3.

Ролик с дачи: речь поверх песни

Тип «Видео» мы проверили на ролике в 18 секунд: блогерша показывает участок, а из колонки поёт песня про рыжего кота. Песню мы взяли свою, из статьи о Suno, картинку тоже сделали нейросетью. Музыка в ролике тише голоса всего на 3 дБ.

Через 12 секунд пришёл MP3 той же длины, без картинки. Инструменты нейросеть убрала, а певицу оставила: голос же. В первые полторы секунды, где звучит одна песня, громкость почти не изменилась, и распознавание нашло строчку песни и в исходнике, и в результате. Речь блогерши при этом распознаётся чуть лучше, три ошибки вместо четырёх. Из этой пробы видно: музыку без слов Isolation убирает, а другой голос, будь то певец или телевизор, может остаться.

Кафе и запись без шума

Ещё две пробы без плееров. В кафе ведущий подкаста начинает выпуск, а за соседним столиком громко обсуждают парковку. Чужой разговор до первого слова ведущего стал тише на 18 дБ, но в тишину не ушёл, а после последнего слова фон пропал совсем. Ошибок распознавания стало шесть вместо трёх. Чистую запись без шума, десять секунд, нейросеть вернула без потерь: распознавание прочитало её слово в слово так же, как исходник. Выходит, чистой записи Isolation в нашей пробе не навредила, но и платить за неё тогда незачем.

Как это работает

Выберите Тип генерации: Аудио для голосового, диктофона или подкаста, Видео для ролика. Загрузите один файл длиной от 5 секунд до часа. Промпт, то есть текстовое задание, писать не нужно, других настроек нет. Сайт сам узнает длину файла и до запуска покажет сумму на кнопке Отправить.

Нейросеть находит в записи человеческую речь, а всё остальное вырезает: машины, гул, посуду, музыку. Наши 18-секундные файлы обрабатывались 10–18 секунд. Результат появится в ленте под формой и в разделе Мои результаты, где хранится 7 дней. Его можно скачать кнопкой Скачать. Повторить сразу запустит тот же файл ещё раз, а Изменить вернёт файл и настройки в форму. Из видео приходит только звук: чтобы ролик зазвучал чисто, поставьте MP3 в видеоредакторе вместо старой дорожки. Длина у них совпадает, сдвигать ничего не придётся.

Настройки: какой тип выбрать

Сколько стоит очистка

Платите за каждую секунду файла, секунда аудио и видео стоит одинаково. Поэтому перед длинной записью дешевле сначала проверить кусок на 20 секунд.

Для чего подойдёт Isolation

• Голосовое с улицы или из транспорта, которое нужно переслать или вставить в ролик.
• Видеоблог, снятый на телефон у дороги, в торговом центре или на даче, как в нашей пробе выше.
• Подкаст или интервью, записанные не в студии: гул кондиционера, вентиляция, холодильник.
• Запись онлайн-встречи или лекции, где фонит ноутбук или в комнате работает техника.
• Голос для монтажа: под чистую речь легче подложить свою музыку, например из нейросетей для звука.

Где Isolation ошибается и что делать

• Громкий шум может унести с собой часть слов: в трёх пробах из четырёх распознавание после очистки ошибалось чаще, чем на исходнике. Для субтитров и расшифровки загружайте в Расшифровку исходную запись, а очищенную оставьте для слушателей.
• Певец, диктор из телевизора или громкий собеседник за соседним столиком могут остаться: нейросеть ищет голос, а это тоже голос. Чтобы отделить вокал от музыки в песне, нужна «Разделить на дорожки». По словам разработчиков, на такую задачу Isolation не рассчитана.
• Протяжное пение она может обрезать: в инструкции про песню своим голосом Isolation приняла хвост протяжной ноты за шум и вырезала его.
• Чистится только звук. Зерно и шум на самой картинке нейросеть не трогает, а из видео возвращает один MP3.
• Результат только в MP3. Если для монтажа нужен WAV или FLAC, возьмите DeepFilterNet3: там формат выбирается.
• Один файл за запуск, до часа. Запись длиннее разрежьте на части.

Чем заменить, если не подошла

Как Isolation и DeepFilterNet3 справляются с одними и теми же записями, мы сравнили в разделе «Улучшение аудио». Другие нейросети разработчика собраны на странице ElevenLabs.

Вопросы про очистку голоса