DeepFilterNet3

Коротко

Разработчик

Хендрик Шрётер с соавторами, открытая модель 2023 года

На входе

один аудиофайл MP3, WAV, M4A, AAC, FLAC, OGG или OPUS до 10 минут

На выходе

та же запись той же длины, 48 кГц, в одном из 7 форматов

Что убирает

ровный гул, шипение, сетевой фон, шум улицы и машин

Русская речь

чистит, мы проверили на шести записях

Задание

не нужно, только файл и формат

Цена

0.2 ₽/сек.

Обычно готово

≈ 35 с после отправки

API

есть, документация

Что она делает с шумом: три пробы

Получится ли очистить голос от шума без потерь, мы проверяли на своих записях, чужие голоса не брали. Две фразы озвучили в xAI TTS v1 мужским и женским голосом, шум сделали в бесплатной программе ffmpeg и наложили сверху, а чистый голос сохранили, чтобы было с чем сверять. Каждую запись до и после мы прогнали через распознавание речи и замерили, насколько тише стал шум в паузах. Вот что звучит в записях.

Гул вентилятора

Низкий ровный гул, как от напольного вентилятора или системного блока, который стоит под столом в метре от телефона и по громкости почти не уступает голосу. Первые полторы секунды записи слов нет, звучит один шум.

В паузах гул стал тише на 44 дБ, то есть практически пропал. Голос при этом стал тише исходного всего на полтора децибела. Распознавание на исходнике разобрало всё слово в слово, а после чистки ошиблось в трёх местах: «молчит» стало «молчал», «правильно?» — «правильно ли?», «с книгами» — «с книгой». Смысл не пострадал, но, если запись пойдёт в расшифровку, прослушайте спорные места.

Шипение и сетевой фон

Так звучит старый диктофон или микрофон, воткнутый в ноутбук на зарядке: высокое шипение плюс гудение электросети на 50 Гц. Голос здесь заметно громче шума. Результат в этот раз мы взяли в WAV, чтобы проверить файл.

Лучший результат из всех проб. Гудение на 50 Гц упало на 44 дБ, шипение в паузах тоже ушло. Распознавание после чистки разобрало каждое слово и даже «хивус» написало правильно, хотя на исходнике слышало «Хевусе». Пришёл WAV на 48 кГц, 16 бит, моно, по длине совпал с исходником до миллисекунды. На странице мы показываем его копию в MP3: так быстрее грузится.

Улица: шум то нарастает, то стихает

Самая трудная из обычных проб. Шум похож на машины, которые проезжают под открытым окном: он накатывает волнами каждые пять-шесть секунд, на пиках перекрывает голос, а потом почти стихает. Голосовое то же.

Паузы опять чистые, шум в них упал на 44 дБ, а вот слова на пиках шума модель задела. На исходнике распознавание ошиблось один раз («коробки снега» вместо «коробки с книгами»). После чистки ошибок стало шесть: «молчал», «в квартирах», «этапе» вместо «этаж», «спустимся», а конец фразы превратился в «две тяжёлые дороги скидят». С такими записями держите исходник под рукой.

Как это работает

Загрузите запись в поле Аудио, выберите Формат результата и нажмите Отправить. Длину записи сайт определит при загрузке, и цена за её секунды появится на кнопке ещё до запуска. Писать задание не нужно.

Внутри модель делит звук на полосы частот и для каждого мгновения решает, сколько в полосе голоса, а сколько шума, а потом убирает лишнее. По словам разработчиков, она учитывает, как человек слышит речь, и работает так быстро, что успевает чистить звук на ходу даже на обычном ноутбуке без видеокарты, на одном ядре процессора. Наши записи по 15–20 секунд были готовы за 10–40 секунд.

Чистая запись придёт в ленту под формой, а в разделе Мои результаты пролежит 7 дней: заберите её кнопкой Скачать или сохраните в библиотеку. Захотели другой формат — нажмите Изменить, и та же запись с настройками встанет обратно в форму. Повторить сразу запустит ту же чистку ещё раз.

Настройки: в каком формате забрать запись

Настроек силы шумоподавления в форме нет: модель решает сама. Выбирать приходится только, в каком виде получить файл.

Битрейт показывает, сколько данных уходит на секунду звука: больше — чище и тяжелее файл. Для WAV и FLAC поле пропадает: они хранят звук без потерь. Частота у результата всегда 48 кГц, как в видео: наша запись с музыкой пришла на 44,1 кГц, а вернулась на 48 кГц. Стерео осталось стерео, моно — моно.

Сколько стоит очистка записи

Платите за длину записи: формат и битрейт на цену не влияют. Начатая секунда считается целой.

Длинную запись не отправляйте целиком сразу. Вырежьте 15–20 секунд с самым шумным местом и проверьте на них: так за небольшие деньги станет ясно, подходит ли модель вашему шуму.

Где модель не справится

Шум громче голоса

Тот же подкаст мы утопили в гуле вентилятора, который громче голоса на 5 дБ. Распознавание на исходнике ещё вытаскивало половину слов, «18-й выпуск», «прозрачный», «в феврале». После чистки гул ушёл, но голос стал тихим и смазанным, и распознавание не нашло в нём ни одного слова.

Когда голос тонет в шуме, чистка его, судя по этой пробе, не вытащит. Такую запись лучше переписать ближе к микрофону, а если нельзя, попробуйте ElevenLabs Audio Isolation на коротком отрывке.

Эхо комнаты

Чистую запись подкаста мы пропустили через эффект пустого зала: к голосу добавились отражения, которые тянутся почти секунду.

Хвост эха после последнего слова модель срезала, общая громкость упала примерно на 8 дБ. Но внутри фраз отражения остались, и распознавание стало ошибаться чаще, чем на исходнике: вместо «18-й выпуск» услышало «последний», вместо «штатив» — «штатин». От гулкой комнаты модель в нашей пробе не спасла.

Музыка под речью

Рассказ экскурсовода, под которым играет спокойная музыка, мы взяли из статьи про «Разделить на дорожки».

Протяжные ноты под голосом в основном пропали, речь распозналась целиком, вплоть до «750 мм». Но во вступлении, где звучит одна музыка, она стала тише всего на 12 дБ и слышна. Чтобы убрать музыку начисто, нужна «Разделить на дорожки»: она отдаёт голос отдельной дорожкой.

Что ещё учесть

• Видео форма не принимает. Сохраните звук ролика в MP3 или M4A, а почищенную дорожку поставьте обратно в видеоредакторе.
• Запись длиннее 10 минут придётся разрезать на части.
• Слово, которое шум заглушил целиком, модель не восстановит.
• Модель сделана для речи. Как она поведёт себя с пением, мы не проверяли, а для песен есть «Разделить на дорожки».

Для чего подойдёт: шесть случаев

• Голосовое, записанное рядом с вентилятором, кондиционером или системным блоком, как в первой пробе.
• Старые записи с диктофона, где шипит плёнка или гудит сеть.
• Подкаст или урок, записанный на микрофон ноутбука: гул кулера уходит, голос остаётся.
• Дорожка для монтажа: WAV на 48 кГц сразу совпадает с частотой видео.
• Запись перед расшифровкой, если шум ровный. При шуме волнами сначала расшифруйте исходник, а потом сравните.
• Заготовка для клонирования голоса: чистый образец без фона, как в инструкции про клон голоса.

Пошаговый разбор чистки старых записей есть в инструкции о фоновом шуме.

Чем ещё почистить запись на сайте

Обе нейросети для чистки речи мы сравнили на одних и тех же записях из кафе и квартиры в статье «Улучшение аудио».

Вопросы о DeepFilterNet3