VEED Lipsync

Коротко

Разработчик

VEED, онлайн-видеоредактор

На входе

видео MP4, MOV или WebM и запись MP3, WAV, M4A, AAC, FLAC, OGG или OPUS, каждый файл от 1 секунды до 10 минут

На выходе

MP4 длиной с запись, кадр уменьшается: в наших пробах короткая сторона вышла 464 пикселя

Настройки

нет, только два файла

Русский язык

губы подстраивает под русскую речь, но голос не создаёт: запись нужна ваша

Цена

5 ₽/сек.

API

есть, документация

Перевод с английского: проба на коротком ролике

Задача этой нейросети — синхронизация губ на видео, которое уже снято: она берёт лицо из вашего ролика и перерисовывает рот под новую запись, остальной кадр не трогает. По-английски это называют lip sync, у нас чаще говорят «липсинк».

Проверяли мы её на том же исходнике, что и остальные нейросети для губ на сайте. В ролике 1280×720 выдуманный столяр Пётр рассказывает по-английски про табуретку: лицо ему нарисовала Nano Banana 2 Lite, а заговорил он в Grok Video 1.5. Английский звук мы убрали, оставили 4 секунды картинки и добавили русскую фразу на 3,8 секунды. Её прочитал голос Bill в ElevenLabs v3:

Ролик пришёл через 83 секунды после отправки. Видео было длиннее записи, и нейросеть обрезала его по звуку: результат длится те же 3,8 секунды. Программа распознавания речи нашла в нём нашу фразу без единой ошибки.

Губы мы проверили по кадрам. На «П» в «Пётр» и на «б» в «собрал» рот закрыт, как и должно быть, в паузе после имени и после последнего слова тоже. Артикуляция сдержанная: на «ё» рот лишь слегка приоткрыт, зубов почти не видно. Для спокойного рассказа в камеру это скорее плюс, а для крика или песни такой артикуляции, скорее всего, не хватит: их мы не проверяли.

Слабее картинка. Из 1280×720 получилось 832×464, борода на крупном плане стала мягче, а губы чуть розовее, чем в исходнике. На телефоне это почти не заметно, на экране ноутбука уже бросается в глаза.

Этот же ролик с той же фразой мы прогоняли через Sync Lipsync 2.0, PixVerse Lipsync и Kling LipSync, так что их результаты можно сравнить на страницах этих нейросетей.

Запись длиннее ролика

Настроек длины в форме нет, поэтому мы проверили, что будет, если звук длиннее видео. Взяли вертикальный ролик 400×736 на 5 секунд, его мы раньше сделали на сайте для пробы PixVerse Lipsync тем же способом, что и Петра. Выдуманная героиня в жёлтой куртке снимает себя на ходу, а в середине поворачивает голову к клёнам. Фразу на 6,2 секунды озвучили в ElevenLabs v3 голосом Bella:

Ролик вышел длиной с запись, вся фраза на месте. Первые 5 секунд идут кадр в кадр по исходнику, а последние 1,2 секунды нейросеть дорисовала сама. Фон в них замер и камера перестала качаться, хотя до этого тряслась в такт шагам, а героиня продолжает говорить и немного смещается в кадре. Резкого скачка по кадрам нет, но остановку камеры на ходу заметить можно. Если запись длиннее, лучше заранее взять видео подлиннее, чем рассчитывать на такой хвост.

С поворотом головы нейросеть справилась: в профиль на «ё» в «клёны» губы вытянуты вперёд, лицо не поплыло. Анфас на «м» и «п» рот закрыт, хотя на «п» в исходнике девушка улыбается во весь рот. Кадр снова сменил размер, на этот раз в другую сторону: 400×736 превратились в 464×848, а веснушки на щеках почти пропали, кожа стала глаже. Ждали 100 секунд.

Как это работает

В форме два поля. В Видео загрузите ролик, где хорошо видно лицо человека, в Аудио — запись, которую он должен «произнести». Нейросеть сопоставляет звуки записи с кадрами и перерисовывает только область рта; глаза, причёска, фон и движения головы остаются из вашего видео. В готовом ролике звучит ваша запись, прежняя речь пропадает. Длина результата всегда равна длине записи: лишний хвост видео обрезается, а если записи больше, нейросеть сама дотягивает конец ролика.

Голос нейросеть не делает. Нужна готовая запись: своя, диктора или озвучка текста нейросетью. Цена считается по секундам записи и видна на кнопке Отправить ещё до запуска. Готовый ролик появится в ленте под формой и 7 дней будет лежать в Моих результатах; сохраните его в библиотеку, если нужен дольше, или заберите кнопкой Скачать. Повторить сразу отправит то же задание ещё раз и снова спишет деньги.

Настройки: какие файлы загрузить

• Видео — один файл MP4, MOV или WebM от 1 секунды до 10 минут. Мы брали ролики, где человек и так говорит в камеру, лицо крупно и хорошо освещено. Застывшее молчащее лицо и несколько людей в кадре не проверяли. Видео лучше сделать не короче записи: тогда нейросеть ничего не будет досочинять.
• Аудио — один файл MP3, WAV, M4A, AAC, FLAC, OGG или OPUS, тоже до 10 минут. Лучше чистый голос без музыки и шума: губы подстраиваются под звуки речи, и посторонний фон может их сбить. Если голоса нет, озвучьте текст в разделе «Озвучка текста», как сделали мы.

Больше полей нет: ни модели, ни режима, ни разрешения. Длину и цену форма определит сама, как только файлы загрузятся.

Сколько стоит

Платите за секунды записи, длина видео на цену не влияет. Секунды округляются вверх, а запись короче трёх секунд считается как трёхсекундная. Наша фраза про табуретку стоила как 4 секунды, а про парк — как 7.

Перед длинной лекцией проверьте 5–10 секунд: так сразу видно, устраивает ли вас картинка в уменьшенном кадре.

Для чего подойдёт

• Переозвучить видео на русский: исходник на английском, запись на русском, как с Петром выше.
• Лекция, вебинар или обучающий ролик на несколько минут для просмотра с телефона, где небольшое разрешение не мешает.
• Влог или короткое видео для соцсетей: вертикальный кадр нейросеть приняла без проблем.
• Исправить оговорку: перезаписать фразу, вырезать этот кусок видео и подогнать губы только на нём.
• Озвучить героя, которого сняла видеонейросеть: многие из них говорят только по-английски.
• Готовый ролик потом можно отправить в VEED Subtitles, чтобы вшить русские субтитры.

Ограничения

• Кадр уменьшается, в наших пробах до 464 пикселей по короткой стороне. Для рекламы на большом экране и крупного лица возьмите Sync Lipsync 3.0 или PixVerse Lipsync: у PixVerse размер кадра остаётся как у исходника.
• Кожа сглаживается: пропадают веснушки, борода становится мягче. Если важна фактура лица, сравните с исходником до публикации.
• Когда запись длиннее видео, концовку нейросеть дорисовывает сама, и движение камеры в ней останавливается. Лучше сразу подобрать видео нужной длины.
• Голос не создаётся и не меняется, только губы. Чтобы человек заговорил другим голосом, сначала нужна запись.
• Чужое лицо и чужой голос берите только с согласия человека; мы показываем примеры на выдуманных героях.

Другие нейросети для губ

У VEED на сайте есть и следующая версия, VEED Lipsync 2: по словам разработчиков, она переносит из записи ещё и эмоцию с манерой речи. Если видео у вас нет, а есть только фото, нужен говорящий аватар вроде OmniHuman 1.5. Все нейросети липсинка на одном ролике мы сравнили в статье о липсинке.

Вопросы