PixVerse Lipsync

Коротко

Разработчик

PixVerse (компания AIsphere)

Видео

MP4, MOV или WebM, один файл до 10 минут

Звук

MP3 или WAV, от 1 секунды до 10 минут

На выходе

ролик длиной с запись, размер кадра как у исходника

Настройки

нет, только два файла

Русский язык

губы подстраиваются под русскую запись, голос нужен ваш

Цена

7 ₽/сек.

Обычно готово

≈ 1,5 мин после отправки

API

есть, документация

Один ролик в трёх нейросетях

Липсинк нейросеть меняет в видео только рот: человек в кадре начинает «произносить» другую запись, а лицо, фон и движения головы остаются прежними. Проверяли мы на выдуманном столяре Петре. Его портрет нарисовала Nano Banana 2 Lite, ролик 1280×720 сняла Grok Video 1.5, и в исходнике Пётр говорит по-английски. Русскую фразу озвучила ElevenLabs v3, голос синтетический.

Те же 4 секунды видео и ту же запись мы отправили в PixVerse и ещё две нейросети липсинка.

PixVerse закончила первой, за 49 секунд. По кадрам артикуляция у неё самая аккуратная из трёх: на «П» и «б» губы сомкнуты, на «ё» вытянуты трубочкой, как у живого человека. В паузе между фразами и после последнего слова рот закрыт, а у Sync он в эти моменты приоткрыт, у Kling после конца фразы. Пять кадров всего не покажут, поэтому сами ролики выше тоже стоит посмотреть. Минус в картинке: кожа вокруг рта стала глаже, чем в исходнике, а зубы на широких гласных сливаются в светлую полосу. На телефоне этого почти не видно, на крупном плане заметно.

Селфи-влог с поворотом головы

Второй тест сложнее. Выдуманная девушка снимает себя на телефон в осеннем парке, камера качается, а на середине фразы героиня отворачивается к деревьям, почти в профиль. Исходник вертикальный, 400×736, его тоже сделала Grok Video 1.5, и героиня там говорит по-английски. Русскую фразу на 4 секунды снова озвучила ElevenLabs v3, синтетическим женским голосом:

Пока героиня смотрит в камеру, по кадрам всё на месте: на «м» в «Смотрите» и «п» в «парк» губы сжаты, хотя в исходнике она в эти моменты улыбается. В профиль нейросеть рот тоже перерисовала, но слабее: на «ми» в «золотыми» губы не сомкнулись. Лицо при повороте не поплыло.

Ролик вышел длиной с запись. Последнюю секунду видео нейросеть отрезала.

Как это работает

В поле Видео загрузите ролик, где видно лицо, в поле Аудио — запись голоса. Нейросеть сверяет звуки записи с движениями рта в исходнике и перерисовывает губы под слоги записи, а глаза, причёска, фон и движения головы остаются такими же, как в вашем видео. Готовый ролик длится столько же, сколько запись, звучит в нём тоже она.

Цена считается по длине записи и видна на кнопке Отправить до запуска. Результат появится в ленте под формой; в Моих результатах он хранится 7 дней, а в библиотеке, куда его можно сохранить, без срока. Скачать ролик можно кнопкой Скачать. Изменить вернёт файлы в форму, если нужно заменить запись, Повторить сразу отправит то же задание ещё раз за ту же цену.

Настройки: что загрузить

Полей настроек нет, поэтому качество зависит от файлов.

• Лицо в исходнике лучше крупно и анфас. Повороты нейросеть выдерживает, но в профиль губы двигаются менее точно (см. влог выше).
• Пусть человек в исходнике говорит. Наши герои говорили по-английски, и это не помешало.
• Видео берите не короче записи. Что будет, если запись длиннее, мы не проверяли.
• Звук только MP3 или WAV. Запись из диктофона телефона в M4A сначала переведите в MP3. Голоса нет — озвучку сделает «Озвучка текста».

Сколько стоит

Платите за секунды записи, а не видео, с округлением вверх. Длинный ролик с короткой фразой обойдётся как эта фраза.

Для первой пробы хватит одной фразы на 4–5 секунд: по ней видно, подходит ли исходник.

Для чего подойдёт

• Переозвучить влог или сторис, если текст хочется сказать иначе.
• Перевести короткое видео на русский, как наш ролик со столяром.
• Заменить оговорку в обучающем ролике, вырезав кусок с ней.
• Дать русскую речь герою, которого сняла видеонейросеть.
• Песня: разработчики заявляют и речь, и пение. Как PixVerse спела припев, показано в статье о липсинке.

Если в исходнике реальный человек, сначала спросите его согласия: изображения людей без него правила сайта не разрешают.

Соседи и другие версии PixVerse

Есть только фото, а не видео? Тогда нужен говорящий аватар, например Heygen 720p: он оживляет снимок под голос. Видеогенераторы PixVerse и её нейросети для клипов разобраны в статье о PixVerse.

Вопросы