Sync Lipsync 2.0

Коротко

Разработчик

Sync Labs (sync.)

На входе

видео MP4, MOV или WebM и звук MP3, WAV, M4A, AAC, FLAC, OGG или OPUS

На выходе

тот же ролик с новым звуком, размер кадра в нашей пробе не изменился

Модели

Lipsync 2 и Lipsync 2 Pro, вторая аккуратнее рисует бороду и зубы

Русский язык

язык задаёт ваша запись, под русскую фразу губы по кадрам попадали в звуки

Если длина не совпадает

пять вариантов в поле «Режим синхронизации»

Цена

от 10 ₽/сек.

Обычно готово

≈ 1,5 мин после отправки

API

есть, документация

Один ролик, одна фраза: что вышло

Липсинк (от английского lip sync, «синхронизация губ») значит, что человек в кадре открывает рот точно под звук. Нейросеть для синхронизации губ берёт ролик, где кто-то уже говорит, и подгоняет движения рта под другую запись. Мы проверили это на столяре Петре, которого не существует: портрет нарисовала Nano Banana 2 Lite, а Grok Video 1.5 сделала из него ролик 1280×720, где Пётр по-английски рассказывает про табуретку без гвоздей.

Русский голос тоже синтетический: фразу озвучила ElevenLabs v3 голосом Bill, вышло 3,8 секунды.

Первые 4 секунды ролика без звука и эту фразу мы отдали трём нейросетям, настройки по умолчанию. Программа распознавания речи нашла в каждом готовом ролике нашу фразу слово в слово. Губы мы сверяли по кадрам.

На кадрах ниже рот крупно в пять моментов фразы. По ним на «П» в «Пётр» и на «б» в «собрал» губы смыкаются у всех трёх. Разница видна в паузах: Sync в паузе и после последнего слова оставляет рот чуть приоткрытым, с полоской зубов, как будто Пётр улыбается. В разговорном ролике это смотрится естественно, а если нужен строго закрытый рот, посмотрите вариант PixVerse. Пять кадров не покажут весь ролик, так что сами видео выше тоже стоит посмотреть.

Lipsync 2 или Pro: смотрите на бороду

Губы у обеих моделей двигаются почти одинаково. Картинка разная. Разработчики пишут, что Pro дорисовывает бороду, морщины и зубы после основной обработки. На нашем столяре это сразу видно: у Lipsync 2 вокруг рта будто вклеен отдельный кусок, у бороды рваный край вдоль челюсти, зубы желтее. У Pro нижняя часть лица почти не отличается от исходника.

На экране телефона огрехи Lipsync 2 теряются. Если в кадре крупное лицо с бородой или ролик пойдёт на большой экран, Pro стоит своих денег. Ждать пришлось недолго. Lipsync 2 справилась за 74 секунды, Pro за 131.

Как это работает

В форме два файла. В поле Видео загрузите ролик, где видно лицо, в поле Аудио — запись, которую человек должен «произнести». Нейросеть подстраивает рот под звуки записи и перерисовывает только нижнюю часть лица, остальной кадр и движения головы остаются как были. В готовом ролике звучит ваша запись, исходная речь пропадает.

Цена считается по секундам видео, а в режимах, где ролик подгоняется под длину записи, по секундам записи. Сумма видна на кнопке Отправить до запуска. Готовый ролик появится в ленте под формой и пролежит 7 дней в Моих результатах; нужное скачайте кнопкой Скачать или сохраните в библиотеку, там срока нет. Изменить вернёт файлы и настройки в форму, например чтобы сменить модель на Pro. Повторить сразу запустит то же задание ещё раз и спишет деньги заново.

Настройки

• В поле Модель для проб и обычных разговорных роликов ставьте Lipsync 2. Крупный план, борода, реклама? Тогда Lipsync 2 Pro.
• В Видео лучше загружать ролик, где человек тоже говорит. Разработчики прямо пишут, что модели нужна естественная мимика речи: на застывшем лице результат хуже. Лицо в профиль, по их же словам, может выйти заметно хуже.
• В Аудио нужен чистый голос без музыки и эха. Своей записи нет? Сделайте озвучку в «Озвучке текста», как мы.
• Поле Режим синхронизации решает, что делать, если звук и видео разной длины, и от него зависит, за что вы платите. Обрезать лишнее (по умолчанию) делает ролик длиной с более коротким файлом, а считает секунды видео. Зациклить запускает видео заново, пока идёт звук, а Пинг-понг прокручивает его назад, так стык меньше бросается в глаза. Ремап растягивает или сжимает видео под длину звука. В этих трёх режимах ролик выходит длиной с запись, и платите вы за её секунды. Тишина доигрывает видео без голоса; запись тут должна быть не длиннее видео, иначе форма не даст запустить.

Сколько стоит

Цена зависит от модели и длины: видео в режимах «Обрезать лишнее» и «Тишина», записи в остальных трёх. Секунды округляются вверх. Наш ролик был ровно 4 секунды, его и посчитали.

Длинную запись сначала проверьте на отрезке в 4–5 секунд моделью Lipsync 2, а Pro включайте на финальный прогон.

Для чего подойдёт

• Перевод ролика: исходник на английском, озвучка на русском, как в нашем примере.
• Исправить оговорку в лекции или обзоре: перезаписать фразу и заменить губы на этом куске.
• Новая версия рекламы с другим текстом без повторной съёмки.
• Озвучить героя, которого сняла видеонейросеть: она часто говорит только по-английски, а губы под русскую речь подгонит липсинк.
• Короткий исходник под длинную реплику: Пинг-понг или Зациклить.

Переозвучивайте себя и выдуманных героев, а реального человека — только с его согласия: без него такие ролики запрещают правила сайта.

Если нужна не эта нейросеть

Если видео нет, а есть только фото, вам нужен говорящий аватар, например Pruna AI P-Video Avatar или OmniHuman 1.5: они оживляют снимок сразу под голос. Здесь же исходник — готовое видео. Все нейросети липсинка на одном ролике сравнили в статье о липсинке.

Вопросы