Синхронизирует движения губ в видео с загруженным аудио, чтобы речь выглядела естественно. Цена - 20 ₽ за секунду готового ролика: в «Обрезать лишнее» он по более короткому файлу, в «Тишине» - по более длинному, в остальных режимах - по аудио.
Sync Lipsync 3.0 - нейросеть для подгонки движений губ в видео под новое аудио. Вы загружаете ролик и звуковую дорожку, а модель старается сделать так, будто человек в кадре действительно произносит эти слова.
По найденным описаниям создатели делают упор на покадровую синхронизацию речи, поддержку разных языков и сохранение мимики, чтобы менялся в основном рот, а лицо не выглядело застывшим. В материалах сервиса упоминаются несколько режимов синхронизации, работа с длительностью ролика и ориентация на дубляж, локализацию видео и разговорные аватары.
Нейросеть анализирует аудио по звукам речи - где начинается слог, когда рот должен открыться шире, где нужна пауза. Потом она меняет область рта в исходном видео так, чтобы движения совпадали с новой дорожкой.
Лучше всего такой инструмент заметен на говорящей голове, интервью, обращении в камеру или ролике, где лицо видно крупно. Когда человек часто отворачивается, закрывает рот рукой, быстро двигается или в кадре плохой свет, результат может быть слабее.
Варианты режима:
Липсинк почти всегда зависит от качества исходника. На размытом видео, при сильной компрессии, закрытом рте в профиль и резких поворотах головы рот может выглядеть неестественно.
Ещё один частый момент - несовпадение эмоции. Технически губы могут двигаться правильно, но весёлая мимика лица и серьёзный текст в аудио всё равно будут смотреться странно. Для длинных монологов лучше брать видео, где лицо хорошо видно почти всё время.
Главное отличие Sync Lipsync 3.0 по найденным данным - акцент на более продвинутую синхронизацию и несколько способов обработки разной длительности видео и аудио. Это полезно в бытовых задачах: не надо отдельно думать, обрезать ролик, зацикливать его или растягивать под озвучку.
По сравнению с простыми липсинк-инструментами, где есть только загрузка видео и звука, здесь больше контроля над тем, как система поведёт себя при несовпадении длины. Для пользователя это означает меньше ручной возни перед экспортом и понятнее результат на коротких роликах.
Липсинк для клипа
Перевод влога на русский
Английский влог 10 секунд переозвучен русской фразой, губы подогнаны под новый звук. Ведущая сгенерирована нейросетью, такого человека нет.