Синхронизирует движение губ в видео с новой аудиодорожкой, чтобы человек в кадре выглядел так, будто говорит именно этот текст. Цена - 6 ₽ за секунду видео.
Volcengine Lip Sync - нейросеть для замены артикуляции в готовом ролике под новую речь. Вы загружаете видео и отдельную аудиодорожку, а модель перестраивает движения рта так, чтобы они совпадали с голосом. По найденным описаниям это решение связано с экосистемой Volcengine от ByteDance и рассчитано именно на сценарий video-to-video: исходное видео сохраняется, меняется в основном область рта и синхронизация речи.
По заявлениям создателей и описаниям интеграции, модель делает упор на точную покадровую синхронизацию губ с аудио, включая сложные звуки, где рассинхрон особенно заметен. Ещё один заявленный сценарий - дубляж роликов на другие языки: сначала готовится новая озвучка, потом под неё подгоняются губы в кадре.
Из документации по этому инструменту видно ещё несколько практических особенностей. Готовый ролик возвращается в MP4 с частотой 25 кадров в секунду. Длительность результата подстраивается под аудио: когда видео длиннее, лишнее обрезается, а когда короче - его можно зациклить. Для входа подходят видеофайлы до 500 МБ и звук до 10 МБ, а в настройках есть отдельные режимы для простого ролика и для более сложной сцены.
Схема простая: нейросеть смотрит на лицо в видео, анализирует новую речь и меняет движения губ под звуки из аудиофайла. Остальная часть кадра по возможности остаётся похожей на оригинал, чтобы ролик выглядел естественно, а не как заново сгенерированное видео.
Лучше всего такой подход работает, когда лицо видно достаточно чётко, человек смотрит более-менее в камеру, а голос на записи чистый. Для обычного говорящего ролика это самый понятный сценарий: взяли исходник, заменили озвучку, получили версию с новой артикуляцией.
Главное отличие Volcengine Lip Sync по найденным материалам - разделение на два режима: быстрый вариант для простого говорящего ролика и отдельный режим для более сложных сцен с определением сцен и говорящего. Ещё одна заметная особенность - логика подстройки длины результата под аудио: короткое видео можно зациклить, а длинное будет обрезано под новую дорожку.
По описаниям создателей, инструмент заточен не просто под анимацию рта, а под задачи дубляжа и локализации видео. То есть это скорее рабочий вариант для переозвучки готового ролика, чем игрушка для экспериментов с аватарами.