Volcengine Lip Sync

Volcengine Lip Sync - нейросеть для замены артикуляции в готовом ролике под новую речь. Вы загружаете видео и отдельную аудиодорожку, а модель перестраивает движения рта так, чтобы они совпадали с голосом. По найденным описаниям это решение связано с экосистемой Volcengine от ByteDance и рассчитано именно на сценарий video-to-video: исходное видео сохраняется, меняется в основном область рта и синхронизация речи.

По заявлениям создателей и описаниям интеграции, модель делает упор на точную покадровую синхронизацию губ с аудио, включая сложные звуки, где рассинхрон особенно заметен. Ещё один заявленный сценарий - дубляж роликов на другие языки: сначала готовится новая озвучка, потом под неё подгоняются губы в кадре.

Из документации по этому инструменту видно ещё несколько практических особенностей. Готовый ролик возвращается в MP4 с частотой 25 кадров в секунду. Длительность результата подстраивается под аудио: когда видео длиннее, лишнее обрезается, а когда короче - его можно зациклить. Для входа подходят видеофайлы до 500 МБ и звук до 10 МБ, а в настройках есть отдельные режимы для простого ролика и для более сложной сцены.

Как это работает

Схема простая: нейросеть смотрит на лицо в видео, анализирует новую речь и меняет движения губ под звуки из аудиофайла. Остальная часть кадра по возможности остаётся похожей на оригинал, чтобы ролик выглядел естественно, а не как заново сгенерированное видео.

Лучше всего такой подход работает, когда лицо видно достаточно чётко, человек смотрит более-менее в камеру, а голос на записи чистый. Для обычного говорящего ролика это самый понятный сценарий: взяли исходник, заменили озвучку, получили версию с новой артикуляцией.

Настройки

• Тип генерации - выбор между простым роликом и сложной сценой. Первый режим рассчитан на одного человека анфас и обычно обрабатывается быстрее. Второй нужен, когда в кадре более сложная композиция.
• Видео - исходный ролик в MP4, MOV или HDR. Поддерживается один файл до 500 МБ.
• Аудио - новая голосовая дорожка в MP3, WAV, AAC, M4A или OGG. Лучше брать запись без шума, музыки и лишних звуков.
• Очистить голос - помогает ослабить влияние фонового шума перед синхронизацией.
• Определять сцены и говорящего - появляется для сложной сцены. Полезно, когда в ролике меняются планы или говорит не один человек.
• Зациклить видео - появляется в простом режиме. Нужна, когда звук длиннее видео и вы не хотите, чтобы аудио обрезалось.
• Зациклить в обратную сторону - делает повтор менее резким: следующий проход идёт задом наперёд, поэтому склейка выглядит мягче.
• Начать с секунды - можно взять не весь ролик, а обработать его с нужного момента.

Для чего подойдёт

• переозвучить короткое обращение для рекламы, не переснимая человека заново
• сделать версию одного и того же ролика под разные языки
• заменить неудачную озвучку в уже смонтированном видео
• подогнать дикторский текст под видео с говорящей головой
• подготовить обучающее видео, где спикер говорит другим текстом, но остаётся тот же кадр
• оживить интервью, презентацию или вертикальный ролик для соцсетей после правок в тексте

Ограничения

• Наилучший результат обычно получается на роликах с одним человеком, который хорошо виден спереди.
• Сложные ракурсы, закрытый рот руками, микрофоном или волосами могут ухудшать синхронизацию.
• Грязная аудиодорожка с музыкой, эхом и шумом мешает точному совпадению губ с речью.
• Когда в кадре много склеек, несколько людей или быстрые смены планов, лучше сразу выбирать режим сложной сцены - простой режим для такого подходит хуже.
• Инструмент меняет артикуляцию, но не решает все проблемы дубляжа: интонация, эмоции голоса и качество самой озвучки зависят уже от вашей аудиодорожки.

Чем отличается от аналогов

Главное отличие Volcengine Lip Sync по найденным материалам - разделение на два режима: быстрый вариант для простого говорящего ролика и отдельный режим для более сложных сцен с определением сцен и говорящего. Ещё одна заметная особенность - логика подстройки длины результата под аудио: короткое видео можно зациклить, а длинное будет обрезано под новую дорожку.

По описаниям создателей, инструмент заточен не просто под анимацию рта, а под задачи дубляжа и локализации видео. То есть это скорее рабочий вариант для переозвучки готового ролика, чем игрушка для экспериментов с аватарами.