Kling LipSync

Kling LipSync - это нейросеть для липсинка: она подгоняет движения губ (и немного выражение лица) в вашем видео под выбранную аудиодорожку, чтобы персонаж выглядел «говорящим» или «поющим».

По заявлениям создателей, инструмент делает точную синхронизацию губ с поддержкой нескольких языков, старается сохранять естественные выражения лица и может работать не только с «видео, сделанным внутри Kling», но и с уже готовыми роликами. Также заявляется выравнивание звука с видео в реальном времени - это помогает, когда в аудио меняется темп речи.

Как это работает

Вы загружаете короткий видеоклип, где хорошо видно лицо, и отдельно - аудио (речь, дубляж, песня). Дальше нейросеть:

• находит рот и отслеживает его положение по кадрам
• «перерисовывает» область губ так, чтобы движения совпали со звуками в аудио
• старается не ломать остальное: кожу, глаза, общий стиль кадра

Проще говоря, это как аккуратный дубляж, только вместо голоса «перезаписываются» губы в кадре.

Настройки

В интерфейсе всего два понятных поля:

• Видео - исходный ролик, где нужно заменить движение губ (подходят .mp4 и .mov).
• Аудио - дорожка, под которую нужно сделать синхронизацию (поддерживается много форматов, например .mp3 и .wav).

Для чего подойдёт

• Озвучить персонажа в коротком ролике для школьного проекта или презентации на работе.
• Сделать «говорящую голову» для поздравления: записали аудио с текстом - и человек в кадре «произносит» его губами.
• Дублировать фразу на другом языке в коротком видео, чтобы губы выглядели правдоподобно.
• Быстро подогнать lipsync под кусочек песни (например, припев на 5-10 секунд) для клипа или шутки в чате.

Ограничения

• Длина видео ограничена: клипы только короткие (обычно такие инструменты рассчитаны на 5-10 секунд за один прогон).
• Лучше всего работает, когда рот хорошо виден: крупный план, без рук/микрофона перед лицом, без сильных поворотов головы и смаза.
• Чаще всего рассчитано на людей: с мультяшными, масками, животными или «нечеловеческими» лицами результат может быть менее убедительным.
• Иногда появляются артефакты вокруг рта (легкая «пластика» или деформация) - особенно если лицо маленькое в кадре или освещение сложное.

Чем отличается от аналогов

Kling LipSync обычно хвалят за аккуратное отслеживание рта и неплохую синхронизацию даже когда лицо не строго анфас. При этом инструмент заточен под короткие фрагменты - если нужен длинный монолог, чаще приходится делать его кусками и склеивать в видеоредакторе.