Синхронизирует движения губ и мимику персонажа в видео под загруженное аудио, чтобы казалось, что он реально говорит или поёт. Цена: 3 ₽ за каждые 5 секунд видео (округление вверх).
Kling LipSync - это нейросеть для липсинка: она подгоняет движения губ (и немного выражение лица) в вашем видео под выбранную аудиодорожку, чтобы персонаж выглядел «говорящим» или «поющим».
По заявлениям создателей, инструмент делает точную синхронизацию губ с поддержкой нескольких языков, старается сохранять естественные выражения лица и может работать не только с «видео, сделанным внутри Kling», но и с уже готовыми роликами. Также заявляется выравнивание звука с видео в реальном времени - это помогает, когда в аудио меняется темп речи.
Вы загружаете короткий видеоклип, где хорошо видно лицо, и отдельно - аудио (речь, дубляж, песня). Дальше нейросеть:
Проще говоря, это как аккуратный дубляж, только вместо голоса «перезаписываются» губы в кадре.
В интерфейсе всего два понятных поля:
Kling LipSync обычно хвалят за аккуратное отслеживание рта и неплохую синхронизацию даже когда лицо не строго анфас. При этом инструмент заточен под короткие фрагменты - если нужен длинный монолог, чаще приходится делать его кусками и склеивать в видеоредакторе.