Синхронизирует движение губ в видео с новой аудиодорожкой, чтобы речь выглядела естественно и попадала в артикуляцию. Цена зависит от режима: Быстро - 8 ₽/сек., Точно - 16 ₽/сек.
Heygen Lipsync V3 - инструмент HeyGen для замены речи в готовом видео с подстройкой движения губ под новую аудиодорожку. Такой формат нужен, когда ролик уже снят, а текст, язык или озвучку хочется поменять без пересъёмки.
По материалам HeyGen, технология умеет автоматически подгонять артикуляцию под речь покадрово и работает с разными языками и голосами. Компания делает упор на локализацию видео, дубляж и быстрое обновление роликов - например, когда нужно заменить озвучку в обучающем видео, презентации или рекламном фрагменте без ручного монтажа.
Разработчики отдельно пишут, что лучший результат получается при чистом звуке и хорошо видимом лице. Когда человек снят спереди, рот не закрыт рукой, микрофон не шипит и в записи нет сильного шума, синхронизация выглядит заметно аккуратнее.
Сервис анализирует загруженное аудио, разбирает речь на звуки и под них перестраивает движения рта в исходном видео. В итоге кажется, будто человек действительно произносит новый текст.
Иногда одной замены рта мало, потому что новая фраза длиннее или короче старой. Для этого здесь есть автоподгонка длительности: сервис может чуть растянуть или сжать фрагмент, чтобы видео лучше совпало с новой речью.
Лучше всего сервис справляется с крупным или средним планом, где лицо видно прямо. С поворотом головы вбок, закрытым ртом, рукой у лица, бородой на пол-лица или плохим освещением точность обычно падает.
Проблемы бывают и со звуком: сильный шум, музыка поверх речи, эхо и смазанная дикция мешают синхронизации. А ещё перевод и липсинк - разные вещи: сервис подгоняет рот под аудио, но над качеством самого текста и озвучки всё равно нужно следить отдельно.
У HeyGen большой акцент именно на видеолокализации и дубляже, а не только на анимированных аватарах. В случае с Lipsync V3 это полезно тем, что можно взять уже готовое видео и загрузить свою аудиодорожку, вместо полной пересборки ролика с нуля.
Ещё одно заметное отличие - выбор между двумя режимами обработки. Это простой и понятный вариант для обычного пользователя: либо экономить и делать быстрее, либо платить больше за более аккуратный результат на финальном видео.
Замена английской речи на русскую
Режим «Точно»: английская речь в ролике заменена русской фразой, губы подогнаны под неё. Ведущая сгенерирована нейросетью.