Синхронизирует движение губ в видео с новой аудиодорожкой, чтобы человек в кадре выглядел так, будто говорит именно этот звук. Цена - 10 ₽ за 1 секунду аудио: ролик получается длиной с аудио.
VEED Lipsync 2 - нейросеть от VEED для замены движения губ в готовом видео под новую аудиодорожку. Вы загружаете ролик и отдельный звук, а сервис перестраивает рот, тайминг речи и артикуляцию так, чтобы человек в кадре выгляел естественно с новым голосом.
По заявлениям создателей, это их самая сильная версия lip sync-модели на данный момент. VEED делает упор на то, что модель переносит из новой аудиодорожки не только слова, но и эмоцию, стиль речи и ритм, без отдельного обучения под конкретного человека.
Разработчики пишут, что инструмент рассчитан на дубляж видео, обновление рекламных роликов без пересъёмки и массовую локализацию контента. Для работы нужны всего два входа: исходное видео и новый аудиофайл, а на выходе получается готовый MP4 с уже синхронизированными губами.
Модель слушает новую аудиодорожку, разбивает речь на звуки и подбирает под них подходящие формы рта кадр за кадром. Затем она меняет область губ в исходном видео, стараясь сохранить мимику, повороты головы и общее впечатление от живой речи.
Лучше всего такой подход работает, когда в кадре хорошо видно лицо, человек говорит достаточно чётко, а звук чистый, без сильного шума и музыки поверх голоса.
В интерфейсе здесь всего два понятных поля:
Инструмент не переснимает сцену и не меняет всё лицо целиком - он именно подгоняет артикуляцию под новый звук. Из-за этого результат может быть слабее на боковых ракурсах, при закрытом или частично закрытом лице, резких поворотах головы, плохом освещении и длинных участках, где рот видно мелко.
Ещё один частый предел для таких моделей - сложные аудиодорожки. Когда в записи много фонового шума, музыка громче голоса или речь слишком эмоционально рваная, синхронизация может выглядеть менее аккуратно.
VEED Lipsync 2 заточена именно под готовое видео с человеком в кадре и новой озвучкой, а не под создание говорящей головы с нуля из одной картинки. Её акцент - на замене артикуляции в существующем ролике, причём создатели отдельно выделяют перенос эмоции, стиля и тайминга речи из нового аудио, а не просто механическое открывание рта под звук.