Оживляет портрет или персонажа по фото и аудиодорожке, чтобы получился говорящий видеоролик с синхронным движением губ. Цена - 20 ₽ за 1 секунду аудио.
Sync Lipsync 3 Avatar - нейросеть для создания говорящего видео из одной картинки и аудиофайла. Вы загружаете портрет или изображение персонажа, добавляете речь, и модель анимирует лицо так, чтобы губы двигались в такт звуку.
Разработчики Sync делают упор на более естественную синхронизацию губ и на понимание всей сцены, а не только области рта. В описании модели говорится, что она умеет работать даже с одним изображением лица и создавать видео с движением губ под ваш звук.
По заявлениям создателей, модель может открывать рот и анимировать речь даже там, где на исходнике нет готового движения губ. Это полезно для статичных портретов, иллюстраций и аватаров, когда у вас есть только одна картинка, а нужно сделать короткое говорящее видео.
Модель смотрит на лицо на изображении, сопоставляет речь из аудио с движением рта и дорисовывает мимику кадр за кадром. Лучше всего результат выходит на чётких портретах, где лицо видно прямо или почти прямо, без сильных поворотов головы и перекрытий.
Длина ролика здесь привязана к длине аудио. То есть видео будет идти столько же, сколько длится ваша запись голоса, озвучка или реплика персонажа.
Статичная картинка остаётся основой ролика, поэтому модель не превращает её в полноценную живую съёмку с новыми ракурсами и сложной жестикуляцией. Слабые исходники - маленькие, шумные, смазанные фото или лица в профиль - могут дать менее правдоподобную анимацию.
Ещё один момент - модель синхронизирует речь по аудио, но характер результата сильно зависит от качества записи. Когда звук тихий, с шумом, музыкой на фоне или неразборчивой дикцией, движения рта могут выглядеть менее точно.
Главное отличие Sync Lipsync 3 Avatar - заточка именно под липсинк, то есть под совпадение речи и движения губ, а не под сборку целого цифрового ведущего с большим числом шаблонов. Такой формат удобен, когда у вас уже есть готовое изображение персонажа и нужна именно говорящая версия под конкретную аудиодорожку, без лишних настроек.
Цена простая: 20 ₽ за секунду аудио, округление идёт по длительности записи вверх до целой секунды. Для коротких реплик это легко прикинуть заранее - например, фраза на 6 секунд обойдётся в 120 ₽.
Создаёт говорящее видео: анимирует лицо на фото и подгоняет движения губ под загруженное аудио.