Creatify Aurora

Creatify Aurora - нейросеть, которая “оживляет” портрет: вы загружаете фото человека и аудиофайл, а на выходе получаете видео, где он говорит или поёт с синхронизацией губ.

По заявлениям создателей, Aurora рассчитана на “студийное” качество: она делает не просто движение рта, а добавляет мимику, моргание, движения головы и жесты, старается подстраивать выражение лица под интонацию голоса и сохранять похожесть персонажа от кадра к кадру даже на длинных фрагментах аудио. Также подчёркивается, что достаточно одной фотографии (без обучения на ваших данных и без съёмки с разных ракурсов).

Как это работает

Всё устроено просто:

1. вы даёте нейросети одну фотографию (это “внешность” героя),
2. добавляете аудио (это “речь” и “настроение”),
3. модель собирает видео так, чтобы движения губ и лица совпадали со звуком, а поведение выглядело живым (улыбки, паузы, моргания, небольшие жесты).

Лучше всего работают портреты, где лицо хорошо видно, без сильных поворотов, закрывающих деталей и жёстких теней.

Настройки

• Фотография - один портрет, который нужно “оживить”.
• Аудио - один файл с речью или вокалом (до 120 секунд).
• Промпт (опционально) - подсказка про стиль и мимику. Например: “спокойно, дружелюбно, чуть улыбается” или “строго, уверенно, без лишних эмоций”.
• Разрешение (480p или 720p) - качество картинки: 720p выглядит четче, но обычно дороже.

Для чего подойдёт

• Записали голосовое - и хотите сделать “видео-обращение” от лица персонажа для поздравления, приглашения или объявления.
• Нужно быстро озвучить фото для презентации: “говорящая” заставка с ведущим, который читает ваш текст (если у вас уже есть аудиодорожка).
• Хотите оживить старое семейное фото: добавить речь, чтобы получился короткий ролик “как будто человек рассказывает”.
• Делаете короткие рекламные/объясняющие ролики, где нужен ведущий в кадре, но снимать себя не хочется.

Ограничения

• Качество сильно зависит от исходников: шумное аудио, сильный акцент, слишком быстрый темп речи или фото с закрытым лицом могут ухудшить синхронизацию губ и естественность мимики.
• Иногда результат может выглядеть “пластиково” или слегка неестественно (особенно на сложных эмоциях, резких поворотах головы и при плохом освещении на фото).
• Длительность в этом режиме ограничена загружаемым аудио - до 120 секунд.

Чем отличается от аналогов

Creatify Aurora чаще всего описывают как модель, которая делает упор не только на “рот в такт”, а на более “живую” подачу: мимику, взгляд, небольшие жесты и реакцию на интонацию, плюс стабильность внешности по всему ролику. Из-за этого она ближе к “говорящему ведущему в кадре”, чем к простому липсинку, где анимируется в основном только рот.