DreamActor V2

DreamActor V2 - нейросеть для “оживления” картинки по примеру видео. Вы загружаете изображение персонажа (это может быть человек, рисунок, аниме-персонаж или даже не-человек), добавляете короткое “ведущее” видео, и модель переносит движения, мимику и общую пластику из видео на персонажа на картинке.

По заявлениям создателей и описаниям модели, DreamActor V2 заточена именно под перенос движения (motion transfer): она старается сохранять личность/внешность персонажа на протяжении всего ролика, делать движение более ровным без мерцания, и работать не только с крупными портретами, но и с более “дальним планом” вплоть до полуфигуры/фигуры. Также отдельно подчёркивают, что модель хорошо справляется с не-человеческими персонажами и сценами с несколькими персонажами.

Как это работает

Проще всего думать так:

• картинка отвечает за “как выглядит персонаж” (лицо, одежда, стиль, фон),
• видео отвечает за “как он двигается” (повороты головы, выражение лица, жесты, темп).

Нейросеть “снимает” движение из видео и аккуратно накладывает его на персонажа с картинки, стараясь не превратить лицо в “маску” и не ломать детали вроде причёски или контуров.

Настройки

В интерфейсе всего два основных входа:

• Изображение - кого именно вы хотите анимировать. Лучше работает с чёткими, хорошо освещёнными лицами/персонажами без сильных перекрытий (например, без рук перед лицом).
• Видео - откуда брать движения. Чем понятнее мимика и жесты в исходном видео, тем проще модели “считать” движение и перенести его без странностей.

Для чего подойдёт

• “Оживить” портрет: сделать, чтобы персонаж повторял эмоции и движения из выбранного ролика.
• Примерить актёрскую игру на иллюстрацию: взять видео с нужной мимикой и передать её нарисованному герою.
• Анимировать персонажа для сторис/презентации: когда нужно короткое видео, а есть только картинка.
• Сделать клип с “перепевом движения”: вы берёте видео-референс с нужными жестами и получаете похожую пластику у вашего персонажа.
• Тест анимации для концепта: быстро понять, как будет “играть” персонаж в кадре, не делая ручную анимацию.

Ограничения

• Длина ролика ограничена 30 секундами.
• Качество сильно зависит от входных данных: если на видео резкие повороты, размытие, плохой свет или лицо часто закрывается, результат может “плыть”.
• Сложные сцены (много людей, активные руки у лица, быстрые движения) иногда дают артефакты: странная мимика, “прыгающие” контуры, смазывание деталей.
• Если картинка и видео очень разные по ракурсу (например, на картинке лицо строго в профиль, а на видео человек смотрит в камеру), перенос может выглядеть неестественно.

Чем отличается от аналогов

DreamActor V2 - это не “текст-в-видео” и не “просто оживление по одному фото”. Её сильная сторона - именно перенос движения из конкретного видео, когда вам важно повторить мимику/жесты/темп. В описаниях модели отдельно выделяют стабильность во времени (меньше мерцания) и то, что она часто лучше держит не-человеческих и мультяшных персонажей, а также может работать с несколькими персонажами в кадре.