Wan Motion

Wan Motion - нейросеть для “оживления” персонажа: вы даёте референс-изображение (как должен выглядеть герой) и видео с движением (как он должен двигаться), а на выходе получаете ролик, где персонаж повторяет движения из исходного видео.

По описанию авторов, Wan Motion сделана как “облегчённая” модель анимации персонажа: она переносит движение с driving-видео на картинку и умеет подстраивать позу под пропорции героя на референсе (ретаргетинг позы), чтобы результат выглядел естественнее, даже если телосложение в видео и на картинке отличается. Также заявлено, что модель выдаёт результат в 720p и заточена под быстрые, “по умолчанию хорошие” настройки, а при включении усиления внешности дополнительно обрабатывает картинку, чтобы лучше сохранить лицо и узнаваемые черты.

Как это работает

1. Вы загружаете видео с движением - например, где человек танцует, жестикулирует или просто поворачивает голову.
2. Вы загружаете референс-изображение персонажа - фото, рисунок, персонажа в костюме, аватар и т.д.
3. Нейросеть “снимает” движение с видео (поза, жесты, повороты, темп) и переносит его на персонажа с картинки, стараясь сохранить внешний вид.

Если включена адаптация движения, модель дополнительно “подгоняет” движение под рост/пропорции персонажа на картинке - это помогает, когда в видео высокий человек, а на референсе персонаж ниже, шире, с другой длиной рук и т.п.

Настройки

• Видео движения - источник того, как именно должен двигаться персонаж. Лучше работает, если человек в кадре виден целиком и без резких обрезаний.
• Референс-изображение - внешний вид персонажа. Чем чётче лицо и контуры, тем проще нейросети сохранить узнаваемость.
• Задание (опционально) - текстом можно подсказать стиль или детали: например, “мультяшный стиль”, “камера ближе к лицу”, “без лишних предметов в кадре”.
• Ускорение - режим, который обычно ускоряет генерацию за счёт кэширования. Если хотите “как есть, без кэша”, можно отключить.
• Адаптировать движение - подстраивает движения под пропорции персонажа на картинке. Обычно стоит оставить включённым, особенно если фигуры в видео и на референсе заметно разные.
• Усилить сохранение внешности - дополнительная подготовка изображения перед анимацией, чтобы лицо и внешний вид лучше совпадали с референсом. Полезно для портретов и когда важна узнаваемость.

Для чего подойдёт

• Оживить рисунок или фото: “пусть персонаж повторит танец/жесты из моего видео”.
• Сделать говорящую/жестикулирующую аватарку для ролика, поздравления или школьного проекта.
• Примерить движение на персонажа: показать, как будет выглядеть конкретный образ в конкретной пластике (без съёмок в костюме).
• Быстро сделать короткую анимацию для мемов и сторис: берёте популярное движение из видео и переносите на своего героя.

Ограничения

• Если в driving-видео много перекрытий (руки закрывают лицо, человек выходит из кадра, сильная тряска камеры), результат может “плыть”: руки/пальцы и мимика иногда выглядят странно.
• При сильной разнице в ракурсе (на картинке лицо анфас, а в видео почти профиль) узнаваемость может падать - в таких случаях помогает “Усилить сохранение внешности”, но чудес всё равно не гарантирует.
• Сложные вещи вроде быстрого вращения, прыжков, разворотов со спиной к камере или очень активной мимики могут давать артефакты.

Чем отличается от аналогов

• Wan Motion делает упор на перенос движения именно на одного персонажа с картинки и на адаптацию под пропорции (чтобы движения “сели” на тело референса, а не выглядели как чужая поза на чужой фигуре).
• Важная идея - “быстрые качественные дефолты”: меньше ручных настроек, загрузили видео + картинку (и при желании короткий текст) - получили результат.