Wan Motion

Коротко

Разработчик

Alibaba, линейка Wan

На входе

видео с движением (MP4, MOV или WebM, от 1 секунды до 10 минут) и одна картинка героя (JPG, PNG, WebP или HEIC)

На выходе

ролик 720p, 24 кадра в секунду, той же длины, что видео с движением

Под фигуру героя

переключатель «Адаптировать движение» подгоняет позы под пропорции персонажа, включён сразу

Звук

своего нет, в ролик переходит звук загруженного видео

Русский язык

задание необязательное; наше, написанное по-русски, модель выполнила

Цена

10 ₽/сек.

API

есть, документация

Что умеет: танец девушки на коренастом гноме

Wan Motion решает одну задачу: берёт движение из ролика и отдаёт его герою с картинки. Фон, одежда и стиль остаются от картинки, поза в каждом кадре и темп приходят из видео. От соседей по сайту её отличает переключатель Адаптировать движение, и проверяли мы прежде всего его.

Идея пробы простая. Если стройная девушка танцует, а двигаться должен гном с короткими ногами и бочкообразным торсом, что победит: фигура гнома или фигура девушки? Мы сделали два запуска с одними и теми же файлами и заданием и поменяли только этот переключатель.

Исходники

Людей здесь нет. Гнома-кузнеца нарисовала Nano Banana 2 Lite: стоит прямо, руки вдоль тела, рыжая борода до пояса, кожаный фартук, позади горн. Танец на 5 секунд мы взяли из своей прошлой пробы, его сняла Grok Video 1.5: девушка в белой футболке шагает, разводит руки, поднимает ладони над головой, хлопает и делает полный оборот.

Задание в обоих запусках одно:

С подгонкой под фигуру и без неё

Разница видна с первого кадра. С подгонкой гном остался гномом: короткие ноги, широкий торс, большая голова, борода с косичкой лежит на фартуке. Танец он повторил целиком: шаги, руки в стороны, ладони над головой, хлопок у лица, оборот и финальную позу с разведёнными руками. Кузница почти не изменилась, горн горит там же, где на картинке.

Без подгонки модель просто натянула гнома на фигуру девушки. Ноги вытянулись почти вдвое, торс стал узким, голова маленькой, борода короче. Получился высокий худой мужчина в фартуке, а на коренастого кузнеца с картинки он похож разве что рыжей бородой. Заодно модель отодвинула камеру и заново выстроила кузницу: горн уехал к центру, наковальня в другом месте. Вот один и тот же момент танца, когда руки подняты над головой:

Одна деталь не удалась в обоих роликах. На обороте, пока гном стоит спиной, у него на затылке появляется пучок волос, как хвост у девушки из видео; лицом к нам он снова становится собой. Вместе с позой модель переносит и то, что видит у человека в ролике. Поэтому для героя с короткой стрижкой лучше брать образец без длинных волос или без поворота спиной.

Оба ролика пришли с первого раза: 5,06 секунды, 704 на 1280 точек. Ждали 9 и 10 минут, для пяти секунд видео это долго. Музыка из видео с девушкой перешла в результат без изменений.

Героиня в очках на кухне

Этот пример лежит на странице во вкладке «Примеры». Исходники у него тоже сгенерированы: женщину в очках нарисовала Nano Banana 2, танец на 6 секунд сняла Grok Video 1.5. Фигуры у героини и танцовщицы похожи, так что смотреть стоит на лицо.

Мы разобрали ролик по кадрам. Очки, рыжие кудри и узор на свитере держатся до конца, а после оборота к нам поворачивается та же женщина. Этот же танец на этой героине мы прогнали ещё в семи нейросетях, их ролики собраны в обзоре нейросетей для переноса движения.

Как это работает

В форме два обязательных файла. В поле Видео движения кладут ролик, где человек делает то, что должен сделать герой: танцует, машет рукой, кланяется, жестикулирует. Его можно снять на телефон или сгенерировать в любой видеонейросети сайта. В поле Референс-изображение идёт сам герой: рисунок, 3D-персонаж, маскот, портрет выдуманного человека.

Модель считывает с видео позу в каждом кадре и переносит её на героя. Фон, одежда и стиль рисунка берутся с картинки, а движение, его темп и длина берутся из ролика. Поле Задание (промпт, то есть текстовая подсказка для нейросети) можно оставить пустым: им уточняют фон, свет или стиль, а движение уже есть в видео.

Платите за секунды загруженного ролика. Форма сама измеряет его длину, неполную секунду считает целой и показывает сумму на кнопке Отправить до запуска. Готовое видео появится в ленте под формой и пролежит в разделе Мои результаты 7 дней: за это время скачайте его или сохраните в библиотеку. Изменить вернёт файлы и настройки в форму, чтобы поправить что-то одно, а Повторить сразу запустит то же задание ещё раз.

Настройки: что менять в форме

• В поле Видео движения идёт один файл MP4, MOV или WebM длиной от 1 секунды до 10 минут. Лучше всего, когда в кадре один человек и виден целиком, без склеек и резких обрезаний. Звук ролика окажется в результате, так что лишнюю музыку уберите заранее.
• Для поля Референс-изображение подойдёт один файл JPG, PNG, WebP или HEIC. Берите героя в полный рост, если в видео танец, и в той же ориентации, что ролик: для вертикального видео вертикальную картинку.
• В Задание влезает до 2000 знаков, но хватает одной-двух фраз о том, кто с картинки и что остаётся от неё.
• У поля Ускорение сразу выбрано «Regular (рекомендуется)», в нём мы делали все пробы. По подсказке формы этот вариант включает кэширование и обычно ускоряет генерацию, а None его отключает. С None мы не запускали, так что разницы в качестве назвать не можем.
• Переключатель Адаптировать движение оставьте включённым. Наша проба с гномом показала, что без него герой с другой фигурой принимает фигуру человека из ролика.
• Переключатель Усилить сохранение внешности по умолчанию выключен и делает запуск дороже. Перед анимацией модель дополнительно готовит картинку, чтобы лицо и внешность передались точнее. Мы его не включали: у гнома и героини в очках внешность и так удержалась. Его стоит попробовать, если на картинке реалистичное лицо, а в видео много поворотов головы.

Как подготовить видео и задание

Результат здесь больше зависит от файлов, чем от текста. Что мы вынесли из проб:

• Поза на картинке должна быть близка к первому кадру видео. Гном стоял прямо с опущенными руками, как девушка в начале танца, и первый кадр вышел без рывка.
• Режьте видео до нужного куска заранее: платите вы за каждую секунду, а модель переносит всё, что в ролике есть.
• Смотрите, что у человека в видео есть такого, чего нет у героя: длинные волосы, сумка, платье. Это может перейти к герою, как хвост девушки к гному.
• Движение в задании не расписывайте, оно уже есть в видео. Пишите о том, что должно остаться: фон, свет, стиль.

Задание удобно собирать из трёх частей: кто с картинки, что он повторяет, что остаётся как было.

Шаблон под маскота бренда:

А так можно оживить детский рисунок:

Задания в обоих примерах выше написаны по-русски, и модель их выполнила. Ролик с пустым полем мы не делали, поэтому сказать, сколько добавляет текст, не можем. Как снять или сгенерировать удачное видео-образец, мы разобрали в инструкции о переносе движения на своего персонажа.

Сколько стоит: секунды видео и надбавка

Цену задаёт длина видео движения, и к ней добавляется надбавка, если включено Усилить сохранение внешности. Надбавка одна на запуск, от длины она не зависит. Задание, ускорение и подгонка движения на цену не влияют.

Для первой пробы отрежьте от видео 3–5 секунд, где есть самое сложное движение, и оставьте сохранение внешности выключенным. Если герой держится, запускайте ролик целиком. Если модерация отклонит запрос или нейросеть вернёт ошибку, деньги вернутся на баланс.

Для чего подойдёт

• Маскот или талисман бренда, сложенный не как человек: круглый, приземистый, с короткими лапами. Как гном выше, он сохранит свою фигуру.
• Мультяшный персонаж для ролика под трендовый танец: танец снимаете или генерируете, а танцует ваш герой.
• Детский рисунок, который машет рукой и кланяется так, как вы покажете на видео.
• Длинный номер целиком: видео принимается до 10 минут, у соседей по сайту предел короче.
• Поздравление, где персонаж повторяет ваш жест или поклон, снятый на телефон.
• Проверка, как герой игры или мультфильма будет двигаться, до того как его анимировать вручную.

Ограничения и что с ними делать

• Только 720p, другое разрешение не выбрать. Ролик в 1080p даёт Kling 3.0 Motion Control, но видео-образец там от 3 до 30 секунд.
• Только оживление картинки: фон всегда берётся с неё. Поставить героя внутрь готового ролика вместо человека умеет Wan 2.2 Animate в режиме «Замена персонажа».
• Вместе с позой к герою переходят черты человека из видео: у нашего гнома на обороте вырос хвост девушки. Подбирайте образец без лишних деталей или без поворота спиной.
• Генерация небыстрая, сколько ждали мы — в вопросах ниже. Длинный ролик сначала проверьте на коротком куске, чтобы не ждать впустую.
• Мы проверяли видео с одним человеком в кадре. Для сцены с двумя героями есть DreamActor V2: в нашей пробе лис и медведь у неё не перепутали движения.

Соседи по семейству Wan и другие нейросети переноса движения

Ближе всех к этой модели две соседки по семейству. В Wan 2.2 Animate есть второй режим, замена героя в готовом ролике, и выбор качества 480p или 720p, но видео не длиннее 120 секунд и переключателя подгонки под фигуру нет. Wan 2.2 Animate 2 тоже только оживляет картинку, зато у неё два текстовых поля, для внешности с фоном и для движения, и поле Seed, чтобы повторить удачный результат. Эту модель берите, когда герой сложён не как человек в ролике или когда ролик длинный.

Остальные модели Alibaba на сайте собраны в обзоре линейки Wan.

Вопросы и ответы