Wan 2.2 Fun Control

Коротко

Разработчик

Alibaba (команда PAI), открытая модель из ветки Wan 2.2 Fun

На входе

видео MP4, MOV или WebM от 1 до 120 секунд, до 300 МБ, и одна картинка-образец JPEG, PNG, WebP или HEIC до 10 МБ

Что откуда берёт

движение, позы и ракурс из видео, внешний вид и стиль с картинки

На выходе

ролик 480p или 720p почти той же длины, что исходное видео

Звук

своего не делает, в ролике остаётся звук исходного видео

Русский язык

задание понимает по-русски, а заполнять его не обязательно

Цена

от 10 ₽/сек.

API

есть, документация

Что умеет: зима, карандаш, аниме и брейк-данс

Wan 2.2 Fun Control получает два файла. Видео задаёт, кто и как двигается и куда едет камера, а картинка показывает, как всё это должно выглядеть, вплоть до цвета неба и фактуры одежды. Лучше всего картинка работает, когда это первый кадр того же видео, но уже изменённый: перерисованный в другом стиле, с другим временем года, в другой одежде.

Мы сделали три запуска в 480p. Все удались с первого раза. Людей в роликах не существует: исходные видео сняли нейросети сайта, а кадры-образцы мы переделали в Nano Banana 2 Lite. Четвёртый пример уже лежит на странице во вкладке «Примеры».

Та же прогулка, но зимой

Исходник — сгенерированный ролик, где женщина в бежевом тренче идёт по мощёной улице с осенними листьями, а камера плавно отъезжает перед ней. Мы взяли его первый кадр и попросили Nano Banana 2 Lite перенести сцену в снежную зиму, не трогая композицию. С первого раза снег лёг только на крыши, а листья на брусчатке остались. Со второго, когда мы прямо написали «осенних листьев нет совсем», улица оказалась под снегом, а на героине появились красная шапка и шарф.

Та же прогулка, но зимой, как на кадре-образце: снег на брусчатке и крышах, падают снежинки, на женщине красная шапка и красный шарф. Походка, движение камеры и прохожие как в исходном видео.

Походка, наклоны головы и отъезд камеры совпали с исходником, прохожие на заднем плане идут там же. В конце ролика героиня поворачивает голову влево, как в оригинале, и шарф с шапкой при этом не съезжают и не меняют цвет. Свет стал холодным, голубоватым, как на образце. Звук исходного видео перешёл в результат без изменений. Ролик пришёл через полторы минуты.

Карандашный набросок, задание пустое

Ту же прогулку мы обрезали до 2,9 секунды и дали модели набросок графитом на белой бумаге. Поле Задание осталось пустым.

Хватило. Все три секунды ролик остаётся серым рисунком без единого цветного пятна. Штрихи на плаще и брюках, правда, превратились в мягкую растушёвку. Ждали 74 секунды.

Танец в стиле аниме

Этот пример есть во вкладке «Примеры». Исходник — сгенерированный танец девушки в белой футболке и джинсах с шагами, руками над головой и поворотом спиной. Первый кадр перерисовали в аниме в Nano Banana 2. Стиль продержался до конца ролика, даже на повороте, где лица не видно, а волосы и джинсы остались рисованными.

Перерисуй это видео в стиле японского аниме: чистые контуры, мягкая заливка цветом, большие выразительные глаза. Движения девушки, ракурс, студия и одежда остаются как в исходном видео.

Брейк-данс: проверка на чужом фоне

А если на картинке совсем другая сцена, не из видео? Мы взяли файлы из статьи про Wan 2.2 Animate: выдуманного мужчину лет шестидесяти в костюме-тройке посреди мраморного холла и брейк-данс танцовщицы в оранжевой толстовке под мостом. Танец обрезали до 3,9 секунды, задание оставили тем же, что было у Animate.

Мост и граффити из видео в ролик не попали: холл, часы на балконе и прохожие взяты с картинки, как и у Animate. Танец повторён целиком, от приседа до стойки на одной ноге с поднятой рукой. Разница в деталях. Когда танцовщица на полу отворачивается, Fun Control тоже разворачивает героя затылком к нам, а Animate держит его лицом к камере. На вертушке у обеих смазываются лицо и кисти, ноги при этом не путаются. Выходит, что с героем на своём фоне Fun Control ведёт себя почти как Animate в режиме «Анимация», только повторяет позы буквальнее.

Как это работает: видео плюс кадр-образец

Форма просит два файла. В поле Видео загружают исходник: свою съёмку с телефона или ролик из видеонейросети. В поле Изображение кладут кадр-образец, то есть картинку, по которой модель поймёт, как должен выглядеть результат. Проще всего вытащить первый кадр видео нейросетью Извлечь кадр и переделать его в любой картиночной нейросети: сменить стиль, погоду, одежду, сохранив позу и композицию.

Дальше модель перерисовывает ролик кадр за кадром. Кто куда идёт, как поворачивается и как едет камера, она берёт из видео, а цвета, стиль и детали берёт с картинки. Поле Задание (промпт, текстовая подсказка) необязательное: в нём уточняют, что поменять и что оставить. Режимов и переключателей здесь нет, из настроек только качество.

Платят за секунды загруженного видео. Форма сама определяет его длину, неполную секунду считает целой, и итоговая сумма видна на кнопке Отправить до запуска. Готовый ролик появляется в ленте под формой и 7 дней хранится в разделе Мои результаты: его можно скачать или сохранить в библиотеку. Изменить вернёт файлы и поля в форму для правки, Повторить сразу запустит то же задание ещё раз.

Настройки: файлы и качество

• Исходник для поля Видео подойдёт в MP4, MOV или WebM, длиной от секунды до двух минут и весом до 300 МБ. Лучше без склеек: после склейки начинается сцена, которой нет на кадре-образце.
• В Изображение кладут один файл JPEG, PNG, WebP, HEIC или HEIF до 10 МБ. К вертикальному ролику нужен вертикальный кадр, а люди и предметы на нём стоят там же, где в первом кадре видео.
• Качество сразу стоит на 480p. Наши вертикальные ролики вышли в нём размером 470×852, для проверки идеи и для телефона этого хватает. 720p берите для финала, когда важны мелкие детали и лица в быстром движении.
• В Задание помещается до 2000 знаков, но хватает двух предложений. Поле можно оставить пустым, если кадр-образец уже всё показывает, как в нашем наброске.

Как сделать кадр-образец и написать задание

Результат почти целиком решает картинка. Что помогло нам:

• Берите первый кадр того же видео, а не случайную картинку. Тогда модели не нужно ничего додумывать в первые секунды.
• Просите картиночную нейросеть менять только то, что нужно, и прямо называть, что исчезает: «осенних листьев нет совсем». Без этой фразы у нас остались листья на снегу.
• Проверьте кадр глазами до запуска. Каждая деталь образца уйдёт во все кадры ролика, поэтому лишние надписи и логотипы на нём ни к чему.
• Для первой пробы режьте видео до 3–5 секунд, чуть короче целого числа: 3,9 секунды оплачиваются как 4.

Приёмы смены стиля на одной картинке собраны в инструкции «Как изменить стиль фотографии на Pixar, Ghibli, Van Gogh и другие». Задание удобно строить из трёх частей: что меняется, как на образце, и что остаётся из видео.

Шаблон для смены стиля:

Для смены обстановки:

Мы писали задания по-русски, и модель их поняла. Движение в тексте не описывайте: оно уже есть в видео, а лишние слова о движении могут спорить с исходником.

Сколько стоит перерисовка

Цену задают две вещи: качество и длина загруженного видео. Задание и картинка на неё не влияют.

Секунда в 720p дороже, чем в 480p. Сначала проверьте кадр-образец на коротком отрезке в 480p, как мы, а целый ролик и 720p запускайте после удачной пробы. Если модерация отклонит запрос или нейросеть вернёт ошибку, деньги вернутся на баланс.

Для чего подойдёт

• Стилизация видео: съёмка с телефона становится аниме, мультфильмом, акварелью или карандашным наброском, как в примерах выше.
• Сменить время года или суток без пересъёмки: осенняя прогулка превращается в зимнюю.
• Переодеть героя на всём ролике: в зимней прогулке шапка и шарф, которых не было в исходнике, продержались до последнего кадра.
• Сделать серию роликов в одном стиле: один и тот же приём перерисовки для каждого исходника.
• Оживить персонажа на своём фоне по чужому движению, как банкира в брейк-дансе.
• Длинные ролики: видео принимается до двух минут.

Ограничения и что с ними делать

• Без кадра-образца не обойтись: поле Изображение обязательное. Если хочется поменять ролик одними словами, попробуйте Wan 2.2 Video Edit, ей нужно только видео и задание, или Gemini Omni.
• Выше 720p не выбрать, а в 480p быстрые движения смазывают лица и руки, как на вертушке у банкира.
• Мы проверяли ролики до 5 секунд. Если камера в длинном видео уходит туда, чего нет на кадре-образце, внешний вид этих мест модели придётся придумать, и стиль может отличаться. Длинное видео лучше сначала проверить по кускам.
• Звука модель не сочиняет: в ролике остаётся звук исходного видео. Ненужную музыку уберите до загрузки.
• Режима замены человека в готовой сцене нет. Для этого в Wan 2.2 Animate есть «Замена персонажа».

Чем Fun Control отличается от Wan 2.2 Animate и других

У Wan 2.2 Animate в поле Тип генерации два режима: «Анимация» оживляет героя на фоне его картинки, «Замена персонажа» ставит героя в сцену из видео. Она работает с героем. Fun Control работает со всем кадром: перерисовывает ролик целиком по образцу, а режимов у неё нет. На одинаковых файлах с брейк-дансом обе выдали похожие ролики, и для оживления героя по танцу выбирать между ними можно по другим признакам: у Animate есть замена персонажа, у Fun Control позы повторяются буквальнее. Перерисовать прогулку в зиму или в набросок Animate не предназначена, и тут нужна Fun Control.

Все нейросети для переноса движения на одном танце сравнивает обзор «Контроль движения», а перерисовку ролика рядом с Gemini Omni показывает раздел «Видео из видео». Остальные модели Alibaba собраны в обзоре линейки Wan.

Вопросы о Fun Control