Wan 2.1 MoCha

Коротко

Разработчик

команда Orange 3DV, модель построена на Wan 2.1 от Alibaba

На входе

ролик от 1 до 120 секунд (MP4, MOV, WebM) и одна картинка с персонажем

На выходе

ролик 480p или 720p в пропорциях исходника, той же длины и со звуком исходника

Что меняется

внешность героя целиком: лицо, причёска, одежда

Что остаётся

движения, мимика, фон, свет, предметы в руках

Русский язык

задание на русском понимает, его можно и не писать

Цена

от 7 ₽/сек.

Обычно готово

≈ 5,5 мин после отправки

API

есть, документация

Что получилось: три замены на наших роликах

Заменить персонажа в видео мы попробовали на трёх роликах, и реальных людей среди них нет. Исходники сгенерированы на сайте: бариста снята в Grok Video, танец в Grok Video 1.5, а прогулку и пожилого мужчину для неё мы взяли из готового примера на этой странице, они тоже выдуманы. Двух персонажей для замены мы нарисовали в Nano Banana 2 Lite: выдру-баристу в стиле 3D-мультфильма и пластилиновую бабушку в красном спортивном костюме.

Выдра вместо баристы, чашка осталась в руках

На наш взгляд, самая трудная из проб: в исходнике девушка за стойкой протягивает капучино к камере, что-то говорит и ставит чашку обратно. Когда у героя что-то в руках, нейросеть должна нарисовать новые руки вокруг той же чашки и не потерять её на повороте. Ролик 6 секунд, 480p, результат пришёл через 2,5 минуты.

Получилось с первого раза. Выдра держит ту же чашку с «сердечком» на пенке, улыбается и шевелит губами, пока звучат слова, а кофемашина, растение на стойке и солнечные блики не сдвинулись. Очки и фартук перешли с картинки точно. Подвела надпись на фартуке: вместо названия кофейни вышел набор букв. Лапы при этом стали почти человеческими кистями, с пятью пальцами. Голос в ролике остался девичий, от исходника.

Пластилиновая бабушка повторяет танец

Тот же приём с другим материалом: 6 секунд танца в белой студии, где девушка шагает, поднимает руки, складывает «сердечко» и разворачивается спиной. На место танцовщицы мы поставили бабушку с картинки, 480p.

Все движения на месте, даже разворот спиной: со спины виден седой пучок, которого на картинке не было. Лицо, румянец и белые полоски на костюме узнаются сразу. Отличий от картинки два. Фигура вытянулась под рост танцовщицы, и ноги стали длиннее, чем у коренастой бабушки из пластилина. А костюм заблестел, как пластик: матовую лепку модель передала хуже, чем форму.

Живой человек на улице: 480p или 720p

В готовом примере на этой странице женщину на прогулке заменили пожилым мужчиной в шляпе, в 720p. Мы повторили ту же пару файлов и то же задание в 480p. Слева картинка с героем, справа первый кадр исходника.

Неожиданно ближе к картинке вышел дешёвый вариант: в 480p у мужчины длинная белая борода, как на картинке, а в 720p она короткая и с рыжиной. Скорее всего, дело не в разрешении: на одних и тех же файлах запуски просто выходят разными. Зато в 720p (704×1280) чётче клетка на пиджаке и морщины, а 480p (464×848) на большом экране заметно мылит. Увеличенный кадр из обоих роликов:

Прохожие на заднем плане в обоих роликах остались прежними: модель заменила только женщину в центре кадра.

Как это работает

Загрузите ролик, где нужен другой герой, в поле Видео, а картинку с тем, кто должен появиться, — в поле Референсное изображение (референс — образец внешности). В поле Задание коротко напишите, кого заменить и на кого, и выберите Разрешение: 480p или 720p. Нейросеть смотрит, как двигается человек в ролике, и рисует каждый кадр заново, но уже с персонажем с картинки. Фон, свет, движение камеры и звук берутся из исходника, ролик выходит той же длины и в тех же пропорциях.

Оплата идёт посекундно: сколько секунд в загруженном ролике, столько и спишется, неполная секунда считается целой. Сумму форма покажет на кнопке Отправить, ещё до запуска. Результат приходит в ленту прямо под формой, а в разделе Мои результаты хранится 7 дней, поэтому удачный ролик стоит скачать или сохранить в библиотеку. Чтобы поправить задание или поменять картинку, нажмите на результате Изменить: файлы и настройки встанут обратно в форму. Кнопка Повторить отправит то же самое ещё раз, и это имеет смысл: у MoCha два запуска на одних файлах выходят немного разными.

Исходник и картинка должны быть вашими: со своими героями, выдуманными персонажами или людьми, которые разрешили так с собой поступить. Изображение гражданина по статье 152.1 ГК РФ можно использовать лишь с его согласия, а пользовательское соглашение возлагает ответственность за файлы и результат на автора запуска.

Настройки: какой ролик и какую картинку брать

• В поле Видео подойдёт ролик длиной от секунды до двух минут. Удобнее всего один план, где герой хорошо виден в полный рост или по пояс. Обрежьте лишнее заранее: секунды округляются вверх, и ролик длиной 6,04 секунды посчитается как 7. Наш исходник с баристой мы для этого срезали до ровных 6.
• Для поля Референсное изображение нужна одна картинка JPG, PNG, WebP или HEIC. Персонаж на ней должен быть виден целиком, на ровном фоне, без других людей. Стоит он в полный рост, а в ролике снят по пояс — не страшно: выдра на картинке стояла целиком, а в кадр попала до пояса без проблем.
• Задание можно оставить пустым, в нём помещается до 2000 знаков. Мы писали его во всех пробах. Без текста модель тоже запускается, но как она тогда выбирает героя, мы не проверяли.
• Разрешение по умолчанию стоит 480p. В нём удобно проверять идею на трёх-пяти секундах, а финал для большого экрана повторить в 720p: секунда там дороже, но картинка чётче.

Как писать задание

Длинное задание MoCha не нужно. Мы писали его по одной схеме из четырёх частей, и она сработала во всех трёх пробах:

1. кого заменить: «девушку-баристу», «мужчину в синей куртке»;
2. на кого: «на мультяшную выдру с картинки»;
3. какие детали с картинки держать: одежда, очки, причёска, цвет;
4. что оставить как было: место, свет, движения, камеру.

Писали мы по-русски, и модель понимала. Перечислять детали картинки в задании не обязательно, мы делали это для надёжности. А вот просить сменить фон, переодеть остальных или добавить герою новое действие бесполезно: MoCha меняет только героя и его внешность, сцену и движения она берёт из ролика.

Сколько стоит замена героя

На цену влияют только две вещи: сколько секунд в исходном ролике и какое выбрано разрешение. В 720p каждая секунда дороже.

Для проб берите 480p и короткий отрывок: так ошибка в задании или неудачная картинка обойдутся дешевле всего. Если запуск закончится ошибкой, списанное автоматически вернётся на баланс.

Для чего подойдёт

• Поставить маскота бренда в живой ролик: продавец, бариста или курьер играют сцену, а в кадре оказывается ваш мультяшный герой, как выдра выше.
• Сделать смешное поздравление: друг снимает танец, а танцует в итоге пластилиновый персонаж или зверь.
• Спрятать человека в ролике, не размывая его: вместо него в кадре окажется выдуманный герой, а жесты и место съёмки сохранятся. Голос при этом придётся менять отдельно, например в Замене голоса.
• Примерить образ персонажа для клипа или короткого фильма до съёмок в костюмах.
• Собрать черновик сцены: снять движение на телефон самому, а на роль поставить героя, которого вы нарисовали заранее.
• Повторить один и тот же танец разными персонажами для серии роликов.

Ограничения и что с ними делать

• Надписи на одежде портятся. Название кофейни на фартуке выдры превратилось в абракадабру. Если надпись важна, выберите картинку без неё и добавьте текст потом в видеоредакторе.
• Пропорции идут от исходника. Коренастая бабушка вытянулась под рост танцовщицы. Приземистый зверь на четырёх лапах, скорее всего, впишется в чужой силуэт ещё хуже, хотя такого мы не пробовали. Подбирайте ролик, где человек близок по фигуре к герою.
• Каждый запуск чуть другой. Борода в 720p вышла короче, чем в 480p, на тех же файлах. Не понравился результат — нажмите Повторить, а пробы делайте в 480p.
• Голос не меняется. Звук целиком берётся из исходника, поэтому выдра говорит голосом девушки.
• Выбрать, кого менять, в форме нельзя. На улице модель взялась за женщину в центре кадра и не тронула людей позади. Ролик, где на переднем плане двое, мы не пробовали; можно попробовать указать нужного человека в задании по одежде и месту в кадре, но надёжнее взять ролик с одним героем.
• Ролик не длиннее 120 секунд. Длинное видео разрежьте на части и прогоните по очереди.

Wan 2.2 Animate и другие соседи

Ближе всех к MoCha Wan 2.2 Animate: в режиме «Замена персонажа» она делает то же самое, а в режиме «Анимация» умеет обратное. Обе модели на одних и тех же исходниках сравнивались в статьях о нейросетях «видео из видео» и о контроле движения, и в обоих сравнениях внешность с картинки точнее передала Animate. Остальные модели семейства собраны на странице Wan.

Вопросы