Wan 2.1 MoCha

Wan 2.1 MoCha - нейросеть для замены персонажа в видео по референсному изображению: вы даёте картинку с нужным героем и исходный ролик, а на выходе получаете то же видео, но с другим персонажем.

По заявлениям авторов MoCha, это end-to-end система замены персонажа (то есть «под ключ»), которая старается обходиться без сложных подсказок вроде карт позы/глубины для каждого кадра. Идея такая: вы показываете, кого нужно вставить (референс-картинка) и как он должен двигаться (движение берётся из исходного видео), а модель пытается аккуратно «пересобрать» ролик с новым персонажем.

Как это работает

Проще всего представить так:

1. Нейросеть смотрит исходное видео и понимает, как человек двигается, куда поворачивает голову, какая мимика и жесты.
2. Отдельно она смотрит на вашу референсную картинку и «запоминает», как должен выглядеть новый персонаж.
3. Дальше она генерирует видео заново, стараясь сохранить движение и эмоции из оригинала, но заменить внешность/образ персонажа на тот, что на референсе.

На практике качество сильнее всего зависит от того, насколько хорошо в исходном ролике видно человека (лицо, руки, силуэт) и насколько референс похож по ракурсу и стилю.

Настройки

• Задание - текстом объясняете, что именно нужно заменить и каким должен быть результат. Например: «замени человека на девушку с референса, сохрани мимику и повороты головы, стиль - реалистичный».
• Референсное изображение - фото/картинка персонажа, которого надо «вставить» в видео. Чем чётче лицо и меньше лишних деталей в кадре, тем проще модели.
• Видео - ролик, где нужно заменить персонажа (1-120 секунд).
• Разрешение - качество результата: 480p быстрее и дешевле, 720p чётче, но дороже.

Для чего подойдёт

• Подменить героя в коротком ролике для шутки или поздравления (например, «сделай, будто в видео снимается мой друг»).
• Быстро примерить образ для сторис: как бы выглядел персонаж в другом стиле/внешности, но с теми же движениями.
• Заменить актёра в демо-ролике, когда переснимать нет времени, а нужен тот же монтаж и движения.
• Сделать «двойника» для клипа: сохранить танец/жестикуляцию из исходника, но поменять внешность.

Ограничения

• Сложные перекрытия (когда персонаж закрыт одеялом, руками, предметами, стоит спиной, в темноте) часто дают артефакты: модели банально неоткуда «угадать», что должно быть под закрытыми областями.
• Если в кадре несколько людей, легко «поплывает» замена: может перепутаться, кого именно менять.
• Сильно сжатые видео, резкие повороты камеры, быстрые движения и смаз - частые причины «дрожания» деталей и странностей в лице.
• Результат обычно лучше на коротких фрагментах (по смыслу: один план, один свет, один ракурс), чем на длинном клипе, где всё постоянно меняется.

Чем отличается от похожих решений

Wan 2.1 MoCha обычно описывают как подход, который делает замену персонажа более «цельной» без обязательных вспомогательных карт (поза/глубина) на каждый кадр - то есть меньше ручной возни, если вам нужен именно быстрый персонаж-свап по референсу. При этом чудес не бывает: чем сложнее исходник (перекрытия, плохой свет, мало деталей), тем заметнее ограничения.