Как сохранить лицо в видео: референсы для Seedance 2.5 и Kling

Мы загрузили в Seedance 2.5 одно фото героини и написали фразу, которую часто пишут в промптах: «СОХРАНИ ЛИЦО 1 В 1». Девушка на набережной резко оборачивается и смеётся, и к четвёртой секунде это другая женщина: старше, лицо круглее, чёрные волосы стали каштановыми. Чтобы сохранить лицо в видео, покажите нейросети лицо таким, каким оно будет в кадре: с разных сторон и с той же эмоцией.

Слева портрет, по которому всё делалось. В середине четвёртая секунда ролика по одному фото, справа та же секунда, когда мы добавили три ракурса и снимок, где героиня смеётся. Сцена и настройки одинаковые: Seedance 2.5, 16:9, 480p, 5 секунд, 70 ₽ за ролик. Вот второй ролик целиком:

Героиня выдуманная. Её портрет и референсы мы сгенерировали в Nano Banana Pro, ролики сделали на Братухе по промптам из статьи и ничего не монтировали. На шесть роликов и шесть картинок (одну из них мы сделали зря, об этом ниже) ушло 453 ₽.

Почему лицо меняется посреди ролика

Нейросеть знает лицо только таким, как на фото: анфас, спокойным, в этом свете. Всё, чего на фото нет, она дорисовывает. Поворот в профиль, широкая улыбка, камера, которая облетает героя по кругу, заставляют её рисовать то, чего она не видела, и в кадре появляется немного другой человек. Фраза «сохрани лицо 1 в 1» не показывает, как лицо выглядит сбоку или в смехе, а именно это нейросети приходится придумывать.

Мы сняли одну героиню шесть раз: меняли референсы, промпт и сцену, по одному ролику на вариант.

Сильнее всего лицо ломает эмоция, которой нет на референсах. Три ракурса без смеха героиню не спасли, а четвёртое фото, где она смеётся, спасло. В спокойной сцене лицо держится даже по одному фото. Это по одному ролику на вариант, но разница видна с первого взгляда.

Четыре референса героини в Nano Banana Pro

Для сцены с поворотами и эмоциями нужны четыре фото героя: анфас, поворот на три четверти, профиль и снимок с той эмоцией, которая будет в ролике. Лучше при одном свете и на однотонном фоне: фон с портрета может переехать в видео, так случилось у нас в инструкции по Seedance 2.5. Недостающие ракурсы можно получить из одного портрета в Nano Banana Pro.

Шаг 1. Впишите промпт в поле Задание 1 и загрузите портрет анфас в Изображения 2. Соотношение сторон 3:4, режим «Обычный». Цена от разрешения не зависит, на кнопке Отправить 3 будет 8 ₽. В макете промпт для смеющейся героини:

Шаг 2. Тем же способом сделайте поворот на три четверти:

Для профиля замените в этом промпте первую фразу на «Строгий профиль: голова повёрнута вправо на 90 градусов, видно одно ухо и линию носа и подбородка». Картинки приходили за 15–76 секунд.

Шаг 3. Сверьте картинки между собой, пока не заплатили за видео: чёлка той же длины, возраст тот же, родинка над губой с той же стороны. Мы сами забраковали верный профиль и заказали его заново: показалось, что родинка переехала на другую сторону лица, а к камере просто была повёрнута та половина, где она есть. Так и получилась лишняя шестая картинка. Если нужен лист со всеми ракурсами на одной картинке, есть шаблон «Карта персонажа». Для видео мы брали отдельные файлы, чтобы в задании называть каждый по номеру.

Seedance 2.5: референсы и метки @image

Откройте Seedance 2.5 и заполните форму.

1. В поле Тип генерации 1 оставьте «Видео по референсам», он стоит по умолчанию.
2. Загрузите четыре фото в Референсные изображения 2. Метка зависит от порядка загрузки: первое фото станет @image1, четвёртое @image4.
3. Впишите промпт в Задание. В начале скажите, что на каждом файле, дальше называйте героиню меткой. Метку можно не печатать целиком: введите @ и выберите файл в меню.
4. Выберите 16:9, Разрешение 480p 3 и 5 секунд. Звук нам был не нужен, и мы его выключили, у Seedance он на цену не влияет. На кнопке Отправить будет 70 ₽.

Этот промпт дал ролик из начала статьи, ждали около 4 минут. Для сравнения первый ролик: одно фото, та же сцена и тот самый капс вместо меток.

Первые две секунды героиня идёт спиной, и лицо появляется только на развороте. Родинку нейросеть сохранила, остальное нарисовала заново. Ещё один ролик мы сделали с тремя ракурсами и метками, но без фото со смехом, и лицо ушло почти так же: морщинки у глаз, шире скулы. Как героиня смеётся, нейросеть не знала и придумала сама. Выходит, лицо спасли не слова в промпте, а фото со смехом.

Спокойная прогулка: хватит и одного фото

Когда герой просто идёт, смотрит по сторонам и чуть улыбается, лицо держится и без набора ракурсов. Мы дали Seedance 2.5 портрет и кадр пустой набережной, чтобы задать место. Набережную сделали в той же Nano Banana Pro, 16:9:

Промпт ролика:

Героиня узнаётся до последнего кадра. С тремя ракурсами вместо одного портрета разница видна только в профиле, и она мелкая: по одному фото родинка оказалась ниже губы, ближе к щеке.

Ждать пришлось долго: ролик по одному фото шёл почти 10 минут, по трём ракурсам 7,5, хотя остальные ролики Seedance приходили за 3–4 минуты. Если герой в кадре почти не двигается и не смеётся во весь рот, начинайте с одного хорошего портрета анфас, а ракурсы и эмоции добавляйте, когда в сцене появятся повороты головы и крупный смех.

Тот же промпт в Kling 3.0

В Kling 3.0 мы отправили три ракурса героини и набережную с промптом спокойной прогулки. Набережная здесь @image4, потому что перед ней идут три фото. Тип генерации 1 тоже «Видео по референсам», а в поле Референсы 2 помещается до 7 картинок. Разрешение 3 здесь начинается с 720p.

5 секунд в 720p стоили 55 ₽, дешевле, чем Seedance в 480p. Ждали 3 минуты. Лицо узнаётся, чёлка и родинка на месте, но черты мягче и круглее, чем на портрете. Если лицо в кадре крупное и важна каждая черта, мы бы взяли Seedance. Когда героиня в кадре по пояс, как здесь, разница почти не видна, а Kling дешевле и сразу в 720p.

У Kling две особенности. Референсы он принимает только в JPG и PNG, WebP придётся пересохранить. И в форме есть поле Элементы: до трёх персонажей с именем, описанием, основным фото и одним–тремя дополнительными, в задании их зовут через @имя. В блоге Kling их советуют для героя, который повторяется в разных сценах. Мы их для этой статьи не проверяли.

Если лицо всё равно поплыло

• Лицо меняется, когда герой смеётся, плачет или кричит. Добавьте фото с этой эмоцией и напишите в промпте «смеётся, как на @image4».
• После поворота головы в кадре другой человек. Добавьте ракурс в три четверти и профиль.
• В ролик переехал фон с портрета. Снимите героя на однотонном фоне или напишите «из @image1 взять только внешность, фон не использовать».
• Уплыли волосы или возраст. Перечислите в конце промпта, что должно остаться: цвет и длину волос, родинки, веснушки. Мы так делали во всех роликах, кроме первого.
• Файл не загружается. У Seedance 2.5 сторона картинки должна быть от 300 до 6000 px.

Если ролик почти удался и сбилось что-то одно, нажмите Изменить 1 под роликом, ниже карточка нашей прогулки в Seedance. Задание и файлы вернутся в форму. Поправьте одну строку промпта, остальное не трогайте.

Вопросы о лице в видео

Про фото, а не видео, есть отдельная статья: как сохранить своё лицо при нейрофотосессии.