Нейросети для изменения видео

Нейросеть для изменения видео берёт уже снятый ролик и переделывает в нём одну вещь: переводит речь на другой язык голосом того, кто в кадре, делает из горизонтального видео вертикальное, вшивает субтитры, переснимает неудачный кусок или дописывает продолжение. В разделе девять нейросетей, и почти у каждой своя задача, поэтому мы взяли один десятисекундный ролик и прогнали его через большинство из них. Для диалога понадобился отдельный ролик с двумя людьми.

Девушки из ролика не существует. Кадр мы сгенерировали в GPT Image 2, а видео с русской речью сделали из него в Grok Video 1.5 по такому заданию.

Как изменить видео на сайте

Откройте нейросеть по ссылке или карточке выше и загрузите ролик в поле Видео: все нейросети раздела принимают MP4, MOV и WebM, по одному файлу. Цена зависит от длины ролика (у LTX 2.3 — от длины нового куска), поэтому на кнопке Отправить она появляется после загрузки, до запуска. Почти везде платите за секунду, а субтитры считаются по минутам. Готовое видео появится под формой и в разделе Мои результаты, хранится 7 дней. Если сайт для вас новый, начните с инструкции по сайту.

Перевести видео на другой язык

Для перевода на сайте две нейросети HeyGen. Они распознают речь, переводят её, озвучивают заново голосом того, кто говорит в кадре, и перерисовывают губы под новые слова. Записывать образец голоса не нужно: нейросеть берёт его из самого ролика. В списке Язык перевода у обеих 178 вариантов, среди них отдельные варианты для разных стран, например английский для Австралии или испанский для Мексики.

Наш ролик ушёл на английский в обе нейросети, причём во второй версии мы запустили оба режима.

Обе перевели фразу правильно: «Hi everyone! Today I'll share how I plan my whole week in 10 minutes. All you need is a notebook, a pen and a cup of coffee». Режим Speed во второй версии (в сравнение он не вошёл) начал чуть иначе, «Hello everyone… I'll tell you», смысл тот же. Жесты и поворот головы остались от оригинала, поменялись рот и нижняя часть лица. Ждали от двух с половиной до трёх с небольшим минут. Разницы в губах между Speed и Precision на нашем ролике почти не видно. Девушка смотрит прямо в камеру, рот ничем не закрыт, а на такие кадры Speed, по словам HeyGen, и рассчитан.

HeyGen Translate или Heygen Translate 2

HeyGen Translate проще и дешевле: в форме только видео и язык, ролик до 2 минут. Оплата по секундам ролика (), и для одного человека, который говорит в камеру, этой нейросети хватает.

Heygen Translate 2 берёт записи до 6 часов, и настроек в ней больше. В поле Тип генерации два режима. Speed, по описанию HeyGen, рассчитан на лицо, повёрнутое от камеры не больше чем примерно на 45°. Precision дороже и нужен, когда человек снят в профиль, рот закрывают рука или микрофон или в кадре говорят несколько человек. Ещё есть переключатель Только перевод аудио: лицо не меняется, заменяется только голос. Динамическая длительность включена сразу и даёт фразе на другом языке растянуться или сжаться, поэтому длина ролика может немного измениться: наши 10 секунд стали 9,96 в Speed и 10,1 в Precision.

Сделать вертикальное видео из горизонтального

Обрезанный под экран телефона горизонтальный ролик теряет края кадра. Нейросети Luma, по описанию разработчика, работают иначе: оставляют исходную картинку и дорисовывают сцену там, где кадра не хватает. Для вертикального видео в 9:16, как экран телефона, это полосы сверху и снизу. По словам Luma, дорисованная часть сохраняет свет исходника.

Luma Reframe или Luma 3.2

Единственная задача Luma Reframe — смена формата. В поле Модель два варианта: Ray 2 Flash берёт ролик до 30 секунд, Ray 2 дороже и берёт до 10 секунд. Файл можно загрузить до 100 МБ, а пропорции выбрать от 21:9 до 9:21, включая квадрат. Поле Подсказка можно оставить пустым. Если края дорисовываются не такими, как нужно, поставьте галочку Использовать первый кадр как ориентир и загрузите картинку. Оплата по секундам ролика: в Ray 2 Flash от 8 ₽/сек., в Ray 2 дороже.

За Luma 3.2 стоит модель Ray3.2, которую Luma выпустила в июне 2026 года. Формат она меняет в режиме «Рефрейм» (так называют смену формата кадра) в поле Тип генерации: ролик до 30 секунд, разрешение 540p для проб, 720p для телефона или 1080p для большого экрана, и Задание обязательно. В нём стоит описать, что должно появиться по краям, например: «сверху продолжи стену и потолок, снизу — стол». В том же поле есть «Редактирование»: по словам Luma, оно меняет в ролике героя или окружение и сохраняет движение. Это задача другого раздела, «Редактирование видео». Цена (от 10 ₽/сек.) зависит от режима и разрешения.

Субтитры прямо в кадре

За последний месяц в разделе чаще всего запускали VEED Subtitles. Она распознаёт речь и вшивает текст прямо в картинку, так что субтитры видны в любом плеере и в ленте соцсети без звука. В поле Язык речи есть русский, ещё 6 языков и «Автоматически». Переводить она не умеет: текст будет на том языке, на котором говорят в ролике.

Мы взяли стиль Glide: слова появляются по одному, а главные выделены крупным жёлтым шрифтом. Ошибок нет, «десять минут» написано словами, как сказано. Жёлтые слова на горчичном свитере читаются хуже белых, поэтому тень пригодилась. Результат пришёл через минуту.

В поле Стиль субтитров 28 вариантов, среди них спокойный «Простой» и «Рукописный», а Положение субтитров и Тень текста настраиваются отдельно. Цена считается по начатым минутам: от 15 ₽/мин., в 1080p дороже.

Продлить ролик или переснять кусок

LTX 2.3 от Lightricks умеет и создавать видео, и менять готовое. Для этого в поле Тип генерации есть два режима. «Продлить видео» дописывает от 1 до 20 секунд в начало или в конец ролика. «Изменить видео» переснимает кусок: в полях С какой секунды заменить и Длительность замены (сек) задаётся отрезок, а в поле Что заменить выбирается «Только звук», «Только видео» или «Звук и видео». Платите только за новые секунды, а не за весь ролик, но секунда продления или замены стоит дороже, чем секунда видео из текста.

Мы хотели, чтобы на стол к девушке запрыгнул рыжий кот. Первые две попытки делали это посередине ролика, с 4-й и с 3-й секунды, и оба раза кот пробегал через кадр и пропадал, хотя в задании он садился рядом с блокнотом. Похоже, мешает то, что после отрезка идёт старое видео без кота, и нейросеть уводит его, чтобы куски сошлись. Тогда мы пересняли последние 3 секунды, с 7-й: кот запрыгнул на стол, и девушка его гладит. Потом этот ролик мы продлили ещё на 5 секунд в конец.

Задание для замены куска:

Рыжий кот запрыгивает на стол справа от женщины и садится рядом с открытым блокнотом. Женщина договаривает фразу в камеру и одной рукой гладит кота. Камера неподвижна, свет и кухня те же.

Задание для продления:

Кот садится на стол рядом с блокнотом. Женщина молча улыбается, берёт белую кружку, делает глоток кофе и снова смотрит в камеру. Никто не говорит, тихая кухня. Камера неподвижна.

Речь осталась прежней, потому что мы меняли только картинку. Кот так и не сел: в продолжении он ушёл за край кадра, а девушка отпила кофе, как в задании. Ролик вырос до 15 секунд. Каждый запуск занимал около полутора–двух минут. Переснять можно только кусок, который начинается не позже 20-й секунды ролика.

У LTX 2.3 есть и другие режимы: видео из текста или картинки до 2160p и говорящее фото. Их сравнивают с другими нейросетями в разделах «Продление видео» и «Говорящее фото».

Новая речь в том же видео

Новую озвучку, например исправленный текст или запись на другом языке, накладывает на готовое видео InfiniteTalk Video. Это открытая модель MeiGen. По словам разработчиков, она подстраивает под звук рот, мимику, наклон головы и позу. В форме видео и аудио. Звук лучше загружать без музыки и шума, это написано и в подсказке к полю Аудио. Есть два режима: Fast для проб и «Обычная» в 480p или 720p.

Новую фразу мы озвучили голосом «Марина» в нейросети Мега и загрузили её вместе с исходным роликом.

Новый текст: «А теперь главное. По воскресеньям я выписываю три дела, без которых неделя не сложится. Всё остальное — по настроению».

Руки двигаются так же, как в оригинале, а губы и лицо говорят новый текст. Голос теперь из Меги: InfiniteTalk сам голос не подделывает, какой звук загрузили, такой и будет. Ждали почти 4 минуты. Цена считается по длине видео: Fast дешевле, а «Обычная» в 720p дороже, чем в 480p. Инструкция «Как создать видео липсинк» и раздел «Липсинк» расскажут о других нейросетях, которые подгоняют губы под звук.

Двое в кадре

InfiniteTalk Video Multi работает с диалогом: загружаете одно видео и две дорожки, для человека слева и справа. В поле Порядок выбираете, говорят они одновременно или по очереди. Мы сделали ролик с парой в кафе, озвучили в Меге вопрос парня и ответ девушки и выбрали «Справа → слева». Парень сидит справа и в середине ролика подносит чашку ко рту, поэтому первая реплика досталась ему, пока чашка ещё не у лица.

Парень: «Слушай, ты уже купила билеты на поезд до Питера?» Девушка: «Купила! Места у окна, едем в пятницу вечером».

Готово через минуту. Ролик получился на 8 секунд, по длине двух реплик, а режим Fast выдал всего 640×352. «Обычная» в этой нейросети даёт 480p или 720p, её мы здесь не запускали.

Плавное движение из дёрганого ролика

FPS — это число кадров в секунду: чем их больше, тем плавнее движение. Увеличение FPS дорисовывает промежуточные кадры. Настроек нет, только видео. Мы нарочно сделали копию нашего ролика на 12 кадров в секунду, как у старой камеры или записи экрана. Через 26 секунд нейросеть вернула ролик на 24 кадра в секунду, то есть удвоила их число.

Сверху исходник, снизу результат: руки и волосы двигаются без рывков. Эта нейросеть из самых дешёвых в разделе (1,5 ₽/сек.), но чётче картинка от неё не станет. Для этого есть раздел «Улучшение видео».

Все нейросети раздела

Что выбрать под задачу

• Для зрителей из другой страны берите HeyGen Translate, если в кадре один человек и ролик короче 2 минут. Длинную запись переводите в Heygen Translate 2: Speed подойдёт, если человек смотрит в камеру, Precision — для съёмки в профиль, закрытого рта или нескольких собеседников.
• Горизонтальный ролик для сторис или Reels переделает в вертикальный Luma Reframe: ролик до 30 секунд в Ray 2 Flash. Если нужно выбрать разрешение (до 1080p) или описать словами, что дорисовать по краям, берите режим «Рефрейм» в Luma 3.2.
• Для просмотра без звука добавьте субтитры в VEED Subtitles.
• Неудачный конец или не хватает пары секунд: поможет LTX 2.3. Переснимать лучше конец ролика или кусок, после которого новый предмет в кадре не нужен.
• Под готовую новую озвучку губы подгонит InfiniteTalk Video, а диалог двоих — InfiniteTalk Video Multi.
• Дёрганое видео сгладит Увеличение FPS.

Как подготовить ролик

• Для перевода и новой речи важнее чистый звук, чем картинка. Музыка под голосом и эхо мешают распознать слова и подогнать губы.
• Держите лицо открытым. Губы, закрытые рукой, кружкой или микрофоном, подгонять под звук труднее всего; у Heygen Translate 2 для таких кадров есть режим Precision.
• Длинный ролик сначала проверьте на куске в 10 секунд: отрежьте его в любом видеоредакторе на телефоне. Такой запуск стоит в разы меньше, а по нему видно, как нейросеть справится с вашим светом и голосом.
• Перед сменой формата проверьте, что главное — лицо, товар или надпись — стоит в центре кадра. Края нейросеть придумывает сама, и нужного там может не оказаться.
• Задание для LTX 2.3 пишите так, чтобы новый кусок сходился с тем, что идёт после него. Предмет, которого нет в следующих кадрах, нейросеть уберёт.
• Несколько правок делайте по очереди: скачайте результат и загрузите его в следующую нейросеть. Удобный порядок — перевод, потом формат, в конце субтитры на языке перевода.

Вопросы

Поменять в видео сам сюжет (фон, одежду, стиль или человека) помогут нейросети из раздела «Редактирование видео». Звук к немому ролику добавляют нейросети из раздела «Добавить звук», а в инструкции «Как создать звук для видео» всё это показано на примерах.