Перевод видео нейросетью: тот же голос на другом языке
Перевод видео нейросетью устроен так: вы загружаете ролик, она распознаёт речь, переводит её и озвучивает заново голосом того, кто в кадре. Губы при этом перерисовываются под новые слова. Мы проверили оба направления: русский ролик блогерши перевели на английский, английскую лекцию на русский, а заодно разговор двух человек за столиком в кафе.
Ниже сначала оригинал, потом перевод. Десять секунд видео обошлись в 80 ₽, ждать пришлось две с половиной минуты.
Людей из роликов не существует. Исходники мы сгенерировали сами: сначала кадр в GPT Image 2, потом видео с речью в Grok Video 1.5 по такому заданию.
Девушка держит телефон в вытянутой руке, смотрит прямо в камеру и бодро, естественно говорит по-русски: «Привет! Сегодня покажу, как я за пять минут собираю обеды на всю неделю. Понадобятся только контейнеры и немного терпения.» Лёгкие живые движения головы, камера чуть покачивается. Чистый голос, без музыки.
Какое видео переведётся без брака
Лучше всего переводится ролик, где человек говорит в камеру, а музыки нет или она еле слышна.
- Рот не закрыт рукой или микрофоном: губы перерисовываются только там, где нейросеть их видит.
- Собеседники не перебивают друг друга. Когда голоса наслаиваются, их трудно разделить.
- Длина подходит: HeyGen Translate принимает ролики до 2 минут, Heygen Translate 2 — длиннее.
| Нейросеть | Цена | Что умеет |
|---|---|---|
| HeyGen Translate | 6 ₽ за секунду | Видео до 2 минут, настраивается только язык |
| Heygen Translate 2 | 8 ₽ за секунду в Speed, 16 ₽ в Precision | Число говорящих, перевод только звука, подгонка длины |
| VEED Subtitles | 15 ₽ за минуту в 720p, 30 ₽ в 1080p | Субтитры на языке речи, сама не переводит |
Цена считается по длине загруженного ролика: у обеих версий HeyGen по секундам с округлением вверх, у VEED по начатым минутам. Итог виден на кнопке Отправить, как только файл загрузится.
Ролик блогерши на английский в Heygen Translate 2
Откройте Heygen Translate 2. Для ролика с одним человеком хватит трёх верхних полей. Такой ролик переведёт и HeyGen Translate, на 20 ₽ дешевле, но здесь мы показываем настройки второй версии.
Шаг 1. Режим
В поле Тип генерации 1 оставьте Speed: он вдвое дешевле. Precision, по описанию HeyGen, точнее перерисовывает рот, когда человек поворачивает голову или снят сбоку. Нашей блогерше, которая смотрит прямо в камеру, хватило Speed.
Шаг 2. Видео
В поле Видео загрузите один файл MP4, MOV или WebM. Цена на кнопке появится после загрузки, за наши 10 секунд — 80 ₽.
Шаг 3. Язык
В списке Язык перевода 2 больше 170 вариантов, включая региональные. Мы выбрали English.
Шаг 4. Отправка
Нажмите Отправить 3. Перевод появится в ленте под формой через 2–3 минуты. Хранится он там 7 дней, так что скачайте его кнопкой Скачать.
Губы у блогерши теперь двигаются под английский текст: на «o» и «w» рот округляется, хотя в русской фразе таких движений не было. Сверху кадры оригинала, снизу перевода.
Начинается перевод так: «Hi! Today I’ll show you how I pack lunches for the whole week in five minutes», а дальше она, как и в оригинале, говорит про контейнеры и терпение. Говорит она своим голосом: нейросеть клонирует его по исходной речи.
Видео стало короче: 9 секунд вместо 10. По умолчанию включена Динамическая длительность (она ниже в форме, видна на макете в разделе про двоих), и английская фраза уложилась быстрее русской.
Как перевести видео с английского на русский
Короткую лекцию с одним преподавателем проще отдать HeyGen Translate. В форме всего два поля, а секунда стоит 6 ₽ вместо 8.
- Загрузите ролик в поле Видео 1.
- В списке Язык перевода 2 выберите Русский.
- Нажмите Отправить 3.
Перевод 10 секунд лекции о фотосинтезе занял три минуты и стоил 60 ₽. Преподаватель говорит по-русски: «Фотосинтез — это то, как растения превращают солнечный свет в пищу. Листья ловят свет, поглощают углекислый газ из воздуха и выделяют кислород, которым мы дышим». Ролик стал длиннее на 0,8 секунды: русский текст в исходные 10 секунд не поместился, а выключить подгонку длины здесь нельзя.
Ролики короче двух минут с одним человеком в кадре мы бы переводили здесь: секунда дешевле на 2 ₽, а настройки второй версии такому видео не нужны.
Когда в кадре двое
Разговор двух людей переводите в Heygen Translate 2: под языком в её форме есть два поля для таких роликов. Переключатель Только перевод аудио 1 мы оставили выключенным, потому что хотели перерисовать и губы. В поле Количество спикеров 2 указали, сколько в ролике голосов: для 10 секунд разговора двух друзей в кафе это 2.
Каждый говорит своим голосом, и реплики остались на своих местах: вопрос звучит, пока говорит женщина, ответ — пока мужчина. «Did you really go to Kazan over the weekend?» — «Yes, and I finally tried chak-chak. Now I understand why everyone brings it home». Ждали 2 минуты 15 секунд, заплатили 80 ₽.
Если губы не попадают в слова или в кадре толпа и частые склейки, включите Только перевод аудио: по описанию нейросети, лица тогда не меняются, заменяется только голосовая дорожка.
Субтитры поверх перевода
Если ролик будут смотреть без звука, нужны субтитры. VEED Subtitles сама ничего не переводит: она распознаёт речь и вшивает текст в кадр. Порядок получается такой: сначала перевод, потом субтитры на языке перевода.
Загрузите переведённый ролик, в поле Язык речи 1 выберите Русский. В поле Стиль субтитров 2 28 вариантов, мы взяли Простой: белые буквы с тенью внизу кадра. Кнопка Отправить 3 покажет 15 ₽, субтитры будут готовы меньше чем через минуту.
Для вертикального ролика блогерши мы взяли стиль Glide и положение По центру, чтобы слова появлялись по одному, как в Reels. У вертикального видео 720p считается по высоте, и файл получился всего 404×720, так что для соцсетей лучше сразу брать 1080p.
В файле HeyGen тоже есть субтитры, но отдельной дорожкой, и у нас в ней каждый раз терялась последняя фраза. Вшитый текст надёжнее.
Если перевод не получился
«Ваш запрос не прошел модерацию»
HeyGen проверяет ролики своими фильтрами и причину отказа не называет. Деньги за такой запуск возвращаются на баланс автоматически. Если отказ повторяется, попробуйте другой фрагмент видео.
«В видео не обнаружен говорящий»
Так бывает, когда лица не видно или речь тонет в музыке и шуме. Выберите фрагмент, где человек в кадре крупно и говорит без музыки. Деньги за неудачный запуск тоже вернутся.
Имя или местное слово с ошибкой
Английский перевод диалога мы тоже прогнали через VEED Subtitles. HeyGen перевёл «чак-чак» правильно, а VEED услышала вместо него «Chuk Chuk». Словаря у VEED нет, так что субтитры с именами и названиями пересматривайте до публикации. Ошибку потом можно исправить только в видеоредакторе.
Ролик стал длиннее или короче
Длину подгоняют обе версии: фраза на другом языке звучит дольше или короче. Если видео должно совпасть с оригиналом секунда в секунду, например под музыку, переводите в Heygen Translate 2 и выключите Динамическую длительность перед отправкой.
Что ещё спрашивают
Начните с куска на 10 секунд: за 60–80 ₽ сразу слышно, как нейросеть справится с вашим голосом.
Читайте также
Промты для пары и семейного фото: как собрать всех в один кадр
Собрали в один кадр пару, маму с дочкой, папу с сыном и семью из восьми человек по отдельным селфи. 14 промтов с результатами и как не дать лицам смешаться.
