Real‑ESRGAN

Коротко

Разработчик

Синьтао Ван и коллеги, Tencent ARC Lab, открытый код (2021)

На входе

одна картинка

На выходе

PNG в 1–10 раз больше по каждой стороне

Лица

по желанию улучшаются отдельной моделью GFPGAN

Задание

не нужно

Цена

1 ₽

Обычно готово

≈ 35 с после отправки

Что умеет: три пробы

Модель описана в статье Синьтао Вана, Лянбиня Се, Чао Дуна и Ин Шаня на семинаре конференции ICCV в 2021 году, а код и модели выложены на GitHub под открытой лицензией BSD-3. Модель учили на картинках, испорченных так, как портит их жизнь: размытием, шумом, повторным JPEG-сжатием. Поэтому лучше всего она чистит мусор после пересылок и чужих сайтов. Мы проверили её на двух своих картинках: на одной грибы, на другой рыбак, которого не существует.

Пережатое фото и два соседа

Исходник для сравнения общий у трёх апскейлеров сайта: прилавок из Nano Banana 2 Lite, сжатый до 640×480 и дважды сохранённый в JPEG.

Обычное фото с телефона крупным планом, пасмурный день, рыночный прилавок под навесом: деревянный ящик с белыми грибами и лисичками, рядом плетёная корзина из бересты, на грибах прилипли еловые иголки и кусочки мха. В ящик воткнута картонная табличка, на ней от руки маркером написано «Белые грибы» и ниже «600 ₽/кг». Позади прилавка дощатая стена павильона и ящики с яблоками. Безлюдно: ни одного человека в кадре. Других надписей нет.

Квадратики нейросеть убрала начисто, а края досок и табличка с ценой вышли самыми контрастными из трёх. Зато мелочь она не дорисовывает, а замазывает: земля на ножке стала чёрным пятном, травинки пропали, береста превратилась в гладкие полоски без волокон. Похоже на картинку, раскрашенную по контуру. Recraft Crisp Upscale и Clarity AI Crystal Upscaler фактуру вернули, хотя частично выдумали. Нам кажется, отсюда и выбор: для надписей, схем и рисованной графики такая гладкость подходит, для фото природы и еды — нет.

Больше 4 — та же картинка, только растянутая

Ползунок Увеличение доходит до 10, но сама модель увеличивает ровно в 4 раза. В открытом коде всё, что сверх этого, достраивается обычным пересчётом размера, без нейросети. Мы проверили на грибах: увеличение 10 дало файл 6400×4800 весом 33 МБ, а результат 4 (2560×1920) мы растянули до того же размера в графическом редакторе и сравнили по точкам. В среднем картинки разошлись меньше чем на один уровень яркости из 255, на глаз они одинаковые. Ждали оба раза по 33 секунды.

Поэтому мы ставим 4 или меньше. Если для печати нужен файл крупнее, его можно растянуть в графическом редакторе, разницы вы не увидите.

Улучшение лица: рыбак на причале

Рыбака на причале придумала Nano Banana 2 Lite, мы уменьшили снимок до 600×448, так что лицо заняло около 40 точек, и пережали. Дальше два запуска с увеличением 4: без переключателя Улучшение лица и с ним.

Любительское фото с телефона: пожилой мужчина с седой бородой в вязаной шапке и тёплой куртке стоит на деревянном причале у озера с удочкой в руке и улыбается, за ним лодка и осенний лес. Человек выдуманный. Снимок сделан с расстояния, мужчина занимает половину высоты кадра.

Без переключателя лицо вышло восковым: глаза съехали, рот превратился в тёмную щель. С переключателем это снова человек, с морщинами, седой бородой по волоску и бровями. Но если сравнить с оригиналом (справа внизу), видно, что улыбка стала шире, открылись зубы, а глаза сощурились сильнее. Похож, но не тот же снимок. И ещё одна мелочь: на шапке в обоих случаях проступили белые полосы на месте квадратиков сжатия, их улучшение лица не трогает. Цена от переключателя не меняется.

Как это работает

Картинку добавьте в поле Изображение, ползунком Увеличение задайте от 1 до 10 (по умолчанию 4) и, если в кадре есть люди, включите Улучшение лица. Задание не требуется. Сумма от настроек не зависит, её видно на кнопке Отправить ещё до запуска.

Нейросеть уберёт шум и квадратики, увеличит картинку и при включённом переключателе отдельно перерисует лица. Результат — PNG в ленте под формой. Если увеличение не устроило, нажмите Изменить: картинка с настройками снова окажется в форме, останется сдвинуть ползунок или включить лица. Повторить перезапускает обработку с теми же настройками и оплачивается заново, Скачать сохраняет файл. В «Моих результатах» он хранится неделю, нужное сохраните в библиотеку.

Настройки: что ставить

• Увеличение: 4 и есть потолок самой модели. 2 или 3 дадут файл поменьше. Больше 4 смысла нет, см. пробу выше. По коду разработчиков, при 1 картинка проходит через нейросеть и сжимается обратно до исходного размера, то есть чистится без увеличения; этот вариант мы не проверяли.
• Улучшение лица: включайте, когда лица мелкие и размытые, как у рыбака. Если лица нет или оно уже чёткое, оставьте выключенным: модель лиц может поменять выражение.

Цена

Платите за запуск, настройки сумму не меняют. Запуск с ошибкой ничего не стоит: сумма вернётся на баланс.

Для чего подойдёт

• Почистить картинку с надписью или схему, которую пересылали несколько раз.
• Увеличить рисунок, комикс или иконку, где фактуры почти нет.
• Вытянуть мелкие лица на групповом или далёком снимке с улучшением лица.
• Подготовить скриншот для презентации, чтобы линии и буквы не рассыпались.
• Быстро прикинуть, есть ли что спасать в снимке, прежде чем браться за него всерьёз.

Где модель подводит

• Трава, мех, ткань, кора становятся гладкими, как на грибах. Для таких фото возьмите Crystal Upscaler или Улучшить разрешение 2.
• Улучшенное лицо похоже на исходное, но мимика может поменяться. Для семейного архива сверяйте с оригиналом или попробуйте GFP-GAN отдельно: там можно выбрать версию модели.
• Царапины и заломы старых фото — не её задача: модель учили на шуме и сжатии. Для старых снимков есть Восстановление.

Чем заменить, если не подошла

Другие нейросети для улучшения фото, проверенные на одном портрете, собраны в «Улучшении фото».

Вопросы об открытом апскейлере