GFP-GAN

Коротко

Разработчик

Tencent ARC, исследовательская лаборатория Tencent; статья и открытый код вышли в 2021 году

На входе

одно фото: JPG, PNG, WebP, HEIC или HEIF

На выходе

PNG; с масштабом 2 в наших пробах вдвое больше исходника

Что чинит

лица: глаза, кожу, губы, волосы у лица; фон только сглаживает

Задание

не нужно, есть версия и масштаб

Цена

1 ₽

Обычно готово

≈ 30 с после отправки

API

есть, документация

Что умеет: лица до и после

Чтобы проверить, как GFP-GAN умеет улучшить лицо на фото, чужие снимки мы не брали. Двух выдуманных людей и выдуманную семью нарисовали в Nano Banana 2 Lite, а потом испортили сами: уменьшили, несколько раз пережали в JPEG, размыли, добавили зерно и царапины. Так у нас остался оригинал, и видно, насколько восстановленное лицо похоже на настоящее. Каждый запуск занимал меньше минуты, все примеры ниже сделаны с версией v1.4 и масштабом 2, как стоит в форме сразу.

Так мы описали первый портрет:

Портрет, пересланный в мессенджере

Исходник 240×320 точек, лицо из цветных квадратов. После обработки глаза, брови и улыбка снова резкие, картинка выросла до 480×640. Карие глаза совпали с оригиналом.

Четыре маленьких лица на одном снимке

Здесь лица шириной около 35 точек, и нейросеть нашла все четыре сама, ничего отмечать не пришлось. Бабушка в платке, отец с усами, мама и подросток стали узнаваемыми, а когда мы положили результат рядом с оригиналом, разница нашлась только в мелочах: у бабушки меньше морщин, у мальчика чуть другая чёлка. Самовар, клетка на рубашке и цветы остались мягкими. GFP-GAN занимается лицами, фон она только разглаживает.

Старое фото с зерном и царапинами

Здесь разница с исходником самая большая. Из мутного зернистого пятна получилось лицо, которое почти не отличить от нашего оригинала: светлые глаза, пробор, линия скул. Но царапины и белые точки остались на месте, одна так и пересекает подбородок. GFP-GAN их не трогает: она работает с лицом, а пыль и трещины бумаги для неё часть фона.

Как это работает

Фото загружается в поле Изображение, дальше остаётся нажать Отправить; цену кнопка показывает ещё до запуска. Писать задание не нужно: GFP-GAN сама ищет на снимке все лица, перерисовывает их по тому, как обычно выглядят глаза, кожа и губы, и вставляет обратно в увеличенный кадр. Людей на фото может быть несколько.

Каких деталей на снимке уже нет, модель знать не может и дорисовывает правдоподобные, так что родинки и морщины могут измениться.

Готовое фото в PNG появится в ленте под формой со слайдером «до/после». Оно хранится 7 дней в Моих результатах, так что удачное лучше скачать или сохранить в библиотеку. Чтобы попробовать другую версию, нажмите Изменить: снимок и настройки вернутся в форму. Повторить отправит то же фото с теми же настройками сразу, без формы.

Настройки: версия и масштаб

• Версия восстановления — v1.4 (стоит сразу) или v1.3. По подсказке формы v1.4 лучше держит детали и сходство, v1.3 делает результат мягче. На цветном портрете мы разницы почти не увидели, на старом фото она заметна (картинка ниже).
• Масштаб улучшения — ползунок от 1 до 4, сразу стоит 2. Мы прогнали один и тот же портрет 240×320 со всеми значениями, и размер результата не всегда совпадал с цифрой: с 2 и с 4 снимок вырос вдвое, с 3 в полтора раза, а с 1 стал вдвое меньше исходника. То же сказано в подсказке к ползунку. Она предупреждает и про совсем мелкие снимки, ниже 300 пикселей: у них всё вдвое крупнее, так что с 1 размер не меняется, с 3 вырастает втрое, а с 2 и 4 вчетверо. Поэтому советуем оставлять 2. Если нужен файл крупнее, готовый результат можно потом увеличить в Улучшить разрешение.

Слева v1.4, справа v1.3. Версия v1.4 подкрасила лицо на снимке в сепии: губы стали розоватыми, глаза серо-голубыми, на коже видна текстура. v1.3 оставила лицо в тоне всей фотографии и сгладила кожу. Для чёрно-белых снимков, где цветное лицо будет выделяться, мы бы взяли v1.3.

Сколько стоит

Версия, масштаб и число лиц на снимке на цену не влияют: любое фото стоит одинаково.

Для чего подойдёт

• Вернуть резкость лицу на фото, которое много раз пересылали в мессенджерах, как в первом примере.
• Сделать узнаваемыми людей на групповом снимке, снятом издалека.
• Подготовить лица на старом семейном фото к печати, а царапины потом убрать другой нейросетью.
• Подтянуть портрет со старого телефона или скриншота видеозвонка.

Ограничения

Лицо выходит моложе и глаже

Слева портрет до того, как мы его испортили, справа то, что GFP-GAN восстановила из сжатой копии. Веснушки, тонкие морщинки у глаз и родинки пропали, женщина помолодела лет на десять. Из цветных пятен сжатия у уха нейросеть сделала синюю серёжку, которой не было. Для документов и архива сверяйте результат с другими фото человека.

Фон, одежда и дефекты бумаги

Всё, кроме лиц, нейросеть только разглаживает: вязаный свитер стал гладкой тканью, деревья за спиной похожи на акварель, царапины и пятна на старом снимке остаются. Если снимок ещё и мятый или поцарапанный, возьмите Восстановление: оно чинит весь кадр целиком.

Когда взять другую нейросеть

Подробнее о том, чем эти и другие нейросети отличаются на одних и тех же снимках, рассказано в разделе Улучшение фото.

Вопросы о GFP-GAN