SwinIR

Коротко

Разработчик

Цзинъюнь Лян и коллеги, Лаборатория компьютерного зрения ETH Zurich, открытый код (2021)

На входе

одна картинка JPG, PNG, WebP, GIF или HEIC

Какое фото подходит

до 2 мегапикселей, например 1600×1200; снимок с телефона сначала уменьшите

На выходе

PNG ровно в 4 раза больше по каждой стороне

Прозрачный фон

не сохраняет, становится чёрным

Задание и настройки

не нужны

Цена

2 ₽

Что умеет: три испорченных снимка

Эта нейросеть пригодится, когда нужно убрать шум с фото или квадратики сжатия и заодно увеличить снимок. SwinIR в 2021 году описали Цзинъюнь Лян и его коллеги из швейцарской ETH Zurich. Код и обученные модели лежат на GitHub под открытой лицензией Apache 2.0. В основе архитектура Swin Transformer: картинка разбирается небольшими окнами, и каждое окно сверяется с соседними. Отсюда и название: Swin — сдвинутые окна, IR — восстановление изображений. У разработчиков несколько отдельных моделей: одна только увеличивает, другая только убирает шум, третья только квадратики JPEG. Судя по нашим пробам, здесь работает четвёртая, для реальных снимков: разработчики учили её на картинках, испорченных шумом, размытием и сжатием одновременно, и она увеличивает в 4 раза.

Мы проверили её на трёх картинках из Nano Banana 2 Lite, которые сами же и испортили: так результат есть с чем сравнить. Людей в кадре нет.

Квадратики JPEG и надписи

Вход в булочную мы уменьшили до 640×477 и сохранили в JPEG с качеством 12 из 100. Так выглядит фото, которое несколько раз пересылали и пережимали: картинка распалась на квадраты, буквы на меловой доске поплыли.

Обычное фото с телефона, днём: вход в маленькую булочную на первом этаже старого кирпичного дома. Над деревянной дверью зелёная вывеска с надписью «Булочная № 7». Рядом с дверью стоит меловая доска с надписью «Свежий хлеб с 8:00». У стены припаркован старый синий велосипед с плетёной корзиной, в корзине два батона. На подоконнике горшки с красной геранью. Людей в кадре нет. Других надписей нет.

Получилось лучше, чем мы ждали. Квадратов не осталось ни одного, вывеска «Булочная № 7» и надпись «Свежий хлеб» читаются, как на чистом снимке. Мелочи всё же выдают обработку: двоеточие в «8:00» превратилось в чёрточку, а у буквы «Х» появился лишний штрих. Интереснее кирпичи. Там, где сжатие съело всё до цветных пятен, нейросеть нарисовала свою кладку: ровные кирпичи с тонкими швами, совсем не похожие на неровную стену с исходного снимка (внизу слева). Для вывесок, скриншотов и объявлений это не мешает, а для снимка, где важна каждая деталь, стоит помнить, что часть фактуры придумана.

Шум ночного снимка

Второй кадр — ночной двор с фонарём над подъездом, на который мы нарочно добавили цветное зерно, как у телефона в темноте. Он же разобран в статье Topaz Image, поэтому справа для сравнения результат её типа «Шумоподавление» с моделью Strong. Исходный кадр Nano Banana 2 Lite нарисовала по заданию:

Зерно модель убрала полностью, дверь стала ровной, а кирпичи над аркой вышли резче, чем у Topaz Image, которая сгладила их сильнее. Весь кадр при этом заметно потемнел. Мы сверили среднюю яркость: шум высветлил исходник, а нейросеть вернула её ближе к снимку до порчи. Табличку над дверью не разобрать ни в одном варианте: на исходнике Nano Banana 2 Lite написала её неразборчиво. Разница в размере большая. Topaz Image отдала тот же 1200×896, а наша модель — 4800×3584 в PNG на 25 МБ. Если увеличение не нужно, такой файл потом придётся уменьшать.

Те же грибы, что у Real-ESRGAN

Третий исходник, прилавок с грибами 640×480, дважды пережат в JPEG. На нём уже проверяли Real-ESRGAN с увеличением 4, так что мы сравнили фрагменты один в один.

Обычное фото с телефона крупным планом, пасмурный день, рыночный прилавок под навесом: деревянный ящик с белыми грибами и лисичками, рядом плетёная корзина из бересты, на грибах прилипли еловые иголки и кусочки мха. В ящик воткнута картонная табличка, на ней от руки маркером написано «Белые грибы» и ниже «600 ₽/кг». Позади прилавка дощатая стена павильона и ящики с яблоками. Безлюдно: ни одного человека в кадре. Других надписей нет.

Результаты почти одинаковые. Обе модели убрали квадратики и нарисовали гладкую бересту, у SwinIR полоски чуть мягче, а мох и земля на ножке чуть зернистее. Табличку «600 ₽/кг» обе вытянули так, что разницы мы не нашли. Выбирать между ними по качеству на таких снимках бессмысленно. Real-ESRGAN даёт выбрать увеличение и умеет отдельно дорисовывать лица, а здесь настроек нет совсем.

Какие фото подходят по размеру

Модель обрабатывает всю картинку целиком, а результат в 4 раза больше по каждой стороне, то есть в 16 раз по площади. Поэтому ей подходят небольшие снимки: из мессенджера, со старого сайта, скриншоты. Вот какие кадры мы ей отдавали и что получили:

Ориентир такой: до 2 мегапикселей. Кадр 1656×1242 ещё подошёл, а вертикальный 1280×1707 (2,2 мегапикселя) оказался для модели великоват. Снимок с камеры телефона (обычно 12 мегапикселей и больше) целиком не пройдёт, фото с айфона в HEIC тоже: после перевода в PNG у него остаётся до 4096 точек по длинной стороне. Перед загрузкой уменьшите фото до 1600 точек по длинной стороне в любом редакторе или вырежьте нужный кусок. Если файл всё же окажется слишком большим, модель его не обработает, а деньги вернутся на баланс.

Как это работает

Добавьте картинку в поле Изображение и нажмите Отправить. Писать задание и что-то выбирать не нужно, сумма видна на кнопке ещё до запуска. Нейросеть уберёт шум и квадратики сжатия и вернёт PNG, который в 4 раза шире и в 4 раза выше исходника, поэтому фото 1600×1200 превратится в 6400×4800. Наши запуски заняли от 47 секунд до 1 минуты 45 секунд.

Результат появится в ленте под формой. Скачать сохраняет файл, Повторить сразу запускает то же фото ещё раз (и оплачивается заново), Изменить возвращает картинку в форму, чтобы заменить её другой. В «Моих результатах» файл хранится 7 дней, нужное сохраните в библиотеку.

Настройки: только картинка

В форме одно поле, Изображение, и в нём один файл: JPG, PNG, WebP или GIF. Фото с айфона в HEIC или HEIF можно загружать как есть, сайт сам переведёт его в PNG. Степень увеличения и силу очистки выбрать нельзя: увеличение всегда 4, очистка одна на все случаи.

Сколько стоит

Цена за одну картинку, от размера и содержимого она не зависит.

Для чего подойдёт

• Убрать пиксели и квадратики с картинки, которую много раз пересылали в мессенджерах, и заодно увеличить её, как вывеску булочной выше.
• Почистить от шума ночной или комнатный снимок небольшого размера.
• Сделать читаемым маленький скриншот объявления, слайда или ценника.
• Увеличить старую картинку с сайта или превью из соцсети, где исходника больше нет.
• Подготовить к печати небольшое фото: из 1600×1200 выходит 6400×4800, этого хватит на крупный формат.

Где модель подводит

• Подходят только небольшие фото, до 2 мегапикселей (таблица выше). Снимок с телефона уменьшите заранее.
• Прозрачный фон не сохраняется: логотип на прозрачном PNG вернулся у нас на чёрном фоне. Для логотипов и стикеров возьмите Bria Creative Upscale, она увеличивает вдвое и прозрачность оставляет.
• Там, где деталей не осталось, фактура придумана, как кирпичи у булочной. Для архивных снимков сверяйте результат с оригиналом.
• Увеличение всегда 4 раза, даже если нужно только убрать шум. Чтобы почистить фото без смены размера, удобнее Topaz Image.
• На лицах мы эту модель отдельно не проверяли. Для размытых лиц есть GFP-GAN, а у Real-ESRGAN — переключатель «Улучшение лица».

Чем заменить

Остальные нейросети для этой задачи собраны на странице «Улучшение фото», там же их сравнение на одном снимке.

Вопросы и ответы