Технология Google повышает разрешение изображений до 16 раз без потери качества

В июле исследователи Google из команды Brain Team поделились своими достижениями в области масштабирования изображений. Результаты своих исследований они опубликовали в блоге Google AI, посвящённом исследованиям и разработкам в области машинного обучения и искусственного интеллекта.

В статье под названием «Создание высокоточных изображений с использованием диффузионных моделей» (High Fidelity Image Generation Using Diffusion Models) продемонстрирована технология масштабирования изображений на базе диффузионных моделей

Говоря простыми словами, Image Super-Resolution — это технология «умного» увеличения изображений. Она заключается в обучении модели превращать изображение с низким разрешением в изображение с высоким разрешением (технология RAISR была описана в блоге Google AI в 2016 году).

Если быть точным, в свежей публикации описан подход, основанный на комбинации двух алгоритмов — SR3 и CDM. Он позволяет создавать изображения высокого разрешения без заметной потери качества.

SR3 - Super-Resolution via Repeated Refinements - масштабирование через повторное уточнение.

CDM - Cascaded Diffusion Models - каскадные диффузионные модели.

Super-Resolution via Repeated Refinements

SR3 принимает на вход изображение в низком разрешении и пытается построить изображение с более высоким разрешением, добавляя в него гауссовский шум и размытие на каждом повторе. Итоговое изображение по сути содержит чистый шум. Затем идёт обратный процесс - модель постепенно удаляет шум для достижения нужного результата.

Обученная на огромном массиве данных, модель SR3 показывает хорошие результаты в задачах масштабирования в 4-8 раз изображений лиц и изображений объектов живой природы: 64x64 → 256x256 (в 4 раза) и 256x256 → 1024x1024 (в 4 раза). Объединив модели в каскад, можно масштабировать изображения до 16 раз: 64x64 → 1024x1024.

Как оценить качество работы SR3? Результаты работы модели сравнивают с результатами работы других моделей. Участвующих в эксперименте людей просят выбрать изображение, которое, по их мнению, сделано на фотокамеру (так ставится вопрос).

Участники выбирают между изображением, которое создала модель, и оригинальным изображением с камеры.

Результаты масштабирования трёх алгоритмов (Bicubic, Regression, SR3): сверху — изображения с лицом (64x64 → 512x512), снизу — изображения животного (64x64 → 256x256). Оригинальное изображение в правом столбце.

Эффективность модели измеряется с помощью коэффициента путаницы (confusion rate): какой процент времени участники эксперимента выбирают результат работы модели, а не эталонное изображения (а идеальный алгоритм как раз и даёт "50-процентный коэффициент путаницы").

Результаты этого исследования показаны на графике. Сверху: коэффициент путаницы в задаче с изображениями лиц (16x16 → 128x128). Снизу: коэффициент путаницы в гораздо более сложной задаче — с изображениями объектов живой природы (64x64 → 256x256)

Cascaded Diffusion Models

CDM обучена на огромном количестве изображений из базы ImageNet, которые представляют собой достаточно сложный набор данных. Именно по этой причине CDM построена как каскад нескольких моделей.

Каскадный подход представляет собой цепочку нескольких генеративных моделей, каждая из которых создаёт изображение с разным разрешением: одна диффузионная модель генерирует изображение с низким разрешением, которое обрабатывает SR3, постепенно повышая разрешение до максимально доступного. (GIF)

О реальном внедрении или коммерческом применении информации пока что нет.

Источник

Есть же программа топаз где это уже все есть.

grogarius писал(а):

Физику не обманешь, а это "дорисовывание" чушь собачья.

Я бы устроил вам слепой тест. Положил бы две одинаковые фотографии, одна из которых получена путем искусственного увеличения и посмотрел бы, смогли бы вы определить разницу? Уверен, что нет. Так что ваш коммент - это просто брюзжание.

Добавлено спустя 3 минуты 26 секунд:

ИгорьДух писал(а):

Есть же программа топаз где это уже все есть.

У нее алгоритм работает похуже. Она увеличивает изображение, а пикселизацию, которая при этом неизбежно появляется, "размазывает", но этот эффект виден. Деталей не становится больше, как на примере гугловского алгоритма.

OnayJenil писал(а):

Ведь нет фотоаппаратов с таким разрешением чтобы на основе этих фотографий тренировать нейронную сеть.

В прошлом году, помнится, испытывали матрицу на 3+ гигапикселя для телескопа.

NeNeMe-Club писал(а):

А кто-нибудь знает, есть ли онлайн сервис, где ИИ, к примеру изображение с 4К увеличивает в 10 раз без потери качества или после увеличения обрабатывая улучшая качество? PS: мне надо для фотопечати на натяжных потолках.

https://letsenhance.io/

Этот сервис может увеличить до 16 раз с помощью ИИ. Там не без косяков, но значительно лучше, чем в фотошопе

HooHah писал(а):

Тренировали до тех пор, пока не увеличили вероятность того, что система "угадает", что именно нужно вставить в любой новый пиксель

Да, и, в принципе, задумка интересная, но к воосстановлению утраченной информации это не имеет никакого отгошения. Там нет восстановления, но забавно

Надо проверить этот ИИ на разумность. Тесты Роршаха ему, пусть восстановит, покажет свою личность.

Одна из карточек теста Роршаха

se-mir писал(а):

Я бы устроил вам слепой тест. Положил бы две одинаковые фотографии, одна из которых получена путем искусственного увеличения и посмотрел бы, смогли бы вы определить разницу? Уверен, что нет. Так что ваш коммент - это просто брюзжание.

Слепой тест к этому не имеет никакого отношения. Слепой тест покажет какая из фотографий субъективно человеку нравиться больше, а не насколько корректно восстановлена информация.

Добавлено спустя 40 секунд:

ambystoma писал(а):

Одна из карточек теста Роршаха

Опять сиськи

Добавлено спустя 10 минут 33 секунды:

Тест тут может быть один - берём картинку, например, в FullHD, уменьшаем в 10 раз, восстанавливаен "Гуглом", сравнивает с оригиналом

Есть на смартфоны remini.ai

Повышение разрешения это не восстановление потерянных пикселей. Исходное изображение более высокого разрешения (изображение-источник) эталоном не является, это лишь один из частных случаев среди всех возможных изображений-источников восстанавливаемого изображения низкого разрешения. Для одного и того же изображения низкого разрешения таких изображений-источников может быть бесконечное множество. Цель повышения разрешения это не получение неведомого частного случая из множества изображений-источников, а получение наиболее качественного изображения (более формально: с более качественной совокупностью потребительских свойств изображения, проявляющихся при его восприятии и оценке наблюдателем на основе форм зрительных образов). Именно поэтому методы попиксельного сравнения не применяются при оценке качества повышения разрешения,

Цитата:

Эффективность модели измеряется с помощью коэффициента путаницы (confusion rate): какой процент времени участники эксперимента выбирают результат работы модели, а не эталонное изображения (а идеальный алгоритм как раз и даёт "50-процентный коэффициент путаницы").

Также кому интересно может прочитать определение качества изображения в моем первом комментарии в этой теме.

Фрактальный алгоритм лучше.

Это прям как из квадрата Малевича получить картину Рембранта и т.д. Откуда программа взяла прыщики и родинки не понятно. Если обработать ваше фото в низком разрешении, то вас родная мама не узнает.

ambystoma писал(а):

Исходное изображение более высокого разрешения (изображение-источник) эталоном не является

Если мы говорим о восстановлении потерянной при уменьшении информации, то только она является эталоном, если мы просто делаем "красивенико", то там эталонов нет

этож из камрипов можно будет 8к видео сконвертить

resident_82 писал(а):

этож из камрипов можно будет 8к видео сконвертить

Ага, конвертил фильм ужасов, получилась порнуха )

hithold писал(а):

Итоговая фотография будет грубо говоря "выдумкой" нейросети.

И это не считая, что ни кто не предоставил доказательств что на видео не от противного показано. Лично у меня закрались именно такие сомнения.