Классический форум-трекер
canvas not supported
Нас вместе: 4 232 115

Технология Google повышает разрешение изображений до 16 раз без потери качества


Страницы:   Пред.  1, 2, 3, 4, 5  След. 
 
RSS
Начать новую тему   Ответить на тему    Торрент-трекер NNM-Club -> Компьютеры и комплектующие -> Компьютерные новости
Автор Сообщение
Implode Sch ®
RG Soft
Стаж: 12 лет 8 мес.
Сообщений: 7492
Ratio: 90.593
Поблагодарили: 451084
100%
В июле исследователи Google из команды Brain Team поделились своими достижениями в области масштабирования изображений. Результаты своих исследований они опубликовали в блоге Google AI, посвящённом исследованиям и разработкам в области машинного обучения и искусственного интеллекта.

В статье под названием «Создание высокоточных изображений с использованием диффузионных моделей» (High Fidelity Image Generation Using Diffusion Models) продемонстрирована технология масштабирования изображений на базе диффузионных моделей

Говоря простыми словами, Image Super-Resolution — это технология «умного» увеличения изображений. Она заключается в обучении модели превращать изображение с низким разрешением в изображение с высоким разрешением (технология RAISR была описана в блоге Google AI в 2016 году).

Если быть точным, в свежей публикации описан подход, основанный на комбинации двух алгоритмов — SR3 и CDM. Он позволяет создавать изображения высокого разрешения без заметной потери качества.

SR3 - Super-Resolution via Repeated Refinements - масштабирование через повторное уточнение.

CDM - Cascaded Diffusion Models - каскадные диффузионные модели.

Super-Resolution via Repeated Refinements

SR3 принимает на вход изображение в низком разрешении и пытается построить изображение с более высоким разрешением, добавляя в него гауссовский шум и размытие на каждом повторе. Итоговое изображение по сути содержит чистый шум. Затем идёт обратный процесс - модель постепенно удаляет шум для достижения нужного результата.

Обученная на огромном массиве данных, модель SR3 показывает хорошие результаты в задачах масштабирования в 4-8 раз изображений лиц и изображений объектов живой природы: 64x64 → 256x256 (в 4 раза) и 256x256 → 1024x1024 (в 4 раза). Объединив модели в каскад, можно масштабировать изображения до 16 раз: 64x64 → 1024x1024.

Как оценить качество работы SR3? Результаты работы модели сравнивают с результатами работы других моделей. Участвующих в эксперименте людей просят выбрать изображение, которое, по их мнению, сделано на фотокамеру (так ставится вопрос).

Участники выбирают между изображением, которое создала модель, и оригинальным изображением с камеры.

Результаты масштабирования трёх алгоритмов (Bicubic, Regression, SR3): сверху — изображения с лицом (64x64 → 512x512), снизу — изображения животного (64x64 → 256x256). Оригинальное изображение в правом столбце.

Эффективность модели измеряется с помощью коэффициента путаницы (confusion rate): какой процент времени участники эксперимента выбирают результат работы модели, а не эталонное изображения (а идеальный алгоритм как раз и даёт "50-процентный коэффициент путаницы").

Результаты этого исследования показаны на графике. Сверху: коэффициент путаницы в задаче с изображениями лиц (16x16 → 128x128). Снизу: коэффициент путаницы в гораздо более сложной задаче — с изображениями объектов живой природы (64x64 → 256x256)

Cascaded Diffusion Models

CDM обучена на огромном количестве изображений из базы ImageNet, которые представляют собой достаточно сложный набор данных. Именно по этой причине CDM построена как каскад нескольких моделей.

Каскадный подход представляет собой цепочку нескольких генеративных моделей, каждая из которых создаёт изображение с разным разрешением: одна диффузионная модель генерирует изображение с низким разрешением, которое обрабатывает SR3, постепенно повышая разрешение до максимально доступного. (GIF)
YouTube
О реальном внедрении или коммерческом применении информации пока что нет.

Источник

_________________

WIN11/23H2(22631)Pro
ИгорьДух
Стаж: 11 лет 7 мес.
Сообщений: 772
Ratio: 6.204
Раздал: 1.954 TB
Поблагодарили: 5158
100%
Есть же программа топаз где это уже все есть.
se-mir
Стаж: 11 лет 6 мес.
Сообщений: 258
Ratio: 21.499
100%
Откуда: Україна
ukraine.gif
grogarius писал(а): Перейти к сообщению
Физику не обманешь, а это "дорисовывание" чушь собачья.

Я бы устроил вам слепой тест. Положил бы две одинаковые фотографии, одна из которых получена путем искусственного увеличения и посмотрел бы, смогли бы вы определить разницу? Уверен, что нет. Так что ваш коммент - это просто брюзжание.

Добавлено спустя 3 минуты 26 секунд:

ИгорьДух писал(а): Перейти к сообщению
Есть же программа топаз где это уже все есть.

У нее алгоритм работает похуже. Она увеличивает изображение, а пикселизацию, которая при этом неизбежно появляется, "размазывает", но этот эффект виден. Деталей не становится больше, как на примере гугловского алгоритма.
IcedEarth
Стаж: 14 лет 3 мес.
Сообщений: 322
Ratio: 1.829
Раздал: 2.651 TB
13.76%
russia.gif
OnayJenil писал(а): Перейти к сообщению
Ведь нет фотоаппаратов с таким разрешением чтобы на основе этих фотографий тренировать нейронную сеть.

В прошлом году, помнится, испытывали матрицу на 3+ гигапикселя для телескопа.
falconer_1313
Стаж: 13 лет 4 мес.
Сообщений: 33
Ratio: 9.37
2.44%
NeNeMe-Club писал(а): Перейти к сообщению
А кто-нибудь знает, есть ли онлайн сервис, где ИИ, к примеру изображение с 4К увеличивает в 10 раз без потери качества или после увеличения обрабатывая улучшая качество?
PS: мне надо для фотопечати на натяжных потолках.


https://letsenhance.io/

Этот сервис может увеличить до 16 раз с помощью ИИ. Там не без косяков, но значительно лучше, чем в фотошопе
Max_Alekseyev
Uploader 100+
Стаж: 13 лет
Сообщений: 17257
Ratio: 31.747
Раздал: 165.2 TB
Поблагодарили: 2670
100%
Откуда: Kharkіv, UA
ukraine.gif
HooHah писал(а): Перейти к сообщению
Тренировали до тех пор, пока не увеличили вероятность того, что система "угадает", что именно нужно вставить в любой новый пиксель

Да, и, в принципе, задумка интересная, но к воосстановлению утраченной информации это не имеет никакого отгошения. Там нет восстановления, но забавно
ambystoma
Стаж: 10 лет 3 мес.
Сообщений: 2051
Ratio: 3637.473
100%
Надо проверить этот ИИ на разумность. Тесты Роршаха ему, пусть восстановит, покажет свою личность.

Одна из карточек теста Роршаха
Image
Max_Alekseyev
Uploader 100+
Стаж: 13 лет
Сообщений: 17257
Ratio: 31.747
Раздал: 165.2 TB
Поблагодарили: 2670
100%
Откуда: Kharkіv, UA
ukraine.gif
se-mir писал(а): Перейти к сообщению
Я бы устроил вам слепой тест. Положил бы две одинаковые фотографии, одна из которых получена путем искусственного увеличения и посмотрел бы, смогли бы вы определить разницу? Уверен, что нет. Так что ваш коммент - это просто брюзжание.

Слепой тест к этому не имеет никакого отношения. Слепой тест покажет какая из фотографий субъективно человеку нравиться больше, а не насколько корректно восстановлена информация.

Добавлено спустя 40 секунд:

ambystoma писал(а): Перейти к сообщению
Одна из карточек теста Роршаха

Опять сиськи

Добавлено спустя 10 минут 33 секунды:

Тест тут может быть один - берём картинку, например, в FullHD, уменьшаем в 10 раз, восстанавливаен "Гуглом", сравнивает с оригиналом
yamashina
Стаж: 12 лет 8 мес.
Сообщений: 41
Ratio: 1.717
0.38%
Есть на смартфоны remini.ai
ambystoma
Стаж: 10 лет 3 мес.
Сообщений: 2051
Ratio: 3637.473
100%
Повышение разрешения это не восстановление потерянных пикселей. Исходное изображение более высокого разрешения (изображение-источник) эталоном не является, это лишь один из частных случаев среди всех возможных изображений-источников восстанавливаемого изображения низкого разрешения. Для одного и того же изображения низкого разрешения таких изображений-источников может быть бесконечное множество. Цель повышения разрешения это не получение неведомого частного случая из множества изображений-источников, а получение наиболее качественного изображения (более формально: с более качественной совокупностью потребительских свойств изображения, проявляющихся при его восприятии и оценке наблюдателем на основе форм зрительных образов). Именно поэтому методы попиксельного сравнения не применяются при оценке качества повышения разрешения,
Цитата:
Эффективность модели измеряется с помощью коэффициента путаницы (confusion rate): какой процент времени участники эксперимента выбирают результат работы модели, а не эталонное изображения (а идеальный алгоритм как раз и даёт "50-процентный коэффициент путаницы").

Также кому интересно может прочитать определение качества изображения в моем первом комментарии в этой теме.
wat902h
 
Стаж: 13 лет 10 мес.
Сообщений: 156
Ratio: 5.071
Поблагодарили: 255
100%
russia.gif
Фрактальный алгоритм лучше.
kilobite
Стаж: 14 лет 7 мес.
Сообщений: 12
Ratio: 7.596
0.06%
Это прям как из квадрата Малевича получить картину Рембранта и т.д. Откуда программа взяла прыщики и родинки не понятно. Если обработать ваше фото в низком разрешении, то вас родная мама не узнает.
Max_Alekseyev
Uploader 100+
Стаж: 13 лет
Сообщений: 17257
Ratio: 31.747
Раздал: 165.2 TB
Поблагодарили: 2670
100%
Откуда: Kharkіv, UA
ukraine.gif
ambystoma писал(а): Перейти к сообщению
Исходное изображение более высокого разрешения (изображение-источник) эталоном не является

Если мы говорим о восстановлении потерянной при уменьшении информации, то только она является эталоном, если мы просто делаем "красивенико", то там эталонов нет
resident_82
Стаж: 12 лет 11 мес.
Сообщений: 420
Ratio: 3.37
100%
Откуда: Akkerman
ukraine.gif
этож из камрипов можно будет 8к видео сконвертить
Max_Alekseyev
Uploader 100+
Стаж: 13 лет
Сообщений: 17257
Ratio: 31.747
Раздал: 165.2 TB
Поблагодарили: 2670
100%
Откуда: Kharkіv, UA
ukraine.gif
resident_82 писал(а): Перейти к сообщению
этож из камрипов можно будет 8к видео сконвертить

Ага, конвертил фильм ужасов, получилась порнуха )
Фафнир
Стаж: 10 лет 1 мес.
Сообщений: 475
Ratio: 14.365
100%
Откуда: УССР
hithold писал(а): Перейти к сообщению
Итоговая фотография будет грубо говоря "выдумкой" нейросети.

И это не считая, что ни кто не предоставил доказательств что на видео не от противного показано. Лично у меня закрались именно такие сомнения.

_________________
Как сказал старый казак: "Если украинцев пошлют воевать с русскими, надо встать на границе спина к спине и стрелять в тех, кто послал!".
Показать сообщения:   
Начать новую тему   Ответить на тему    Торрент-трекер NNM-Club -> Компьютеры и комплектующие -> Компьютерные новости Часовой пояс: GMT + 3
Страницы:   Пред.  1, 2, 3, 4, 5  След.
Страница 4 из 5