Upscale видео с использованием AI (обсуждение, предложения, обмен опытом)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..Обработка видео с использованием ПО на базе искусственного интеллекта (AI)

Щебечем здесь на тему увеличения разрешения (обработки) видео с использованием программного обеспечения на базе искусственного интеллекта (AI)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..

Кто мне пояснит суть происходящего (чисто чтобы понимать чёкаво, может я чего-то просто не вижу), пример:

Война миров / War of the Worlds (2005) BDRip [AV1/2160p] [4K, HDR, 10-bit] [hand made Upscale AI]

asadov74 писал(а):

Исходник-UHD BDRip 1080p, HDR10

зачем все эти манипуляции когда уже есть к примеру вот это?:

Война миров / War of the Worlds (2005) UHD BDRemux [H.265/2160p] [4K, HDR, 10-bit]

Если ради уменьшения размера, то почему бы не взять за исходник UHD BDRemux и просто пожать его кодеком AV1, зачем делать апскейл с рипа 1080р который и был сделан из UHD BDRemux или UHD BD? В чем великая суть таких, на первый (да и на третий тоже) взгляд бесполезных действий?

Просмотр доступен только для зарегистрированных пользователей

Спасибо!

Alone_Kedr писал(а):

В чем великая суть таких, на первый (да и на третий тоже) взгляд бесполезных действий?

Ну, отопление жи! Зимой холодно, дополнительный источник тепла получается на киловатт-два, в зависимости от конфигурации.

ElSwanko писал(а):

киловатт-два

Не загиб? Это ж 5-10 ампер сетевых. Ну, пусть чутка поменьше. Это ж чо за БП такой! Собсно, я не о том. Я вот во всем этом вашем ваще ничего не понимаю, совсем. И оченна вас всех уважаю, что вы разбираетесь и мутите все это. Я спросить хотел, а вот в совсем старых
ч/б фильмах картинку вашим этим как-его-там улучшать можно? Ну, чисто теоретически? спасип.

Alone_Kedr писал(а):

Кто мне пояснит суть происходящего (чисто чтобы понимать чёкаво, может я чего-то просто не вижу), пример:

Война миров / War of the Worlds (2005) BDRip [AV1/2160p] [4K, HDR, 10-bit] [hand made Upscale AI]

asadov74 писал(а):

Исходник-UHD BDRip 1080p, HDR10

зачем все эти манипуляции когда уже есть к примеру вот это?:

Война миров / War of the Worlds (2005) UHD BDRemux [H.265/2160p] [4K, HDR, 10-bit]

Если ради уменьшения размера, то почему бы не взять за исходник UHD BDRemux и просто пожать его кодеком AV1, зачем делать апскейл с рипа 1080р который и был сделан из UHD BDRemux или UHD BD? В чем великая суть таких, на первый (да и на третий тоже) взгляд бесполезных действий?

Смысл именно в AI, а точнее в добавляемых и усиливаемых им деталях.
Ну не хватает людям именно психовизуальных деталей, не обычных, которые мало заметны. И даже в 4K.
Если делать в Топазе 4K c 4K, то будет, во прервых намного-намного дольше, во вторых меньше добавленных AI психовизуальных деталей, особенно если делать высоким recover original detail, а при апскейле таких деталей больше. В Топазе AI заточен именно на апскейл.
И хорошо, если: апскейл с рипа 1080р который и был сделан из UHD BDRemux или UHD BD, так как в таком 1080р, если он хорошо сделан, сохраняются некоторые детали из UHD, которых бы не было в обычном 1080р, в итоге апскейл получается более детализированным.
Почитайте там комментарии, даже при сильном шумоподавлении и утрате деталей, утрате деталей при большем сжатии, люди в восторге именно от психовизуальных AI деталей, а не от обычных, мало заметных, коих там меньше.
И психовизуальные AI детали выделяются особенно когда удаляется зерно и шум с мелкими деталями, именно поэтому некоторые наоборот, любят зерно, чтоб не было акцента на какие то детали...

Кто мне пояснит суть квадратных пикселей, особенно при апскейле? Нормальный плеер применит флаг Display aspect ratio из контейнера и покажет картинку правильно при анаморфном видео, а если нет, то всегда можно изменить соотношение сторон вручную в кривом плеере!
У меня например глаза не квадратные и я лично различаю разрешение по высоте лучше, чем по ширине, и зачем мне квадратные пиксели, особенно при апскейле? Когда можно сделать анаморф, особенно при 4K! и сэкономить битрейт и время на кодирование!? В этом плане крутейшая спецификация кодека AV1 - Super-Resolution! Она именно это и делает, но к сожалению, ни один аппаратный декодер не справился с ней, только программное декодирование на компе.

Календарь писал(а):

Софорумчане, у меня вопрос - заметил, что топаз video ai 5.x.x версии стал кодировать h264, профиль high, контейнер .mp4 1080p со сжатием всего 3 реф.кадра (подобно старой, второй версии топаза). предыдущие (третья и четвертая) версия выдавали сжатие в 4 ref.
Кто разобрался с чем это связано и можно ли настроить 4 ref ?

В Топазе беда с GUI параметрами кодирования, но это не критично, Топаз основан на ffmpeg и это профессионально!
Нужно изучить доки ffmpeg и вперед!)
Все настройки кодирования сохраняются в файле video-encoders.json, его и надо менять, предварительно сделав копию.
Настройки делятся по платформе OS и железу: AMD, Nvidia и Intel.
h264, h265 и AV1 кодируются в Топазе только на видеокартах.
Выбирайте ваши и меняйте, согласно докам ffmpeg.
В ffmpeg для кодирования есть два вида параметров: глобальные библиотеки avcodec, и специальные.
Например на Intel QSV для h264 можно выставить глобальный: -refs:v 4 , и будет 4 реф.кадра. Может он подойдет и для AMD и Nvidia, надо пробовать. Но при железном кодировании он мало влияет на качество.
Главный параметр качества, это: -preset , обязательно поменяйте на максимальный.
Для Intel: -preset veryslow
Для Nvidia: -preset p7
Для AMD: -quality 2
Как смотреть: в консоли по пути, где ffmpeg ввести, к примеру для Nvidia h264:

Код: выделить все

ffmpeg -h encoder=h264_nvenc

Уважаемый Alone_Kedr, наверное мне больше нечего добавить к тому, что перечислил уважаемый afmla.
Благодарю за вопрос.

подскажите . топаз артефачит когда обрабативает размытие фоны или бокэ . что с этим можно сделать ?

djayson писал(а):

подскажите . топаз артефачит когда обрабативает размытие фоны или бокэ . что с этим можно сделать ?

Топаз выискивает там детали, поэтому надо уменьшить его воздействие, не использовать Motion deblur.
Поведение Топаза сильно не отрегулируешь, поэтому сперва лучше попытаться убрать зерно, шумы и полосы(deBand) в других программах (например StaxRip), затем только в Топазе, в параметрах перейти в ручные настройки и уменьшить: Improve detail, Sharpen, deblur, Dehalo.

afmla
так Motion deblur все-таки использовать после StaxRip только уменшить его ?

я сейчас проганяю фолаут и там очень много зерна и постоянний єтот бокє.

и еще хотел спросить. часто топаз дорисовует глаза и виглядит єто крипово. от єтого можна както избавится ?

afmla писал(а):

люди в восторге именно от психовизуальных AI деталей, а не от обычных, мало заметных, коих там меньше.
И психовизуальные AI детали выделяются особенно когда удаляется зерно и шум с мелкими деталями, именно поэтому некоторые наоборот, любят зерно, чтоб не было акцента на какие то детали...
----------
Кто мне пояснит суть квадратных пикселей, особенно при апскейле? Нормальный плеер применит флаг Display aspect ratio из контейнера и покажет картинку правильно при анаморфном видео, а если нет, то всегда можно изменить соотношение сторон вручную в кривом плеере!
У меня например глаза не квадратные и я лично различаю разрешение по высоте лучше, чем по ширине, и зачем мне квадратные пиксели, особенно при апскейле?

мышь не рождает слона, то что Вы называете психовизуальными деталями, привносимыми AI, по сути является бредом искусственного "интеллекта", который из фильма делает франкенштейна, в лучшем случае - подобие трехмерного комикса

в отношении квадратного пикселя - расскажите это медиаплеерам телевизоров предыдущих поколений, которые не умеют правильно работать с анаморфом.

=======
у нас разные пути - мне импонирует делать релизы которые ГАРАНТИРОВАННО работают на любом устройстве поддерживающим старый, но до сих пор очень распространенный кодек,
Вам нравится рваться в облака и идти в ногу с новейшими разработками видеокодинга (вот только какая часть пользователей имеет технику для воспроизведения AV1 ? )

==========

afmla писал(а):

можно выставить глобальный: -refs:v 4 , и будет 4 реф.кадра

ок! понятно. спасибо!

djayson писал(а):

afmla
так Motion deblur все-таки использовать после StaxRip только уменшить его ?

Нет, Motion deblur - не регулируемый, его использовать надо когда сильное размытие в динамичных сценах или при движении камеры, в неподвижных сценах он может создавать артефакты.

Цитата:

и еще хотел спросить. часто топаз дорисовует глаза и виглядит єто крипово. от єтого можна както избавится ?

Не использовать модели Iris.

У меня не отображается version Al model как на скрине, Топаз 5.0.3.Может в настройках где то подшаманить надо?Спасибо.

afmla
я протеус использую.
а какую модель посоветуете?

Календарь писал(а):

в отношении квадратного пикселя - расскажите это медиаплеерам телевизоров предыдущих поколений, которые не умеют правильно работать с анаморфом.

Очень много DVD дисков с не квадратным пикселем, анаморфным видео!
В мини-гайде Alone_Kedr как раз использует такой DVD!
Все старые DVD плееры умели работать с анаморфом, наоборот, это сейчас кривые плееры разучились определять анаморф, даже DaVinci Resolve не умеет!, но слава богу, еще можно вручную выставить соотношение сторон в плеерах.

Цитата:

у нас разные пути - мне импонирует делать релизы которые ГАРАНТИРОВАННО работают на любом устройстве поддерживающим старый, но до сих пор очень распространенный кодек,
Вам нравится рваться в облака и идти в ногу с новейшими разработками видеокодинга (вот только какая часть пользователей имеет технику для воспроизведения AV1 ? )

Практически все новые ТВ на железе моделей 2020-го и новее поддерживают AV1, а ТВ приставки с поддержкой AV1 стоят дешевле 2000р. А уже сейчас на новом железе практически не нужна аппаратная поддержка AV1!

Добавлено спустя 6 минут 51 секунду:

djayson писал(а):

afmla
я протеус использую.
а какую модель посоветуете?

Протеус самый универсальный, но в нем не изменить влияние конкретно на глаза, попробуйте еще уменьшить Improve detail, и увеличить Recover detail.

Добавлено спустя 8 минут 45 секунд:

Santas 61 писал(а):

У меня не отображается version Al model как на скрине, Топаз 5.0.3.Может в настройках где то подшаманить надо?Спасибо.

File->Preferences->Advansed: Enabe previous model versions

Календарь писал(а):

Вам нравится рваться в облака и идти в ногу с новейшими разработками видеокодинга (вот только какая часть пользователей имеет технику для воспроизведения AV1 ? )

Ваше предложение я понял.
Примерно как на картинке, ниже. Ну тогда, кто на нижних этажах, пусть там и остается.
А мы пойдем выше.

Календарь писал(а):

у нас разные пути - мне импонирует делать релизы которые ГАРАНТИРОВАННО работают на любом устройстве поддерживающим старый, но до сих пор очень распространенный кодек,

Поэтому тут мы и разойдемся и надеюсь, что больше никогда, не будем заниматься фалометрией в отношении наших работ.
Спасибо.