Upscale видео с использованием AI (обсуждение, предложения, обмен опытом)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..Обработка видео с использованием ПО на базе искусственного интеллекта (AI)

Щебечем здесь на тему увеличения разрешения (обработки) видео с использованием программного обеспечения на базе искусственного интеллекта (AI)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..

afmla, спасибо!

afmla писал(а):

Очень много DVD дисков с не квадратным пикселем, анаморфным видео!
В мини-гайде Alone_Kedr как раз использует такой DVD!
Все старые DVD плееры умели работать с анаморфом, наоборот, это сейчас кривые плееры разучились определять анаморф, даже DaVinci Resolve не умеет!, но слава богу, еще можно вручную выставить соотношение сторон в плеерах

откровенно говоря, это мой гайд, набросанный за несколько минут и вынесенный куратором темы в шапку.
в моем телевизоре (10+ летнем FullHD полутораметровом шарпе) нет ручной установки точных пропорций.
меня полностью устраивает его 8-битная матрица своей корректной натуральной цветопередачей
уже много лет назад забросил все двд- и блюрей- плееры и смотрю только через медиаплеер ТВ

в настройках ввода-вывода у DaVinci есть пропорция пикселя, насколько корректно работает я не проверял

asadov74 писал(а):

Ваше предложение я понял.
Примерно как на картинке, ниже. Ну тогда, кто на нижних этажах, пусть там и остается.
А мы пойдем выше.

Поэтому тут мы и разойдемся и надеюсь, что больше никогда, не будем заниматься фалометрией в отношении наших работ

я и не мерялся никогда и смысла не вижу в этом, а Вы, похоже, всё забыть не можете пару-тройку комментов под Вашими релизами. у всех планка качества своя - тут я согласен с Вами на 100%

практически перестал комментить что-либо, даже в этой теме редко появляюсь - конструктива не получается нигде, только растревоженные амбиции

-----
Так будут последние первыми, и первые последними, ибо много званых, а мало избранных (Евангелие от Матфея 20 стих 16)

Календарь писал(а):

откровенно говоря, это мой гайд

Отличный, очень нужный тут гайд. Побольше бы!

Цитата:

в моем телевизоре (10+ летнем FullHD

Это понятно, но вдруг появится 4K HDR AV1 60fps ТВ, разве не захочется и 4K HDR AV1 60fps? Мне захотелось.

Цитата:

практически перестал комментить что-либо, даже в этой теме редко появляюсь - конструктива не получается нигде, только растревоженные амбиции

Это как водится, такова селяви, но чем больше обмен опытом, тем лучше результат.

Календарь писал(а):

я и не мерялся никогда и смысла не вижу в этом, а Вы, похоже, всё забыть не можете пару-тройку комментов под Вашими релизами. у всех планка качества своя - тут я согласен с Вами на 100%

Ну Вы как всегда....
Гов*а на вентилятор накинете, а потом типа, "так я ничего не говорил, это вы дурак".
Улыбнулся, спасибо и с праздником.

вопрос знатокам - с чем может быть связана такая проблема: при использовании комбинации модели Тейя (3 или 4)+Ирис в превью первая половина отрезка отображается нормально, а вторая половина отрезка покрывается сине-зелёной рябью помех как на старых видеокассетах. Встречается не на всех видео, но закономерности пока не понял.

Проблема скорее всего именно в комбинации или наложениях моделей, почти у каждой модели есть малозаметные артефакты, которые другая модель скорее всего усилит. При комбинациях еще часто появляются сбойные кадры при кодировании, где картинка сыплется в квадраты, поэтому нужно еще проверять видеоряд на сбои.
Хочешь артефактов AI - комбинируй модели...

сбойные кадры - возможно. Спасибо

AI-перевод звука в фильмах: ещё не торт, но на безрыбье и яндекс делу не помеха...

..всё началось с того,
что не нашёл перевод
к новому сезону сериала..

у меня нет яндекс-браузера, я работал через скрипт (очень расширяет функционал)

1) - необходимое условие - наличие установленного расширения в браузере - Tampermonkey
2) - сам скрипт берем с гитхаба у пользователя ilyhalight в ветке voice-over-translation (там есть и ссылка на Tampermonkey)
3) - видео для перевода должно быть на площадке, дающей возможность его просмотра (гугл-диск, яндекс-диск, вимео, ютуб... вариантов много) и в формате .mp4
4) - видео необходимо(!) "расшарить" - предоставить доступ по ссылке
5) - выбираем api (DEEPL или YANDEX), оставляем настройку приглушать оригинальную дорожку 15%, жмем "translate", ждём (тайминг просчитывает программа неверно, в реале нужно до получаса для полуторачасового аудио), перевод сохранить можно только в 22 kHz 1 channel 128 kbps .mp3 и только в виде чистых голосов, без амбиентных звуков
6) - микширование - накладываем перевод (голоса) на основную дорожку (в Adobe Audition)
a- sample rate сводимых дорожек должны быть одинаковы (напр. 44.1 kHz) - иначе (проверено на себе*) - Adobe Audition сама приведет дорожки в единый khz, но вы получите другую продолжительность аудио (до неск. сек. на час длительности) - я подготавливал в XviD4PSP 8
b- Adobe Audition - mulitrack (перетаскиваем дорожки голосов и основы, сохраняем в единый файл)

P.S. иногда(!) простого сведения видео-аудио в mkvmerge (или подобных) недостаточно - звук заикается* - иногда всё получается с первого раза, а вот при работе с парой сезонов одного из сериалов мне пришлось новые видео-аудио файлы прогонять* через кодирование в XviD4PSP 8 (самый низкий видео-битрейт для ускорения кодирования, главное чтобы программа свела звук и видео, в параметрах частоты кадров оставил родное* значение, но дал настройку "speed"), и затем аудио из полученного приклеивать к основномым видео файлам.
-----------
P.P.S.
Чуть не забыл самое интересное - ЕСЛИ ГОЛОСА НЕ УСТРОЯТ ВАС ПО ТОНАЛЬНОСТИ - поиграйтесь тоном в Adobe Audition (отрицат. значения дают бас, а плюсовые - высокий звонкий голос)

выбираем именно ту, и только ту дорожку, где хотим изменить тональность
========
удачного перевода!

Календарь, здорово!
P.S. XviD4PSP конечно хорош, но есть более функциональные - комбайны с фильтрами VapourSynth или Avisynth: StaxRip активно развивается, Hybrid от selur.
Скорость звука отлично подгоняет eac3to, есть в том же StaxRip.
А сводить аудио с видео, при проблемах, можно и в DaVinci Resolve.

afmla писал(а):

комбайны с фильтрами VapourSynth или Avisynth: StaxRip активно развивается, Hybrid от selur.

Наверное эти две проги пока самые лучшие по набору фильтров, Xvid4psp 5 тоже хорошая.

afmla
LORDKILL

согласен (без иронии), софт для подготовки исходников, которым пользуюсь я далёк от совершенства. банально жалко времени (даже нескольких дней) переучиваться на что-то новое. в совсем уж сложных случаях деинтерлейса или пуллдауна брался за Hybrid, пару раз, не более ( ЕМНИП <<художник и модель>> и <<роз это париж>>) - всем он хорош, только опция предсмотра в нем хромает сильно

Добавлено спустя 5 минут 11 секунд:

afmla писал(а):

Скорость звука отлично подгоняет eac3to

скорее всего проблема заикания (после наложения перевода) не в скорости, а в потере ключевых кадров, которые решает перегонка* в сборе с видео (совсем не уверен в правоте, но выглядит логично)

анонс - Swan lake / Лебединое озеро (1966) DVDRip [H.264/1080p] [Handmade Upscale AI]

Марго Фонтейн, британская балерина, и Рудольф Нуриев. Единственная версия балета с участием легендарной пары, заснятый на пленку в 1966 году по версии, поставленной в 1964 году для балета Венской государственной оперы.

11 минут 24 сек. проба - https://wdfiles.ru/3uMwb
сравнение с исходным ДВД (ремукс) https://imgsli.com/MjcxOTY5

Календарь, интересный проект.
А почему сперва PROTEUS, а потом NYX? Исходник interlaced да? тогда понятно. А может попробовать Iris LQ V2 + PROTEUS или наоборот?
И сперва anti-alias/deblur at -4 да, удаляем сперва ступеньки, если они есть, а потом почему deblur 0? Вроде артефактов не видно и deblur их не выделит, а чуть больше deblur во второй модели визуально уменьшит мыло от шумодавов, особенно в движении? И anti-alias -4 немного размывает края, которые бы deblur at 4 нивелировал.
И focus fix normal, правда тогда придется делать второй проход, вместо комбо, focus fix лучше после апскейла, он не рекомендуется при разрешение ниже 1080p, тут мог бы помочь с контурами-краями.

afmla
да, это интерлейсный, анаморфный, NTSC DVD-9, я соединил tsMuxer-ом все .vob файлы в единый поток .ts -

General
ID : 1 (0x1)
Complete name : Swan lake_1966_DVDREMUX.ts
Format : MPEG-TS
File size : 7.26 GiB
Duration : 1 h 47 min
Overall bit rate mode : Variable
Overall bit rate : 9 704 kb/s
Maximum Overall bit rate : 35.5 Mb/s

Video
ID : 4113 (0x1011)
Menu ID : 1 (0x1)
Format : MPEG Video
Format version : Version 2
Format profile : Main@Main
Format settings : CustomMatrix / BVOP
Format settings, BVOP : Yes
Format settings, Matrix : Custom
Format settings, GOP : Variable
Format settings, picture structure : Frame
Codec ID : 2
Duration : 1 h 47 min
Bit rate mode : Constant
Bit rate : 6 147 kb/s
Maximum bit rate : 6 020 kb/s
Width : 720 pixels
Height : 480 pixels
Display aspect ratio : 4:3
Frame rate : 29.970 (30000/1001) FPS
Standard : NTSC
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Interlaced
Scan order : Top Field First
Compression mode : Lossy
Bits/(Pixel*Frame) : 0.593
Time code of first frame : 00:00:00:00
Time code source : Group of pictures header
GOP, Open/Closed : Open
GOP, Open/Closed of first frame : Closed
Stream size : 4.60 GiB (63%)
Color primaries : BT.601 NTSC
Transfer characteristics : BT.601
Matrix coefficients : BT.601

Audio #1
ID : 4352 (0x1100)
Menu ID : 1 (0x1)
Format : DTS
Format/Info : Digital Theater Systems
Codec ID : 130
Duration : 1 h 47 min
Bit rate mode : Constant
Bit rate : 1 510 kb/s
Channel(s) : 5 channels
Channel layout : C L R Ls Rs
Sampling rate : 48.0 kHz
Frame rate : 93.750 FPS (512 SPF)
Bit depth : 16 bits
Compression mode : Lossy
Stream size : 1.13 GiB (16%)

Audio #2
ID : 4353 (0x1101)
Menu ID : 1 (0x1)
Format : PCM
Format settings : Big / Signed
Muxing mode : Blu-ray
Codec ID : 128
Duration : 1 h 47 min
Bit rate mode : Constant
Bit rate : 1 536 kb/s
Channel(s) : 2 channels
Channel layout : L R
Sampling rate : 48.0 kHz
Bit depth : 16 bits
Stream size : 1.15 GiB (16%)

afmla писал(а):

попробовать Iris LQ V2 + PROTEUS или наоборот

Iris в любой версии чрезмерно работает* с чертами лица, при недетализированности уродует их, даже геометрические мелкие фигуры портит - стремится их преобразовать в восточный* орнамент, (а из мелких размытых букв вообше делает подобие арабского шрифта). здесь Iris не помощник (проверено)

afmla писал(а):

Вроде артефактов не видно и deblur их не выделит

артефакты (призраки интерлейса и мозаика вместо черт лица) постоянно на исходнике, деблюр высоких значений подчеркивает до уродства черты лиц и детали заднего фона
скриншоты с исходника -

afmla писал(а):

чуть больше deblur во второй модели

и снова повторюсь - нет деталей заднего плана до такой степени, что фарш вместо лиц, контурность приносит "шевеление" и нестабильность заднего фона и мерцание* контуров фигур - очень много векторов движения, особенно при панорамном движении камеры.

afmla писал(а):

focus fix лучше после апскейла

отказался, по той же причине - слишком грубо почеркивает контурность

afmla писал(а):

делать второй проход

пробовал после комбо, дополнительным, вторым проходом, натянуть резкость, к сожалению ни в одной из моделей лучше становится, всё упирается в детализированность, вернее отсутствие деталей заднего плана - нет информации на изображении и сразу артефачить начинает.

Уважаемый Календарь,
практически во всех настройках Вы пишете "комбо" двух моделей, например, PROTEUS-4 + NYX-3. По факту что это означает - последовательная обработка или каким-то образом решается обработка сразу двумя моделями?