Upscale видео с использованием AI (обсуждение, предложения, обмен опытом)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..Обработка видео с использованием ПО на базе искусственного интеллекта (AI)

---

 
Щебечем здесь на тему увеличения разрешения (обработки) видео с использованием программного обеспечения на базе искусственного интеллекта (AI)

Современный зритель избалован визуальным контентом в высоком разрешении. Да и верхний предел качества картинки не установлен. Не беда, если видеоролик не отвечает стандартам, улучшить его качество помогут нейросети. Помогут ли?..

marsifox писал(а):

через Topaz AI

я показала не Топаз, я с ним никогда не работала,

ВНИМАНИЕ! На заметку тем, кто использует видеоредакторы нелинейного видеомонтажа, как и я. "Разгадал" с помощью GPT причину падения Corel VideoStudio (лицензионный) при рендеринге: проблема которая с некоторых пор появилась и я не усёк, когда именно. И, наконец, разгадка подана.

Цитата:

Topaz Video AI и AVCLabs. Эти программы устанавливают собственные GPU библиотеки и иногда конфликтуют с VideoStudio. Если ты недавно ставил: • Topaz Video AI • AVCLabs Video Enhancer • или их драйверы/модули — это может быть причиной падения. Проверка: Временно удалить Topaz/AVCLabs → перезагрузить → попробовать рендер.

С чём себя и поздравляю(( Как-то надо исхитриться и затратить время на создание мультизагрузочного Windows 11 на резервный SSD на котором записаны файлы виртуальных машин Hyper-V, что может быть проблемой.

Девочка в Джунглях. Опять.. Грабли, грабли, грабли. нужна покадровая реставрация или скорей всего заплатить румынам за скан их копии (ниже в спойлере пару скриншотов с их копии пленки 35мм).

Вот моя попытка чуть улучшить тот материал что дал канал ВХСник на яндекс-диске (исходники оцифровки по 28ГБ). Что сделано - цветокоррекция, уход в темноту, чтобы убрать все те засветы вокруг всего что есть в кадре, чуть увеличение, потом уменьшение... Результат лучше конечно сжать в SD 720х576, он выше просто не должен быть с таким убитым исходником, увы..

Приключения Маленького Мука (1983) - реставрация с DVB канала Культура.

Три прохода, чтобы сохранить нормальную картинку без появления артефактов. Можно конечно и в 4К, но увы, максимум на что тянет - 1080р, потому надо сжимать в AVC 1080р с небольшим битрейтом, чтобы всем было нормально.

Примеры скриншотов в 4К, чтобы поняли о чем речь (что не тянет никак на 4К).

вопрос немножко не в тему.
скачал с трекера апскейл хороший но автор закодил аудио в такой формат что половина моих девайсов не понимает.
можноего като переконвертировать не трогая видео дорожку?

djayson писал(а):

можноего като

катоможно

TOPAZAVR писал(а):

... Раньше я использовал LUT для преобразования HDR в SDR. Но я так и не нашёл универсальный кубик (.cube). Сейчас использую ffmpeg фильтр zscale tonemap чуть изменив параметры по умолчанию ...

И что теперь?
ffmpeg фильтр libplacebo! Работает очень быстро - Vulkan/GPU.

djayson писал(а):

вопрос немножко не в тему. скачал с трекера апскейл хороший но автор закодил аудио в такой формат что половина моих девайсов не понимает. можноего като переконвертировать не трогая видео дорожку?

кидаете в gMKVExtractGUI.v2.6.3 файл, отмечаете нужную дорожку звука и экспортруете на *** диск (укажите куда).

Потом полученный файл кидаете в EZ CD Audio Converter и конвертируете в АС3 (там выберите 2 или 6 каналов). Укажите путь сохранения.

Полученный АС3 надо смуксовать в матрешку, заменив им те дороги что не работают. Сдвига не должно быть, синхрон должен быть технически полным, ибо ез-сд не добавляет ничего и не обрезает.

P.S. я указала бесплатные программы, которые доступны и работают 100% отлично. В платных есть больше возможностей, но это для повернутых на теме создания видео.

Приветствую, может кто нибудь сделать апскейл 3D фильма из полной вертикальной стерео пары 1920х2160 в 3840х2160 не обязательно всего, у меня при увеличении разрешения топазом картинка не расширяется, а просто по бокам добавляются чёрные полосы. Спасибо.

ALEKSEX писал(а):

...при увеличении разрешения топазом картинка не расширяется, а просто по бокам добавляются чёрные полосы...

С помощью подходящей программы, например mkvtoolnix-gui — header editor, установите для своего файла соотношение сторон 16:9. Это правит метаданные — никакой перекодировки. Топаз примет это во внимание. Кстати, многие плееры также.

Для такого преобразования я бы посоветовал очень близкое по качеству, но в десять раз более быстрое увеличение с фильтром libplacebo.
ffmpeg ... -filter_complex "libplacebo=w=3840:h=2160:custom_shader_path='FSR.glsl'" ...

TOPAZAVR писал(а):

ALEKSEX писал(а): ...при увеличении разрешения топазом картинка не расширяется, а просто по бокам добавляются чёрные полосы... С помощью подходящей программы, например mkvtoolnix-gui — header editor, установите для своего файла соотношение сторон 16:9. Это правит метаданные — никакой перекодировки. Топаз примет это во внимание. Кстати, многие плееры также. Для такого преобразования я бы посоветовал очень близкое по качеству, но в десять раз более быстрое увеличение с фильтром libplacebo. ffmpeg ... -filter_complex "libplacebo=w=3840:h=2160:custom_shader_path='FSR.glsl'" ...

Я правильно понял это здесь? Плеер сразу растянул картинку а тв даже не может предложить варианты, показывает как и раньше, с топазом если выставлять 4к в автоматическом варианте то полосы всё равно добавляются, а если в кастомном то нормально получается, а фильтром libplacebo ни разу не работал, если не сложно объясните что с ним надо делать. Спасибо.

Дождались!?

Для работы Starlight Precise 2.5 желателен графический процессор с вычислительной мощностью CUDA не ниже 8.9 и требуется как минимум 12 ГБ видеопамяти, хотя рекомендуется 16-24 ГБ.

Blackwell   RTX 5090/5080  10.0
Ada         RTX 40-я серия  8.9
Ampere      RTX 30-я серия  8.6
Turing      RTX 20-я серия  7.5
Pascal      GTX 10-я серия  6.1

P.S. Неувязочка вышла.
Хотя про 8.9 написано в разделе «Требования» («Requirements»), народ на Топазном форуме пишет, что это всё же «рекомендации», и пишут, что у них Starlight Precise 2.5 вполне работает на RTX 30--. Считают Starlight Precise 2.5 лучшей Starlight моделью.

Оригинал  Mini  𝗣𝗿𝗲𝗰𝗶𝘀𝗲 𝟮.𝟱

DVD - 4K


0,8 сек

TOPAZAVR писал(а):

Дождались!? Для работы Starlight Precise 2.5 желателен графический процессор с вычислительной мощностью CUDA не ниже 8.9 и требуется как минимум 12 ГБ видеопамяти, хотя рекомендуется 16-24 ГБ. [b][font="Courier New"] ... ... Blackwell   RTX 5090/5080  10.0 Ada         RTX 40-я серия  8.9 ...

Да. Пару месяцев назад стал разбираться, что нужно для производительности, оказалось, что определяющий уже не CUDA, а наличие Tensor Cores:

Цитата:

"специализированные блоки внутри GPU, разработанные для ускорения матричных операций, используемых в глубоком обучении. Они значительно повышают скорость и эффективность вычислений, что критически важно для нейросетей"

Причём, в 2024-м году вышла новая версия этих блоков, которыми и обладает RTX 50-й серии. Собственно, неплохо работает и 40-я версия RTX (разница в производительности не такая уж и большая). Похоже, в этом сейчас основное остриё атаки с запретами Трампа Фёдоровича продавать NVidia - "профессиональные" модели B100, B200 - Китаю, что уже привело, похоже, к обратному эффекту.
Для меня существенным домашним фактором по-прежнему остаётся энергоэффективность, тем более, когда приходится надолго грузить технику. А вообще - всё ещё впереди, поскольку архитектура оборудования для прекрасных фокусов с обработкой видео ИИ ещё далеко не оптимальна и мы каждый год будем видеть "революционные сдвиги". Пока кроме Apple и Alibaba никто не рискует предлагать облачные обработки видео гражданам: загрузка оборудования и у них дорогого стоит((
Поэтому

Цитата:

"Starlight Precise 2.5 дебютировала в нашем облачном приложении Astra с большим энтузиазмом и позитивом. Тем временем мы усердно работали над созданием этой замечательной модели для локального рендеринга на рабочем столе!"