Авторские статьи

Гагарин (1994)


Есть маленький мультфильм, трогательный и смешной, под названием Гагарин (1994). Так получилось что мои заигрывания с нейронными сетями я решил начать с улучшения (upscale) именно данного мультфильма.

Этот маленький трёхминутный мультфильм Гагарин от студии Pilot (Second Frog animation group) режиссёра Алексея Харитиди полон философских мыслей. Если вы его ещё не видели, тогда лучше сначала посмотрите мою улучшенную версию, выложенную на YouTube или найдите в конце статьи magnet-ссылку и скачайте через bittorrent протокол, чтобы насладиться просмотром на большом экране вашего ТВ.

Какова мораль этого произведения? Страх первой неудачи не должен поставить крест на мечте? Всему своё время? Каждый ответит для себя сам, этим мульт и ценен.

Мультфильм стал подопытным кроликом по массе причин:

  • Во-первых, хотелось познакомиться ближе с технологиями нейронных сетей, разобраться в их различных классификациях и сферах применимости.
  • Во-вторых, бережного и аккуратного подхода требует обработка человеческих лиц, которые могут искажаться в результате обработки. Поэтому обработку раритетных видеоклипов с любимыми исполнителями решено оставить на потом. В мультфильме нет лиц.
  • В-третьих, хотелось на выходе получить осязаемый результат в разумные временные сроки (проба пера), который можно достойно посмотреть на новом современном 4К телевизоре.

Вопросы увеличения изображения (upscale) при низком разрешении оригинала актуальны до сих пор. В игровой индустрии вопрос стоит ещё острее, так как изображения в видеопотоке нужно не просто увеличивать достойно, а делать это очень быстро. Современные ТВ тоже стараются нас порадовать, но нужно понимать что внутри ТВ процессор не настолько мощный, чтобы налету делать качественное увеличение.

Вот часть одного кадра мультфильма. Оригинал.

Гагарин оригинал

Обычно в современных ТВ используются различные математические алгоритмы на подобии (или основе) Фильтра Ланцоша, который назван в честь предложившего этот метод обработки данных венгерского учёного Корнелия Ланцоша (венг. Lánczos Kornél). Образно говоря, ТВ пытается контент низкого разрешения быстро и достойно представить на вашем огромном экране. Обычно это будет выглядеть примерно так.

Гагарин после фильтра Ланцоша

А теперь посмотрите результат работы нейронной сети Real-ESRGAN. ESRGAN – это Enhanced Super-Resolution Generative Adversarial Networks, то есть улучшенные генеративно-состязательные сети для высокого разрешения.

Гагарин после работы Real-ESRGAN

Согласитесь что результат разительно отличается! Но чтобы получить такой результат, нейронной сети Real-ESRGAN требуются для работы значительные вычислительные ресурсы центрального и графического процессоров, чего не может себе позволить в режиме реального времени ТВ. Мультфильм был разложен в ряд из 5000 кадров-картинок для обработки каждого кадра нейронной сетью Real-ESRGAN. Затем обработанные картинки собраны обратно в видеопоток, чтобы вы могли получить эстетическое удовольствие от просмотра.

Скачать torrent мультфильм Гагарин (1994)

Дата последней правки: 2022-03-12 11:56:45

    Twitter   


Разделы

Главная
Новости
Ворох бумаг
Видео Linux
Игры в Linux
Безопасность
Статьи о FreeBSD
Статьи об Ubuntu
Статьи о Snappy
Статьи об Ubuntu Phone
Статьи о Kubuntu
Статьи о Xubuntu
Статьи о Lubuntu
Статьи об Open Source
Карта сайта

Лучшее на сайте:

1С под Linux.   Ускорение Ubuntu.   21 пример iptables.   Цикл статей о Ceph.   Убунту в дикой среде.   Ubuntu Linux на SSD.   Ubuntu для блондинок.   Поддержка железа в Linux.   BTSync на службе у админа.   Андроид программы в Ubuntu.   Прокидывание портов для p2p.   Анти СПАМ в Postfix.  



Группа поддержки