Гагарин (1994)
Есть маленький мультфильм, трогательный и смешной, под названием Гагарин (1994). Так получилось что мои заигрывания с нейронными сетями я решил начать с улучшения (upscale) именно данного мультфильма.
Этот маленький трёхминутный мультфильм Гагарин от студии Pilot (Second Frog animation group) режиссёра Алексея Харитиди полон философских мыслей. Если вы его ещё не видели, тогда лучше сначала посмотрите мою улучшенную версию, выложенную на YouTube или найдите в конце статьи magnet-ссылку и скачайте через bittorrent протокол, чтобы насладиться просмотром на большом экране вашего ТВ.
YouTube
RuTube
Какова мораль этого произведения? Страх первой неудачи не должен поставить крест на мечте? Всему своё время? Каждый ответит для себя сам, этим мульт и ценен.
Мультфильм стал подопытным кроликом по массе причин:
- Во-первых, хотелось познакомиться ближе с технологиями нейронных сетей, разобраться в их различных классификациях и сферах применимости.
- Во-вторых, бережного и аккуратного подхода требует обработка человеческих лиц, которые могут искажаться в результате обработки. Поэтому обработку раритетных видеоклипов с любимыми исполнителями решено оставить на потом. В мультфильме нет лиц.
- В-третьих, хотелось на выходе получить осязаемый результат в разумные временные сроки (проба пера), который можно достойно посмотреть на новом современном 4К телевизоре.
Вопросы увеличения изображения (upscale) при низком разрешении оригинала актуальны до сих пор. В игровой индустрии вопрос стоит ещё острее, так как изображения в видеопотоке нужно не просто увеличивать достойно, а делать это очень быстро. Современные ТВ тоже стараются нас порадовать, но нужно понимать что внутри ТВ процессор не настолько мощный, чтобы налету делать качественное увеличение.
Вот часть одного кадра мультфильма. Оригинал.
Обычно в современных ТВ используются различные математические алгоритмы на подобии (или основе) Фильтра Ланцоша, который назван в честь предложившего этот метод обработки данных венгерского учёного Корнелия Ланцоша (венг. Lánczos Kornél). Образно говоря, ТВ пытается контент низкого разрешения быстро и достойно представить на вашем огромном экране. Обычно это будет выглядеть примерно так.
А теперь посмотрите результат работы нейронной сети Real-ESRGAN. ESRGAN – это Enhanced Super-Resolution Generative Adversarial Networks, то есть улучшенные генеративно-состязательные сети для высокого разрешения.
Согласитесь что результат разительно отличается! Но чтобы получить такой результат, нейронной сети Real-ESRGAN требуются для работы значительные вычислительные ресурсы центрального и графического процессоров, чего не может себе позволить в режиме реального времени ТВ. Мультфильм был разложен в ряд из 5000 кадров-картинок для обработки каждого кадра нейронной сетью Real-ESRGAN. Затем обработанные картинки собраны обратно в видеопоток, чтобы вы могли получить эстетическое удовольствие от просмотра.
Скачать torrent мультфильм Гагарин (1994)
Скачать Гагарин (1994) https://cloud.mail.ru/public/DYiv/bnz3HQGNN
Дополнительные материалы:
Игры с нейронными сетями.
