Россиянин улучшил «Чебурашку» с помощью нейросети, повысив частоту смены кадров в секунду до 50. Мультфильм стал плавнее Статьи редакции
Алгоритм может помочь аниматорам с небольшими бюджетами, считает автор ролика.
Ведущий подкаста Zavtracast Максим Зарецкий увеличил частоту смены кадров в секунду (FPS) в мультфильме «Чебурашка» 1971 года с 7-8 до 50 с помощью нейросети DAIN AI — децентрализованной системы, использующей для вычислений множество компьютеров одновременно. TJ поговорил с автором сгенерированного ролика.
Если любопытно, я продолжу с другими кукольными мультиками.
Для генерации ролика Зарецкий использовал DAIN APP — бесплатную нейросеть, которая позволяет интерполировать новые кадры и генерировать больший FPS, чем в оригинальном видео. Автор видео пожаловался на сырость программы: «Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает».
Зарецкий отметил, что 18-минутный мультфильм в разрешении 320p просчитался на Ryzen 2600x/RTX 2080 примерно за 12 часов: «Это при условии, что алгоритм поднимает количество кадров ровно в два раза в сравнении с исходным видео. Если сравнивать с алгоритмами в телевизорах, то разница большая, потому что она исключает артефакты и дёрагнье при резких движениях. Алгоритм не теряет глубину картинки во время достраивания, да и каждый кадр достраивается отдельно а не „на лету“, отсюда выше качество».
Кукольную анимацию Зарецкий выбрал, потому что у неё постоянное количество FPS. Сначала он опробовал DAIN на мультсериале «Принц-дракон», но оказалось, что скорость анимации сильно «скачет».
Потом Зарецкий попробовал алгоритм на стоп-моушен мультфильме «Варежка»: «Алгоритм показал себя куда лучше и ровнее. На кукольном мультфильме эффект заметен сразу, потому что нейросеть достраивает промежуточные фазы сама».
Автор роликов признаёт, что алгоритм пока не идеален: «Есть небольшие артефакты при монтажных склейках. Когда камера двигается на нормальной скорости в 25 FPS, кажется, словно алгоритм ошибается. Но он просто пока не может определять вариативность FPS в анимации. И всё равно из всех видов лучше всего для интерполяции подходит стоп-моушен, поскольку он просто ровнее».
Проект Зарецкий создал для веселья, а не для того, чтобы «исправлять» стоп-моушен, который считает стилем, а не ограничением. При этом автор полагает, что алгоритм может помочь аниматорам с небольшими бюджетами.
Если развивать DAIN, то может мы наконец увидим того же «Принца-дракона» без явных попыток сэкономить — недостающие ключевые кадры будет достраивать нейросеть. Выиграет и аниме, где недостаток плавности анимации очень частая проблема, особенно в телевизионных релизах.
Следующим мультфильмом, в котором Зарецкий решил увеличить частоту кадров в секунду, стал «Падал Прошлогодний Снег». Он отметил, что нейросеть «упала» четыре раза, пока тот отвечал на вопросы TJ.
И тут я вспомнил. Порнхаб. Щас будет.
Да, Порнхаб. Зато тут высокий FPS без костылей и видео не блокируют наглухо.
В 2019 году с помощью интерполяции улучшали «Тома и Джерри» до 60 FPS. Но тогда плавность мультфильма оценили не все.
Выглядит более дёргано, чем оригинал и оттого всрато.
Или я чего-то не понимаю?
На ютубе открой и качество выбери правильное
Ключевые кадры руинят. А вот между ними плавно.
Хоть и чувак отбитый имбицил, из-за ебанутых реплик которого я перестал слушать завтракаст. Но видео збс, как и технология.
Жду когда "день студента реанимируют"
Комментарий недоступен
Ты про тот самый «День студента», где на хате трусят девки с парнями?
Не вижу разницы
Ждём Простоквашино в 4К😋
В чем отличие? Такая же лажа
Комментарий недоступен
Комментарий недоступен
Вот оригинал для сравнения
Комментарий недоступен
Выглядит оч стрёмно. Из-за того что в некоторых кадрах не так много движений, ощущение, что куски вырезали. С таким же успехом можно было на обычном софте дома поднять ФПС. Что нейросеть тут сделала?
Если ты банально поднимешь фпс с 25 кадров до 50, то будет один из 2 бестолковых вариантов. Это фрейм блендинг или фрейм фриз. Т.е или первый кадр будет наложен на второй кадр поверх с прозрачностью, в результате получая третий с призрачным ореолом, как в примере с Том и Джерри выше. Или же каждый кадр будет просто копироваться и повторятся второй раз, не делая существенной разницы и просто дублируя кадр. Но в примере с Чебурашкой, тут второй кадр - это полноценный отдельный кадр, который как будто должен был быть между 2мя кадрами, как отснятое промежуточное движение.. Другое дело, что в кукольном мультике плавность движения кукол вообще не должна предполагаться, поэтому для многих это выглядит крипово.
Но ведь глаз видит только 24 кадра в секунду
Это у лохов. Нормальные пацаны смело смотрят на 25-й кадр.
Епта, ну я же это не серьезно
Как будто на ускорении 1.5 смотришь. НУ ТАКОЕ
У меня синдром утенка, не трогайте пожалуйста старые мультики, они прекрасны такими, какими есть, не трогайте, пожалуйста, ну ни нада 😢
Жду когда выйдет в 4к, тогда и посмотрю
Без обработки не лучше, а привычней. Нужно спрашивать у тех, кто не смотрел старые мультики.
где 4К блеать!
Комментарий недоступен
Не увидел никакой разницы!
А между реальностью?
Эта тема с искусственным добавлением кадров в кино уже давно мусолится. В совеременных телеках уже по умолчанию включена эта фича типа true motion, известные кинорежиссеры и актеры просят производителей телеков убрать ее, якобы портится художественная задумка автора. И действительно, кино классически снимается на 24 кадрах, а когда картинка становится плавнее, появялется ощущение как будто смотришь документалку по натгео или реалити шоу. Тут по моему мнению эта фича так же неуместна
Правильно, если снимать кино с частотой 24 кадра, а потом пытаться сделать больше, что говнотелики и делают, то получится говно. Показывать нужно с той частотой кадров, с корой снимается, тогда будет всё в порядке. Реальная скорость будет соответствовать той, с корой снимали, и на экране ничего замедленно не будет, и выглядеть будут супер плавно переходы между кадрами.
Точно не уверен, но я так считаю почему-то :)
Лучшее видео на порнохабе которое я видел.
Вот супер плавное видео в 100500К с частотой 100500 фпс, оно настолько плавное что вы даже не заметите никакого движения.
П.С. Прикреплено не фото, а видео, и оно сразу идёт! просто всё настолько плавно, что кажется что я прикрепил простую картинку, но это не так.
Чубурашка на максимальках. Суперплавнее сделать просто не реально!
DAIN AI какой-то сайт с криптой открывает, кто-то видел нормальный алгоритм?
Как я понял, они сделали платформу для запуска нейронок, участникам которой платят своей криптой.
Armikrog
Любителей нейронок не устроило что SmoothVideo Project не нагружает их 2080 и работает в реалтайме?
Эффект зловещей долины
"Сейчас DAIN APP очень медленная и работает исключительно на видеокартах с актуальной версией CUDA. HD она просто не переваривает". - HD не переваривает не программа, а его видеокарта. К тому, же можно использовать разбиение кадров на секции и другие функции программы, чтобы даже слабая видеокарта переварила высокое разрешение, но тогда снизится качество и скорость интерполяции.
"но оказалось, что скорость анимации сильно «скачет»." Для этого тоже есть отдельная опция
А в 60 fps не судьба была переконвертить?
Комментарий удален модератором