Искусственный интеллект обучили создавать slow-motion видео

Nvidia oбъявилa oб oчeрeднoм примeнeнии мaшиннoгo oбучeния в цeляx улучшeния фoтo- и видeoсъeмки. Чтoбы дoбиться тaкoгo эффeктa обычным способом, надо бы снимать с более высокой частотой — например, 240 к/с на эффекта замедления в 8 раз. Созданная в Nvidia система самочки генерирует недостающие 210 к/с, заполняя ими промежутки посерединке реально снятыми кадрами. Система представляет собой сверточную нейросеть, обученную нате базе:

фреймворка глубокого обучения   PyTorch   (какой-нибудь в свою очередь был ускорен с помощью библиотеки   cuDNN)
графических ускорителей Tesla V100
11 тысяч видеороликов, снятых со скоростью 240 к/с. Кой получился результат позволяет судить видео снизу:

В первой части ролика представлены образцы, идеже слева — съемка с частотой 30 к/с, замедленная в 8 однова, а справа — она же, с заполнением недостающих кадров жеманно сгенерированными. Выглядит, согласитесь, вполне натурально и плавно. Знамо такая съемка не подходит для профессионального назначения, порой надо видеть только реальные кадры, но в качестве традиционного slow-motion возьми смартфон вполне годится. Т.е. владельцу смартфона надо словчить поймать в кадр наиболее эффектные 0.2 секунды и снять на карточку именно их. Это далеко не первый пассаж использования нейросетей Nvidia в обработке фото и видео. Доселе компания представляла технологии удаления из кадра с ног до головы каких-то объектов (например, автомобиля на дороге — притом так, что на его месте мы видим поди, а не пустое пятно), восстановления утраченных фрагментов (на выдержку, в скане старого фото), убирания шумов и т.д. Во всяком случае рука программного обеспечения на них зачастую имеет хотя (бы) большее значение, чем аппаратные характеристики камеры. Вот п, например, некоторые владельцы смартфонов при помощи специальных ухищрений устанавливают возьми них приложение камеры Google, которое официально перевода нет только на смартфонах этой компании. Nvidia
Рапортичка Искусственный интеллект обучили создавать slow-motion видео появились на первых порах на Gadgets News.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *