Мы много учились манипулировать объектами: тыкать, подталкивая, растягивая, а затем смотрим, как они реагируют.
Очевидно, что мы не можем сделать это с помощью видео — просто попробуйте прикосновения, что видео на телефоне и посмотреть, что происходит. Но это здорово, чтобы думать, что мы могли бы мы предпринять в видео, имитировать движение кота, никогда не взаимодействующий с реальностью?
Исследователи из Массачусетского технологического института информатики и лаборатории искусственного интеллекта (CSAIL) недавно, разрабатывая метод визуализации под названием Interactive Dynamic Video (IDV) , достигли возможности «потрогать» объекты на видео. Использование традиционных камер и алгоритмов, IDV смотрит на крошечные, почти невидимые вибрации объекта для создания видео — моделирования , с которыми пользователи могут виртуально взаимодействовать.
Интерактивная демонстрация Dynamic Video из лаборатории MIT компьютерных наук и искусственного интеллекта
Видео: MIT CSAIL
«Этот метод позволяет нам захватить физическое поведение объектов, что дает нам возможность играть с ними в виртуальном пространстве,» говорит CSAIL аспирант Abe Дэвис, который будет издавать работу в этом месяце по окончании его диссертации. «Делая видео интерактивным, мы можем предсказать, как объекты будут реагировать на неизвестные силы и исследовать новые способы взаимодействия с видео».
Дэвис говорит , что IDV имеет много возможных применений, от создателей фильма, производящих новые виды визуальных эффектов для архитекторов, определяющих, если здания структурно звука. Например, он показывает, как в популярном приложение Покемон Go может упасть виртуальные символы в реальных средах, IDV может пойти на шаг дальше, что на самом деле позволяет виртуальные объекты ( включая покемонов ), взаимодействовать с их окружением в конкретных, реалистичные мирах, как отражение листьев соседнего куста.
Он изложил технику в статье, которую он опубликовал в начале этого года с докторант Джастин Г. Чен и профессором Фредо Дюран.
Как это работает
Наиболее распространенным способом для имитации движения объектов »является построение 3D модели. К сожалению, 3D моделирование является дорогостоящим, и может быть практически невозможным для многих объектов. В то время как алгоритмы существуют для отслеживания движения в видео и увеличить их, которые могут надежно моделировать объекты в неизвестных условиях. Работа Дэвиса показывает, что даже пять секунд видео может иметь достаточно информации, чтобы создать реалистичное моделирование.
Для моделирования объектов, команда проанализировала видео клипы, чтобы найти «режимы вибрации» на разных частотах, каждая из которых представляет различные способы, с помощью которых объект может двигаться. Выявляя формы этих режимов «, исследователи могут начать предсказать, как эти объекты будут двигаться в новых ситуациях.
«Компьютерная графика позволяет использовать 3D модели для построения интерактивных моделирования, но методы могут быть сложными,» говорит Дуг Джеймс, профессор информатики в Стэнфордском университете, который не участвовал в исследовании. «Дэвис и его коллеги представили простой и умный способ извлечь полезную модель динамики от крошечных колебаний в видео, а также показано, как использовать его, чтобы оживить изображение.»
Дэвис использовали IDV на видео различных объектов, в том числе мост, джунгли спортзал, и Ukelele. С помощью нескольких щелчков мыши, он показал, что он может толкать и тянуть изображение, изгибать и перемещать его в разных направлениях. Он даже продемонстрировал, как он может заставить его собственную руку, по всей видимости телекинетически контролировать листья куста.
«Если вы хотите смоделировать, как объект ведет себя и реагирует на различные силы, мы показываем, что вы можете наблюдать объект, как он реагирует на существующие силы и предположить, что он будет отвечать согласованным образом к новым» говорит Дэвис, который также обнаружил, что техника работает даже на некоторых существующих видео на YouTube.
Приложения
Исследователи говорят, что инструмент имеет много потенциальных применений в области машиностроения, индустрии развлечений и многое другое.
Например, в фильмах, это может быть сложно и дорого, чтобы получить CGI символы, чтобы реалистично взаимодействовать в их реальных средах. Для этого необходимо кинематографистам использовать green-screens и создавать детальные модели виртуальных объектов, которые могут быть синхронизированы с живыми выступлениями.
Но с IDV, видеооператор может снимать видео существующей реальной среды и сделать некоторые незначительные изменения, такие как маскировку, и затенение для достижения подобного эффекта в гораздо меньшее время — и ниже по стоимости.
Инженеры могут также использовать систему для моделирования, как старое здание или мост будет реагировать на сильные ветры или землетрясения.
«Умение поставить объекты реального мира в виртуальные модели является ценным не только для очевидных развлекательных приложений, но и для возможности испытать стресс в безопасной виртуальной среде, таким образом, чтобы не нанести вред реальному миру»говорит Дэвис.
Он говорит, что он также хочет увидеть как появляются другие приложения, от изучения спортивных фильмов к созданию новых форм виртуальной реальности.
«Когда вы смотрите на компанию VR, как Окулусе, они часто имитируя виртуальные объекты в вещественных пространствах», говорит он. «Такого рода работы оказывается, позволяет нам увидеть, как далеко мы можем пойти с точки зрения захвата и манипулирования реальными объектами в виртуальном пространстве.»
Эта работа была поддержана Национальным научным фондом и Научно-исследовательским институтом Катара Computing. Чен также получил поддержку со стороны Shell исследований в рамках Инициативы MIT Energy.