Исследователи из Вашингтонского Университета недавно продемонстрировали, как 3D-видео могут быть воссозданы из разрозненных изображений и аудиофайлов. В эксперименте участвовали Том Хэнкс, Дэниел Крейг и несколько других знаменитостей. Такая разработка может вдохнуть новую жизнь в кинематограф и даже спровоцировать волну идеально подделанных видео, где звезда говорит нечто такое, чего никогда не было.
Технология опирается на достижения в 3D-реконструкции лица, отслеживании, согласовании, мульти-текстурах, моделировании и куклах, разработанных исследовательской группой во главе с доцентом компьютерных наук и инженерии Ирой Кемельмачер-Шлизерман.
Видео, которое продемонстрировали экспериментаторы, включает в себя фразы от разных знаменитостей, где фоном выступает звуковая дорожка и лицо Джорджа Буша. Было идеальное сопоставление с фразами, интонациями, манерами и мимикой самого политика и лиц других знаменитостей. Эта часть наглядно демонстрирует возможности подобного монтажа.
В алгоритмы машинного обучения, разработанного ВУ исследователями, входит не менее 200 изображений взятых из интернета, на которых одни те же люди изображены в разных позах. Данный процесс получил название «обучение в дикой природе».
Исследователи также считают, что подобная техника может улучшить ныне существующую форму видео-связи, такую как Skype или FaceTime. В обеих сетях на данный момент используется формат 2D и при должном развитии можно сменить его на более качественную модель.
«Вы могли бы однажды суметь создать 3D-модель вашей матери на диване всего лишь с помощью очков дополнительной реальности» — говорит Кемельмачер-Шлизерман: «Да, таких технологий еще нет, но все движется вперед. Разве вы не хотели бы заново создать свою мать в трех измерениях?».
Проектирование может в конечном счете заменить нынешний процесс съемки кино. Ведь можно создать вымышленный персонаж, как, например Бенджамин Баттон, где каждый угол и каждое движение Брэда Питта должно было быть записано в контролируемой обстановке. Эти изображения затем редактировались, чтобы создать окончательный персонаж, который делает все также, как и старик.
Полномасштабная презентация проекта состоится 16 декабря на Международной конференции по компьютерной визуализации.
