Ученые из Института робототехники университета Карнеги Меллона работают над компьютерной системой, которая может читать язык тела, вплоть до положения пальцев. Новый процесс работает в режиме реального времени и даже в толпе, тем самым ученые раскрывают дверь для организации более естественного взаимодействия людей и машин.
На данный момент общение с машинами ограничено возможностями ввода информации, обычно это сенсорный экран, мышь и клавиатура. Можно, конечно, взять в пример голосовое управление, однако все приложения связанные с голосовым управлением не так просты как кажется, так как каждый человек, который берется за управление, должен знать конкретную команду, а их может быть тысячи, а вот системы, которая бы воспринимала разные наборы слов по смысловой нагрузке пока не существует. Язык тела в этом смысле может нести большие возможности, так как выучить движения намного проще, чем выучить конкретные команды и чем ввести команду при помощи сторонних устройств.
Сложность новой системы заключается в том, что компьютер должен научиться идентифицировать все человеческие позы правильно, то есть не принимать за команду простое бытовое движение человека.
Команда с Ясером Шейхом, профессором робототехники из Университета Карнеги Меллон, сочетает ряд подходов для решения такой задачи. Один из подходов достаточно топорный, в нем аспиранты должны методично показывать на камеру тысячи различных поз и движений. Другой способ состоял в обучении компьютера отличать отдельные жесты, а не человека в целом, что по словам команды полезно для просматривания действий в толпе. В третьей части был использован первый подход, но с использованием CMU’s Panoptic Studio, которая представляет собой двухэтажные купола с 500 видеокамер, что позволило изучить разные жесты с сотен разнообразных углов.
А в данный момент команда работает над переходом от 2D модели к 3D модели для лучшего распознавания.
В конечном итоге система может искать преступников, помогать автономным машинам в распознавании людей и действий на дорогах, а также в диагностике поведенческих расстройств.
Исследование будет представлено на конференции 2017 Computer Vision and Pattern Recognition Conference в Гонолулу, которая проходит с 21 июля по 26.
