Роботов научили распознавать позу человека с помощью глубокого обучения

Исследователи из Технологического университета Тоехаси в Японии разработали новый метод автоматического определения позы человека. 

Ученые научили нейросеть генерировать объемные модели тела и размечать на них отдельные его части. Для того, чтобы роботы могли выявлять опасные для здоровья человека ситуации, исследователи создали открытую базу данных с 10 тыс. объемных изображений. Статья об исследовании опубликована в журнале Pattern Recognition.

Навык по различению человеческих поз может быть полезен для робота-помощника, который работает с людьми с ограниченными возможностями и пациентами медицинских учреждений. Он помогает определить опасные для жизни ситуации, например, падение в результате обморока или припадка. Хотя системы для автоматического определения положения человеческого тела уже разрабатывались, они умеют в основном распознавать только положения стоя или сидя, когда все части тела могут быть распознаны. Еще одно ограничение существующих методик – распознавание системами только цветных изображений человека, что затрудняет определении поз в плохо освещенном месте.  

Авторы новой технологии добавили к сгенерированной модели человеческого тела дополнительную информацию о скелете, чтобы система могла определять изгибы в различных позах. Также они добавили цветную разметку тела. С помощью технологии захвата движений к модели добавили информацию о различных движениях и положениях тела реальных людей. В результате получилось объемное изображение человека в различных позах и с размеченными цветом частями тела.

База данных затем была использована для получения полносверточной нейросети (fully convolutional network, коротко FCN), работающей с применением глубокого обучения. Применение этой нейросети при распознавании частей тела реальных людей дает хорошие результаты. В ходе испытаний голова была правильно распознана в 69% случаев. а голень левой ноги в 86%. 

В дальнейшем технологию планируется улучшить и заняться разработкой робота-помощника, который бы мог выявлять опасные для жизни ситуации и оказывать необходимую помощь.