Отечественная разработка на базе нейросети поможет «видеть» незрячим

Российские инженеры представили систему, которая умеет подсказывать слепым людям, какие предметы их окружают. В основе разработки лежит нейросетевой анализ видео и звука.

Гаджет для помощи

СОМСИ – система мультиканальной обработки информации, созданная отечественной компанией «Бизнес Бюро». Устройство собирает, анализирует и представляет в удобной для восприятия человеком форме сведения об окружающих предметах, расстоянии до них, их цвете, форме и т.д. Инженеры рассчитывают, что разработка поможет людям с серьезными нарушениями зрения свободно ориентироваться в пространстве.

СОМСИ состоит из двух модулей. Первая, аппаратная часть системы оснащена широкоформатной камерой и микрофоном. Вторая представляет собой вычислительную платформу, обрабатывающую принимаемые сенсорами данные. По размеру гаджет примерно равен обычному плееру.

Как работает устройство

Принцип действия устройства следующий. Сначала СОМСИ принимает аудиовизуальную информацию со своих датчиков. Затем через интернет система отправляет их на удаленный сервер, где собранная информация обрабатывается нейросетью: распознаются звуковые сигналы, различные объекты. Расстояние до предметов определяется с помощью ультразвука, аналогично современным парковочным датчикам в автомобилях.

После этого пользователь аппарата может принять эти сведения в удобной для себя форме: в виде голосового сообщения, тактильного оповещения или визуального примитива. Последний способ вывода доступен в том случае, если человек пользуется «искусственным глазом» – имплантом, функционирующим подобно сетчатке благодаря нанесенным «пикселям» из фоточувствительного материала. Реалистичную картину такое устройство пока что создать не способно: окружающие объекты представлены схематично, в виде простых геометрических фигур.

Кроме того, СОМСИ способна распознавать звуки: сигналы тревоги, клаксоны автомобилей, звуковые оповещения светофоров. По этой причине гаджет может помочь также людям с нарушением слуха.

Без проблем не обошлось

Вице-президент Всероссийского общества слабовидящих Дмитрий Блюм напомнил, что без предварительного тестирования системы говорить о ее эффективности рано. Сейчас СОМСИ не внесена в утвержденный распоряжением правительства перечень технических средств реабилитации, поэтому далеко не все инвалиды смогут воспользоваться аппаратом. Организация планирует запросить у «Бизнес Бюро» несколько гаджетов для проверки возможностей нейросети.

Впрочем, некоторые недостатки устройства можно заметить уже сейчас. Необходимость постоянного интернет-подключения сильно ограничивает места, где можно использовать СОМСИ. Это негативно сказывается и на стоимости аппарата – чтобы полноценно применять его вне дома, придется приобрести мобильный интернет и смартфон, способный раздавать Wi-Fi. Разработчики в курсе этой проблемы и собираются в будущем модифицировать систему – она сможет проводить простую обработку данных при помощи собственного «железа», без необходимости подключаться к серверу.  

Также СОМСИ пока не способна точно распознавать объекты, если владелец устройства перемещается, уверен директор Культурно-спортивного реабилитационного комплекса общества слепых Владимир Баженов. Причина – слишком низкая скорость реагирования системы на быстро изменяющееся окружение. Разработчики, тем не менее, утверждают, что уже внедрили в гаджет функцию для корректной обработки изображения при быстрой ходьбе.

Пока устройство не обучено, точность распознавания объектов невелика. К примеру, сейчас СОМСИ успешно отличает человека от машины, но определить лицо собеседника или марку авто еще не способно. Авторы проекта уверяют, что по мере накопления данных эффективность нейросетевого зрения возрастет.