Отечественная разработка на базе нейросети поможет «видеть» незрячим

Российские инженеры представили систему, которая умеет подсказывать слепым людям, какие предметы их окружают. В основе разработки лежит нейросетевой анализ видео и звука.
Гаджет для помощи
СОМСИ – система мультиканальной обработки информации, созданная отечественной компанией «Бизнес Бюро». Устройство собирает, анализирует и представляет в удобной для восприятия человеком форме сведения об окружающих предметах, расстоянии до них, их цвете, форме и т.д. Инженеры рассчитывают, что разработка поможет людям с серьезными нарушениями зрения свободно ориентироваться в пространстве.
СОМСИ состоит из двух модулей. Первая, аппаратная часть системы оснащена широкоформатной камерой и микрофоном. Вторая представляет собой вычислительную платформу, обрабатывающую принимаемые сенсорами данные. По размеру гаджет примерно равен обычному плееру.
Как работает устройство
Принцип действия устройства следующий. Сначала СОМСИ принимает аудиовизуальную информацию со своих датчиков. Затем через интернет система отправляет их на удаленный сервер, где собранная информация обрабатывается нейросетью: распознаются звуковые сигналы, различные объекты. Расстояние до предметов определяется с помощью ультразвука, аналогично современным парковочным датчикам в автомобилях.
После этого пользователь аппарата может принять эти сведения в удобной для себя форме: в виде голосового сообщения, тактильного оповещения или визуального примитива. Последний способ вывода доступен в том случае, если человек пользуется «искусственным глазом» – имплантом, функционирующим подобно сетчатке благодаря нанесенным «пикселям» из фоточувствительного материала. Реалистичную картину такое устройство пока что создать не способно: окружающие объекты представлены схематично, в виде простых геометрических фигур.
Кроме того, СОМСИ способна распознавать звуки: сигналы тревоги, клаксоны автомобилей, звуковые оповещения светофоров. По этой причине гаджет может помочь также людям с нарушением слуха.
Без проблем не обошлось
Вице-президент Всероссийского общества слабовидящих Дмитрий Блюм напомнил, что без предварительного тестирования системы говорить о ее эффективности рано. Сейчас СОМСИ не внесена в утвержденный распоряжением правительства перечень технических средств реабилитации, поэтому далеко не все инвалиды смогут воспользоваться аппаратом. Организация планирует запросить у «Бизнес Бюро» несколько гаджетов для проверки возможностей нейросети.
Впрочем, некоторые недостатки устройства можно заметить уже сейчас. Необходимость постоянного интернет-подключения сильно ограничивает места, где можно использовать СОМСИ. Это негативно сказывается и на стоимости аппарата – чтобы полноценно применять его вне дома, придется приобрести мобильный интернет и смартфон, способный раздавать Wi-Fi. Разработчики в курсе этой проблемы и собираются в будущем модифицировать систему – она сможет проводить простую обработку данных при помощи собственного «железа», без необходимости подключаться к серверу.
Также СОМСИ пока не способна точно распознавать объекты, если владелец устройства перемещается, уверен директор Культурно-спортивного реабилитационного комплекса общества слепых Владимир Баженов. Причина – слишком низкая скорость реагирования системы на быстро изменяющееся окружение. Разработчики, тем не менее, утверждают, что уже внедрили в гаджет функцию для корректной обработки изображения при быстрой ходьбе.
Пока устройство не обучено, точность распознавания объектов невелика. К примеру, сейчас СОМСИ успешно отличает человека от машины, но определить лицо собеседника или марку авто еще не способно. Авторы проекта уверяют, что по мере накопления данных эффективность нейросетевого зрения возрастет.
См. также
Энтузиасты создали для популярного эмулятора патч с поддержкой процессоров «Эльбрус»
01.03.2021 1708 VKuser24342747 0
Российский разработчик создал неофициальную версию Clubhouse для Android
26.02.2021 2009 VKuser24342747 0
Масштабное обновление Trello: пять новых видов досок и интеграция с Google Docs
25.02.2021 3507 user1015646 0
Видеоигра на базе нейросетевого генератора текстов стала бизнес-консультантом
25.02.2021 2066 VKuser24342747 1
В ближайшие годы возрастет потребность в персонале центров обработки данных
24.02.2021 2088 SKravchenko 0
Rustоманы из Долины: Google, Microsoft, Huawei, Mozilla и AWS основали фонд поддержки языка программирования
16.02.2021 1611 user1015646 0
Украинская команда FireWay одержала победу в хакатоне NASA Space Apps Challenge 2020
05.02.2021 1981 SKravchenko 2
Microsoft участвует в разработке цифрового паспорта вакцинации от Covid-19
02.02.2021 1775 capitan 3
Что нового в Chrome 88: проверка надежности паролей и поддержка профилей
01.02.2021 2238 user1015646 0
280 символов для науки: Twitter откроет доступ ученым к архиву твитов
29.01.2021 1494 VKuser24342747 1