Режим дополненной реальности ActiveCV и его применение в конфигурациях. UPD:Добавил еще один пример

20.04.21

Разработка - Мобильная разработка

Новый режим дополненной реальности/компьютерного зрения может дополнить или даже заменить традиционный интерфейс – он организует непрерывный процесс работы в котором с видеопотока снимается все необходимое , обрабатывается в обработчиках и тут же рисуется на видеопотоке (как бы в дополненной реальности). Можно использовать как в онлайн-конфигурациях с обработкой в 1С, так и самостоятельных конфигурациях с обработчиками на Python. Настоящая статья является дополнением к основной статье по платформе Simple UI https://infostart.ru/public/1153616/

Скачать исходный код

Наименование Файл Версия Размер
Конфигурация "Учет автотранспорта"
.txt 18,94Kb
16
.txt 18,94Kb 16 Скачать

Я экспериментирую с интерфейсами, причем интерфейс понимаю в широком смысле – это и условно «экраны с кнопками» и речь, звук и т.д. – т.е. все что передает/получает информацию от пользователя к ЭВМ. Анализ видеопотока и раньше использовался в Simple UI – для распознавания текста, штрихкодов с камеры. Но сейчас его возможности расширены и выделены в отдельный режим, который я назвал «ActiveCV» – «активное компьютерное зрение».

Технология позволяет распознавать объекты различными способами, обрабатывать в обработчиках и визуализировать (управлять отрисовкой) в видеопотоке.

Например с помощью визуализации мы видим какие объекты уже обработаны и их не надо повторно сканировать, какие еще нет, а какие – просто лишние (возможно их нужно переставить).

 

 

Например с помощью визуализации мы можем показать дополнительную информацию об объекте в видеопотоке и вывести подсказки на экран:

 

 

Вот так это было задумано на макете (в этом видео показан дорелизный интерфейс, далее– релизный):

 

 

Потоковый режим чем то напоминает работу с RFID но есть важное отличие – в RFID мы не видим объекты которые к нам попадают, а в ActiveCV видим – может потрогать, понимаем где они находятся. Вот видео от начала разработки – тут хорош виден смысл технологии (далее видео уже с релиза)

Казалось бы, нет ничего особенного во всех этих вещах по отдельности, но вместе детекторы(распознавание)+визуализация+ обработчики на Python или 1С вписанные в анализ видеопотока … - все это вместе дает синергетический эффект. Я долго подбирал нужное решение, например нельзя выносить обработку абсолютно всего в обработчики (даже на питоне) – будет низкий FPS, поэтому я использую списки и распределяю нагрузку. Ну и прочие действия, чтобы все работало четко и плавно. 

 

 

 

Как с этим работать?

 

 

Для работы с этим режимом в конструкторе выделены отдельные метаданные «CV-операция», состоящая из «CV-шагов», по аналогии с Операцией/Экранами. Шагов может быть и всего один как в прилагаемых демо-конфигурациях. В шагах настраивается состав объектов на экране, надписи котрые выводятся, кнопки, разрешение, вариант отрисовки и настройки детектора
Для шага задаются списки отрисовки (которые динамически меняются. Например объект был в зеленом списке, но после сканирования попал в желтый) – желтый, зеленый, красный, серый и невидимый. Также задается список дополнительной информации по объекту в котром можно использовать HTML. И настраивается режим отображения например показывать только зеленый список, остальное – красным. 

Детекторы – это алгоритмы, распознающие объекты. Это глаза данного режима. Это распознавание штрихкодов камерой, различное распознавание символьных объектов и физических объектов материального мира.

К уже существующим режимам распознавания текста добавились изменения:

  •     В режиме распознавания текста (поиск образцов) теперь можно передать просто список, например артикулов через переменную (строка с разделителями «;»). Т.е. не через SQL как раньше – не нужно синхронизировать. SQL остается для больших массивов номенклатур, которые через строку передать затруднительно. Мелочь, но удобно.
  •     Распознавание автомобильных номеров – один из видов распознавания «по шаблонам». Т.е. заранее грузить номера не надо – она находит номера. Пока только российские.

 

 

  •     Распознавание физических объектов. Система обнаруживает границы объекта воспринимает это как единый объект, находит в нем идентификатор (штрихкод или текст) и связывает этот объект в целом с идентификатором. Т.е. система продолжает трекинг объекта даже если его идентификатор уже не виден. Я сделал этот режим чтобы повысить плавность работы с OCR – убрать мерцание и лишние гипотезы. Это довольно экспериментальная вещь – не знаю как оно приживется и насколько это применимо в продакшн. Но выглядит прикольно. В крайнем случае есть аналогичные детекторы без объектов.

Вот так выглядит трекинг объектов например:

 

 

На этом видео показаны режимы работы с объектами и без объектов:


Работа с режимом описана в этой статье справки https://uitxt.readthedocs.io/ru/latest/cv.html. Скажу только что разработка  не просто простая, а ну очень простая – всего 4 команды. Таким образом я поддерживаю главный принцип платформы – simple - простоту разработки решений. Просто напомню, что Simple UI создавалась как инструмент, в котором можно быстро накидать фронтовое решение, а потом его просто менять и поддерживать. Не прямо такой полностью визуальный конструктор (у них обычно много ограничений) а сочетание простых принципов и архитектуры, которую легко объяснить на пальцах. Поэтому новый визуальный режим просто обязан был быть простым.


Технологически это все работает оффлайн, не требует интернета. Никаких облачных сервисов и оплаты каждого чиха. Решения работают, например, в глухой тайге, так что зависимые от интернета технологии в Simple UI бы не прижились. 


Демонстрационная конфигурация №1 «Учет автомобилей на КПП»

 

Файлик в приложении к статье – это конфигурация Simple UI. Да, конфигурацию Simple UI вместе с настройками можно поместить в файлик, открыть на устройстве (послать по почте, в вотсапе или просто зайти на этот пост с телефона и скачать) – она сразу же применится и начнет работать (это один из множества видов дистрибуции в Simple UI). Нужно только чтобы стояла Simple UI версии 5.50. Не нужно никакой 1С – конфигурация самостоятельная.  В конфигурации можно вести учет номеров и информации к ним и выделять авто зеленым/красным если номер зарегистрирован или «заблокирован». Обычный режим КПП. 


Демонстрационная конфигурация №2 «Инвентаризация для УТ11.4»

 


Конфигурация также самостоятельная , можно загрузить с файлика, но она в виде расширения и работает совместно с сервером, опубликованным из расширения для УТ11.4.13.123. Т.е. она работает оффлайн, но для загрузки справочников/выгрузки результатов нужен сервис из 1С. Она получает данные с 1С, потом, после пересчета отправляет в 1С, в специальный регистр и там они могут быть загружены в Пересчет из этого регистра.

В конфигурации есть “Мастер начальной загрузки”. Нажав в нем кнопку загрузятся данные в справочники и документы. Первым делом нажмите в нем желтую кнопку!


Основной режим конфигурации представляет из себя бесконечный цикл сканирования – штрихкоды сами сортируются в зависимости от того уникальные они или нет. Лучше всего это видно на схеме.


Скачать конфигурацию и доработать под себя можно из поста Готовые решения //infostart.ru/public/1201444/  Важно! Конфигурация написана как пособие/основа для разработки  для разработчиков поэтому написана максимально простым кодом. Например 1С-ную часть синхронизации можно (и нужно) оптимизировать по производительности – там уникальные Ид получаются в момент запроса функцией УникальныйИдентификатор() – она работает долго. Лучше записать их заранее. Кроме того, она рассчитана на конкретные условия учета – это не универсальное решение, у меня была другая цель.  

 

Демонстрационная конфигурация №3  Инвентаризация ОС в демо базе

 

Изза того что первые два примера оффлайновые и с обработчиками на Python могло сложиться впечатление что эта технология работает только с Python. Нет, она прекрасно работает с 1С в режиме он-лайн подключения. Поэтому я добавил конфигурацию "Инвентаризация ОС с Active CV" в демо-базу в комплекте разработчика (24.04.2020). Она работает через веб-сервис, обработка происходит в онлайне на стороне 1С.

 

 

Для чего это все нужно?

 

Применение №1 раскрыто в демо-конфигурации «Инвентаризация с ActiveCV» - смысл в том, чтобы: 
 А) сканировать быстро и в потоковом режиме никуда не переключаясь – т.е. избавить пользователя от лишних действий 
 Б) показывать то, что уже отсканировали – т.е. выделять цветом то , что уже не надо пересчитывать. И выделять то что вообще не касается процесса. Таким образом можно быстро, например сверить уникальные коды на погрузке/приемке

Применение №2 – вывод информации на экран. Например (учитывая то, что конфу можно подгрузить хоть с QR-кода, хоть с файла) можно предоставить клиентам удобный интерфейс в торговом зале. Возможности вывода в видеопотоке усилены за счет html

Применение №3 Визуальная навигация  - наводите на QR коды и видите куда идти. Человек впервые попавший на склад ориентируется на красный/зеленый и быстро идет куда надо.

Simple UI компьютерное зрение дополненная реальность AI AR OCR Python

См. также

"Штрихкод-информер" - мобильный ТСД и прайс-чекер в смартфоне

Мобильная разработка Сканер штрих-кода Терминал сбора данных Управляемые формы Мобильная платформа 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Управленческий учет Платные (руб)

Сбор заказов, инвентаризация, проверка ценников, просмотр полной информации об остатках и ценах со смартфона Онлайн. Отправка данных со смартфона выполняется либо напрямую в открытую форму документа, отсканировав QR-код, либо в общую корзину учетной системы, не подходя к компьютеру. Кассир или оператор сможет просмотреть список присланных данных и загрузить в любую форму, поддерживающую работу с ТСД. Для работы с мобильным приложением требуется опубликовать HTTP-сервис из поставляемого расширения.

2880 руб.

03.12.2018    54928    139    102    

162

SALE! 25%

Что нам стоит бота построить? Нарисуем - будет жить! Графический конструктор телеграм-ботов/Telegram

Мобильная разработка Мессенджеры и боты Платформа 1С v8.3 Платные (руб)

Теперь создать telegram-бота - элементарно. Достаточно просто нарисовать блок-схему телеграм-бота, и он сразу заработает. Это возможно при использовании Графического конструктора телеграм-ботов. Это единственный конструктор ботов для telegram, чье качество и функционал подтверждены фирмой 1С, есть сертификат 1С:Совместимо. Расширение в интерактивном режиме, с помощью блок-схем, позволяет с минимальными трудозатратами создать телеграм-ботов в любой конфигурации, работающей на платформе «1С:Предприятие 8.3».

13200 9900 руб.

27.12.2021    33684    82    159    

177

"Мобильный ТСД" - инвентаризация и сбор штрихкодов для iOS и Android

Сканер штрих-кода Терминал сбора данных Мобильная разработка Монитор заказов Оптовая торговля Розничная торговля Ценообразование, анализ цен Платформа 1С v8.3 Мобильная платформа 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Простой мобильный терминал сбора данных для смартфонов на iOS и Android, не требующий сложных настроек и установки дополнительных программ. Обмен между Вашей 1С и мобильным приложением осуществляется через облачный сервис и расширение конфигурации. Работает с конфигурациями УТ 11, ERP, КА2, Розница 2, Розница 3, УНФ 1.6, УНФ 3.0. Полнофункциональный демо-доступ для своей конфигурации можно запросить в настройках мобильного приложения - все необходимое придет на почту автоматически.

2000 руб.

22.04.2019    92226    519    186    

296

Магазин 15 - приемка товара по штрихкодам или инвентаризация в торговом зале

Логистика, склад и ТМЦ Мобильная разработка Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Розничная и сетевая торговля (FMCG) Россия Платные (руб)

Специализированное программное обеспечение для мобильных устройств со встроенным сканером штрихкодов. Позволяет быстро автоматизировать, оптимизировать рабочие места и бизнес процессы по учету товара в магазине. Например, приемку товара по штрихкодам или инвентаризацию прямо в торговом зале.

12950 руб.

30.05.2023    3441    2    0    

4

Работа с графикой в браузере (SimpleWEB). Векторный редактор

Мобильная разработка WEB-интеграция Мобильная платформа Абонемент ($m)

В SimpleWEB добавились средства для работы с графикой и отслеживание событий мыши, в онлайн редактор https://seditor.ru:1555/ добавился «Векторный редактор» на этом API. Теперь можно нарисовать схемы складов на ПК, сделать карты (*.sug-файлы) для мобильной платформы SimpleUI, выводить данные из 1С в графическом виде. Таким образом, API для работы с векторными файлами теперь есть и в веб- и в мобильной платформе, а также средства для создания и редактирования векторных файлов есть тоже в обеих платформах.

1 стартмани

20.03.2024    1577    0    informa1555    1    

40

Зачем нам 1С:Элемент

Мобильная разработка Языки и среды Бесплатно (free)

Flutter может быть использован с 1С:Предприятием для разработки кроссплатформенных мобильных приложений, обеспечивая единый интерфейс и функциональность на устройствах под управлением iOS и Android. Это позволяет создавать приложения с высокой производительностью благодаря использованию собственного движка рендеринга Flutter. Интеграция Flutter с 1С:Предприятием позволяет создавать мобильные приложения любого уровня сложности, интегрировать их в корпоративные информационные системы, а также реализовывать бизнес-логику

19.03.2024    8704    ROk_dev    67    

40

JavaScript в Simple

Мобильная разработка Бесплатно (free)

В SimpleUI и SimpleWEB, наряду с обработчиками на python и онлайн (1С и т.д.) добавляется интерпретатор JavaScript. В андроид платформе он скорее играет на поле python, т.к. является оффлайновым решением для самостоятельной обработки и расширяет аудиторию разработчиков для разработки самостоятельных решений. Дополнение к основной статье https://infostart.ru/1c/tools/1153616/

12.02.2024    1678    informa1555    0    

25
Комментарии
Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. karpik666 3770 20.04.21 09:56 Сейчас в теме
Тема огонь, будущее добралось до 1С, спасибо
kas1989; leoxz; bulpi; noprogrammer; ybatiaev; informa1555; +6 Ответить
2. noprogrammer 237 20.04.21 12:37 Сейчас в теме
Разработка выше всяких похвал, но нигде не смог найти стоимость "Simple UI"
informa1555; +1 Ответить
3. informa1555 2648 20.04.21 13:16 Сейчас в теме
(2) спасибо. Полностью бесплатна. Внедряейте, получайте прибыль и т.д. забыл как эта лицензия называется. В общем бесплатно.
night_wolfshtein; starponyx; JohnyDeath; 33lab; rumik007; more; user953800; user792443; DarkAn; +9 Ответить
4. more 16 21.04.21 13:47 Сейчас в теме
5. rumik007 21.04.21 16:00 Сейчас в теме
КЛАССно! Жаль нет стартмани(
6. minudo 22.04.21 12:26 Сейчас в теме
Скачали публикацию но при переходе по ссылке из письма скачивается какой-то текстовый файл
Прикрепленные файлы:
PUBID_1427287-УчетАвтотранспорта.txt
7. informa1555 2648 22.04.21 12:55 Сейчас в теме
(6) Все верно - это конфигурация для Simple UI "Учет автотранспорта". Установите Simple UI из гугл плей и откройте этот файл при помощи Simple UI как это сделано в видео https://youtu.be/1Z4xQoA16j4
Исходники конфигурации - в комплекте разработчика.
8. mkostya 30 26.04.21 17:55 Сейчас в теме
Добрый день, а реально такое распознавание номеров прикрутить к мобильному приложению на платформе 1с?
9. informa1555 2648 26.04.21 18:17 Сейчас в теме
(8) Добрый день! К 1С стационарной да, к мобильной нет. Simple UI это ж отдельная платформа.
11. mkostya 30 14.05.21 15:04 Сейчас в теме
(9) у меня задача, над складом камера и какие машины приходили зафиксировать, к сожалению с телефона это не то что нужно, как такое реализовать? что почитать?
12. informa1555 2648 14.05.21 15:38 Сейчас в теме
(11) я бы на open cv под python делал, есть готовые модели под DNN. Но вообще готовых продуктов море. Для всяких автомоек и т.д. На ИС есть специалисты
10. jimli 6 29.04.21 15:34 Сейчас в теме
Понимаю, что на дворе 21 век! Очень интересно попробовать.
informa1555; +1 Ответить
13. OlegK 55 22.11.21 01:56 Сейчас в теме
Супер! А под iOS (Apple) Simple UI не работает? Было бы здорово на iPhone запустить? Нет планов?
Спасибо
14. informa1555 2648 22.11.21 07:24 Сейчас в теме
(13) Спасибо. Не, на айос не планирую, так как в отличии от 1С у меня ставка на глубокое использование нативных фишек Андроида а не просто универсальная платформа. У кроссплатформенности есть свои минусы. Для этого надо было бы владеть стеком разработки айоса, чем я не могу похвастаться. Очередной кроссплатформенный SDK типа флаттера я не пытаюсь создать.
15. OlegK 55 25.11.21 19:53 Сейчас в теме
Оставьте свое сообщение