Режим дополненной реальности ActiveCV и его применение в конфигурациях. UPD:Добавил еще один пример

Публикация № 1427287 20.04.21

Приемы и методы разработки - Мобильная разработка

Simple UI компьютерное зрение дополненная реальность AI AR OCR Python

Новый режим дополненной реальности/компьютерного зрения может дополнить или даже заменить традиционный интерфейс – он организует непрерывный процесс работы в котором с видеопотока снимается все необходимое , обрабатывается в обработчиках и тут же рисуется на видеопотоке (как бы в дополненной реальности). Можно использовать как в онлайн-конфигурациях с обработкой в 1С, так и самостоятельных конфигурациях с обработчиками на Python. Настоящая статья является дополнением к основной статье по платформе Simple UI https://infostart.ru/public/1153616/

Я экспериментирую с интерфейсами, причем интерфейс понимаю в широком смысле – это и условно «экраны с кнопками» и речь, звук и т.д. – т.е. все что передает/получает информацию от пользователя к ЭВМ. Анализ видеопотока и раньше использовался в Simple UI – для распознавания текста, штрихкодов с камеры. Но сейчас его возможности расширены и выделены в отдельный режим, который я назвал «ActiveCV» – «активное компьютерное зрение».

Технология позволяет распознавать объекты различными способами, обрабатывать в обработчиках и визуализировать (управлять отрисовкой) в видеопотоке.

Например с помощью визуализации мы видим какие объекты уже обработаны и их не надо повторно сканировать, какие еще нет, а какие – просто лишние (возможно их нужно переставить).

 

 

Например с помощью визуализации мы можем показать дополнительную информацию об объекте в видеопотоке и вывести подсказки на экран:

 

 

Вот так это было задумано на макете (в этом видео показан дорелизный интерфейс, далее– релизный):

 

 

Потоковый режим чем то напоминает работу с RFID но есть важное отличие – в RFID мы не видим объекты которые к нам попадают, а в ActiveCV видим – может потрогать, понимаем где они находятся. Вот видео от начала разработки – тут хорош виден смысл технологии (далее видео уже с релиза)

Казалось бы, нет ничего особенного во всех этих вещах по отдельности, но вместе детекторы(распознавание)+визуализация+ обработчики на Python или 1С вписанные в анализ видеопотока … - все это вместе дает синергетический эффект. Я долго подбирал нужное решение, например нельзя выносить обработку абсолютно всего в обработчики (даже на питоне) – будет низкий FPS, поэтому я использую списки и распределяю нагрузку. Ну и прочие действия, чтобы все работало четко и плавно. 

 

 

 

Как с этим работать?

 

 

Для работы с этим режимом в конструкторе выделены отдельные метаданные «CV-операция», состоящая из «CV-шагов», по аналогии с Операцией/Экранами. Шагов может быть и всего один как в прилагаемых демо-конфигурациях. В шагах настраивается состав объектов на экране, надписи котрые выводятся, кнопки, разрешение, вариант отрисовки и настройки детектора
Для шага задаются списки отрисовки (которые динамически меняются. Например объект был в зеленом списке, но после сканирования попал в желтый) – желтый, зеленый, красный, серый и невидимый. Также задается список дополнительной информации по объекту в котром можно использовать HTML. И настраивается режим отображения например показывать только зеленый список, остальное – красным. 

Детекторы – это алгоритмы, распознающие объекты. Это глаза данного режима. Это распознавание штрихкодов камерой, различное распознавание символьных объектов и физических объектов материального мира.

К уже существующим режимам распознавания текста добавились изменения:

  •     В режиме распознавания текста (поиск образцов) теперь можно передать просто список, например артикулов через переменную (строка с разделителями «;»). Т.е. не через SQL как раньше – не нужно синхронизировать. SQL остается для больших массивов номенклатур, которые через строку передать затруднительно. Мелочь, но удобно.
  •     Распознавание автомобильных номеров – один из видов распознавания «по шаблонам». Т.е. заранее грузить номера не надо – она находит номера. Пока только российские.

 

 

  •     Распознавание физических объектов. Система обнаруживает границы объекта воспринимает это как единый объект, находит в нем идентификатор (штрихкод или текст) и связывает этот объект в целом с идентификатором. Т.е. система продолжает трекинг объекта даже если его идентификатор уже не виден. Я сделал этот режим чтобы повысить плавность работы с OCR – убрать мерцание и лишние гипотезы. Это довольно экспериментальная вещь – не знаю как оно приживется и насколько это применимо в продакшн. Но выглядит прикольно. В крайнем случае есть аналогичные детекторы без объектов.

Вот так выглядит трекинг объектов например:

 

 

На этом видео показаны режимы работы с объектами и без объектов:


Работа с режимом описана в этой статье справки https://uitxt.readthedocs.io/ru/latest/cv.html. Скажу только что разработка  не просто простая, а ну очень простая – всего 4 команды. Таким образом я поддерживаю главный принцип платформы – simple - простоту разработки решений. Просто напомню, что Simple UI создавалась как инструмент, в котором можно быстро накидать фронтовое решение, а потом его просто менять и поддерживать. Не прямо такой полностью визуальный конструктор (у них обычно много ограничений) а сочетание простых принципов и архитектуры, которую легко объяснить на пальцах. Поэтому новый визуальный режим просто обязан был быть простым.


Технологически это все работает оффлайн, не требует интернета. Никаких облачных сервисов и оплаты каждого чиха. Решения работают, например, в глухой тайге, так что зависимые от интернета технологии в Simple UI бы не прижились. 


Демонстрационная конфигурация №1 «Учет автомобилей на КПП»

 

Файлик в приложении к статье – это конфигурация Simple UI. Да, конфигурацию Simple UI вместе с настройками можно поместить в файлик, открыть на устройстве (послать по почте, в вотсапе или просто зайти на этот пост с телефона и скачать) – она сразу же применится и начнет работать (это один из множества видов дистрибуции в Simple UI). Нужно только чтобы стояла Simple UI версии 5.50. Не нужно никакой 1С – конфигурация самостоятельная.  В конфигурации можно вести учет номеров и информации к ним и выделять авто зеленым/красным если номер зарегистрирован или «заблокирован». Обычный режим КПП. 


Демонстрационная конфигурация №2 «Инвентаризация для УТ11.4»

 


Конфигурация также самостоятельная , можно загрузить с файлика, но она в виде расширения и работает совместно с сервером, опубликованным из расширения для УТ11.4.13.123. Т.е. она работает оффлайн, но для загрузки справочников/выгрузки результатов нужен сервис из 1С. Она получает данные с 1С, потом, после пересчета отправляет в 1С, в специальный регистр и там они могут быть загружены в Пересчет из этого регистра.

В конфигурации есть “Мастер начальной загрузки”. Нажав в нем кнопку загрузятся данные в справочники и документы. Первым делом нажмите в нем желтую кнопку!


Основной режим конфигурации представляет из себя бесконечный цикл сканирования – штрихкоды сами сортируются в зависимости от того уникальные они или нет. Лучше всего это видно на схеме.


Скачать конфигурацию и доработать под себя можно из поста Готовые решения //infostart.ru/public/1201444/  Важно! Конфигурация написана как пособие/основа для разработки  для разработчиков поэтому написана максимально простым кодом. Например 1С-ную часть синхронизации можно (и нужно) оптимизировать по производительности – там уникальные Ид получаются в момент запроса функцией УникальныйИдентификатор() – она работает долго. Лучше записать их заранее. Кроме того, она рассчитана на конкретные условия учета – это не универсальное решение, у меня была другая цель.  

 

Демонстрационная конфигурация №3  Инвентаризация ОС в демо базе

 

Изза того что первые два примера оффлайновые и с обработчиками на Python могло сложиться впечатление что эта технология работает только с Python. Нет, она прекрасно работает с 1С в режиме он-лайн подключения. Поэтому я добавил конфигурацию "Инвентаризация ОС с Active CV" в демо-базу в комплекте разработчика (24.04.2020). Она работает через веб-сервис, обработка происходит в онлайне на стороне 1С.

 

 

Для чего это все нужно?

 

Применение №1 раскрыто в демо-конфигурации «Инвентаризация с ActiveCV» - смысл в том, чтобы: 
 А) сканировать быстро и в потоковом режиме никуда не переключаясь – т.е. избавить пользователя от лишних действий 
 Б) показывать то, что уже отсканировали – т.е. выделять цветом то , что уже не надо пересчитывать. И выделять то что вообще не касается процесса. Таким образом можно быстро, например сверить уникальные коды на погрузке/приемке

Применение №2 – вывод информации на экран. Например (учитывая то, что конфу можно подгрузить хоть с QR-кода, хоть с файла) можно предоставить клиентам удобный интерфейс в торговом зале. Возможности вывода в видеопотоке усилены за счет html

Применение №3 Визуальная навигация  - наводите на QR коды и видите куда идти. Человек впервые попавший на склад ориентируется на красный/зеленый и быстро идет куда надо.

Скачать файлы

Наименование Файл Версия Размер
Конфигурация "Учет автотранспорта"

.txt 18,94Kb
13
.txt 18,94Kb 13 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. karpik666 3599 20.04.21 09:56 Сейчас в теме
Тема огонь, будущее добралось до 1С, спасибо
kas1989; leoxz; bulpi; noprogrammer; ybatiaev; informa1555; +6 Ответить
2. noprogrammer 231 20.04.21 12:37 Сейчас в теме
Разработка выше всяких похвал, но нигде не смог найти стоимость "Simple UI"
informa1555; +1 Ответить
3. informa1555 2300 20.04.21 13:16 Сейчас в теме
(2) спасибо. Полностью бесплатна. Внедряейте, получайте прибыль и т.д. забыл как эта лицензия называется. В общем бесплатно.
night_wolfshtein; starponyx; JohnyDeath; 33lab; rumik007; more; user953800; user792443; DarkAn; +9 Ответить
4. more 15 21.04.21 13:47 Сейчас в теме
5. rumik007 21.04.21 16:00 Сейчас в теме
КЛАССно! Жаль нет стартмани(
6. minudo 22.04.21 12:26 Сейчас в теме
Скачали публикацию но при переходе по ссылке из письма скачивается какой-то текстовый файл
Прикрепленные файлы:
PUBID_1427287-УчетАвтотранспорта.txt
7. informa1555 2300 22.04.21 12:55 Сейчас в теме
(6) Все верно - это конфигурация для Simple UI "Учет автотранспорта". Установите Simple UI из гугл плей и откройте этот файл при помощи Simple UI как это сделано в видео https://youtu.be/1Z4xQoA16j4
Исходники конфигурации - в комплекте разработчика.
8. mkostya 29 26.04.21 17:55 Сейчас в теме
Добрый день, а реально такое распознавание номеров прикрутить к мобильному приложению на платформе 1с?
9. informa1555 2300 26.04.21 18:17 Сейчас в теме
(8) Добрый день! К 1С стационарной да, к мобильной нет. Simple UI это ж отдельная платформа.
11. mkostya 29 14.05.21 15:04 Сейчас в теме
(9) у меня задача, над складом камера и какие машины приходили зафиксировать, к сожалению с телефона это не то что нужно, как такое реализовать? что почитать?
12. informa1555 2300 14.05.21 15:38 Сейчас в теме
(11) я бы на open cv под python делал, есть готовые модели под DNN. Но вообще готовых продуктов море. Для всяких автомоек и т.д. На ИС есть специалисты
10. jimli 1 29.04.21 15:34 Сейчас в теме
Понимаю, что на дворе 21 век! Очень интересно попробовать.
informa1555; +1 Ответить
13. OlegK 50 22.11.21 01:56 Сейчас в теме
Супер! А под iOS (Apple) Simple UI не работает? Было бы здорово на iPhone запустить? Нет планов?
Спасибо
14. informa1555 2300 22.11.21 07:24 Сейчас в теме
(13) Спасибо. Не, на айос не планирую, так как в отличии от 1С у меня ставка на глубокое использование нативных фишек Андроида а не просто универсальная платформа. У кроссплатформенности есть свои минусы. Для этого надо было бы владеть стеком разработки айоса, чем я не могу похвастаться. Очередной кроссплатформенный SDK типа флаттера я не пытаюсь создать.
15. OlegK 50 25.11.21 19:53 Сейчас в теме
Оставьте свое сообщение

См. также

Внешние компоненты. Мобильное приложение 1С Промо

Разработка внешних компонент Мобильная разработка Мобильная платформа Конфигурации 1cv8 Абонемент ($m)

Пример применения технологии внешних компонент для мобильной платформы 1С (Android)

1 стартмани

17.02.2017    44666    flyer    36    

Simple UI: простой конструктор мобильных приложений для устройств на Android. Обновление от 19.11.22

Мобильная разработка Платформа 1С v8.3 Управленческий учет Абонемент ($m)

Simple UI – это полностью бесплатная платформа для создания мобильных рабочих мест на Android. Конструктор позволяет создавать мобильные клиенты для учетных систем и самостоятельные приложения на телефонах, ТСД (терминалах сбора данных), планшетах, электронных киосках и других устройствах. При этом не нужно разбираться в мобильной разработке, Android SDK ведь основная цель платформы – максимально упростить процесс разработки и поддержки, сделать его визуальным, собирать приложения из готовых блоков с минимумом кода. Причем код обработчиков можно писать на языке учетной системы либо задавать логику обработки событий с помощью команд REST, SQL и визуального конструктора. Проект постоянно развивается изыскивая новые способы упрощения разработки и повышения функционала и является пожалуй самым быстрым способом как создать MVP-проект так и продакшн-систему под конкретное внедрение или тиражный продукт.Тестировалось на 1С: Предприятие 8.3 релиз 8.3.13.1865.

1 стартмани

14.11.2019    42609    427    informa1555    249    

EGAIS Scan - приложение для ТСД

Терминал сбора данных Мобильная разработка Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Платформа 1С v8.3 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Управленческий учет Абонемент ($m)

Каждый, кто занимается торговлей алкогольной продукцией, сталкивался с проблемами сканирования акцизных марок и трудностями при взаимодействии с учетной системой 1С. Приложение EGAIS Scan - простое и оптимальное решение для выполнения быстрой приемки и отгрузки алкогольной продукции.

1 стартмани

17.04.2019    6388    MrChe    3    

Внешние компоненты мобильной платформы 1С для ОС Андроид

Разработка внешних компонент Мобильная разработка Мобильная платформа Абонемент ($m)

На трех простых примерах описана процедура разработки внешних компонент для Андроид. Статья написана по мотивам доклада на конференции INFOSTART 2018 EDUCATION.

31.01.2019    22240    IgorKissil    28    

Применение цифровой подписи при организации учёта ТМЦ и ГСМ

Защита ПО и шифрование Мобильная разработка Анализ и проектирование ИТ-систем Мобильная платформа Бизнес-процессы Конфигурации 1cv8 Абонемент ($m)

Статья о том, как внедрение мобильного приложения в бизнес-процессы компании сократило оборот бумажных документов, а простая электронная подпись - заменила аналоговую.

1 стартмани

25.10.2018    7953    ikekoval    2    

Мобильный клиент + HTTP Сервис + Расширение конфигурации

Мобильная разработка Платформа 1С v8.3 Мобильная платформа Конфигурации 1cv8 Россия Абонемент ($m)

Пример использования Мобильного клиента, http сервиса и расширения. 10.04.2018 фирма 1С выпустила релиз 8.3.12.1412, с долгожданным мобильным клиентом. Платформа содержит еще ряд долгожданных функций, например возможность работы с расширением через хранилище, но разговор пойдет именно о Мобильном клиенте.

1 стартмани

16.04.2018    39702    dsdred    27    

Мобильное приложение: особенности разработки на примере «Тестирование: Отчеты»

Мобильная разработка Мобильная платформа Абонемент ($m)

В данной статье мы расскажем, с какими проблемами столкнулись и как их решили при создании мобильного приложения «Тестирование: Отчеты» для платформы 1С. Приложение доступно в google play + есть возможность посмотреть работу в демонстрационном режиме.

1 стартмани

12.03.2018    22369    ivanov660    2    

Сборка мобильного приложения 1С под IOS

Мобильная разработка Платформа 1С v8.3 Мобильная платформа Абонемент ($m)

В статье представлена инструкция по сборке мобильного приложения 1С под iOS с использованием бесплатного аккаунта разработчика Apple.

1 стартмани

29.01.2018    33359    Isonic    52    

Google OAuth и мобильное приложение

Мобильная разработка Внешние источники данных WEB-интеграция Платформа 1С v8.3 Мобильная платформа Конфигурации 1cv8 Абонемент ($m)

Об аутентификации для работы с сервисами google из мобильного или настольного приложения

1 стартмани

29.08.2017    12347    stveans@gmail.com    3    

Мобильное приложение 1С и приложение Java. Совместная работа через Intent. Часть 1. Запуск приложения Java из 1С

Мобильная разработка Мобильная платформа Конфигурации 1cv8 Россия Абонемент ($m)

Пишем два приложения - конфигурацию на мобильной платформе 1С и приложение Java Android Studio. На примере рассматриваем совместное использование двух приложений через Intent. Публикация состоит из 3 частей: Часть 1. Запуск приложения Java из 1С Часть 2. Получаем данные в 1С из приложения Java Часть 3. Отправляем данные в приложение Java из 1С.

1 стартмани

20.04.2017    31354    user621724_Dimav1979    22    

Push сообщения с использованием Firebase cloud message

Мобильная разработка Мобильная платформа Абонемент ($m)

Используем новую технологию FCM, отправляем пуши на устройства на базе Android, инициируем вызов сервера клиентом с самого сервера.

1 стартмани

06.04.2017    46190    nbeliaev    150    

Интеграция типовой конфигурации с мобильным приложением

Мобильная разработка Платформа 1С v8.3 Абонемент ($m)

В данной статье речь пойдет о том, как быстро наладить взаимодействие конфигурации УТ 11 из мобильной конфигурацией, написанной на 1С 8.3. В качестве примера мы вместе разработаем отчет «Валовая прибыль по месяцам», который сможем запускать из смартфона или планшета под управлением операционной системы Android 4.2. Взаимодействие между информационной базой и мобильным приложением будет осуществляется с помощью web-сервиса.

1 стартмани

16.09.2013    20554    akomar    9    

Пошаговая инструкция по созданию мобильного приложения для iOS с обменом через WEB сервисы Часть II.

Мобильная разработка Платформа 1С v8.3 Абонемент ($m)

Пошаговая инструкция по созданию мобильного приложения для iOS с обменом через WEB сервисы Часть II.

1 стартмани

16.05.2013    18652    amrec    11