Режим дополненной реальности ActiveCV и его применение в конфигурациях. UPD:Добавил еще один пример

Публикация № 1427287 20.04.21

Разработка - Мобильная разработка

Simple UI компьютерное зрение дополненная реальность AI AR OCR Python

Новый режим дополненной реальности/компьютерного зрения может дополнить или даже заменить традиционный интерфейс – он организует непрерывный процесс работы в котором с видеопотока снимается все необходимое , обрабатывается в обработчиках и тут же рисуется на видеопотоке (как бы в дополненной реальности). Можно использовать как в онлайн-конфигурациях с обработкой в 1С, так и самостоятельных конфигурациях с обработчиками на Python. Настоящая статья является дополнением к основной статье по платформе Simple UI https://infostart.ru/public/1153616/

Я экспериментирую с интерфейсами, причем интерфейс понимаю в широком смысле – это и условно «экраны с кнопками» и речь, звук и т.д. – т.е. все что передает/получает информацию от пользователя к ЭВМ. Анализ видеопотока и раньше использовался в Simple UI – для распознавания текста, штрихкодов с камеры. Но сейчас его возможности расширены и выделены в отдельный режим, который я назвал «ActiveCV» – «активное компьютерное зрение».

Технология позволяет распознавать объекты различными способами, обрабатывать в обработчиках и визуализировать (управлять отрисовкой) в видеопотоке.

Например с помощью визуализации мы видим какие объекты уже обработаны и их не надо повторно сканировать, какие еще нет, а какие – просто лишние (возможно их нужно переставить).

 

 

Например с помощью визуализации мы можем показать дополнительную информацию об объекте в видеопотоке и вывести подсказки на экран:

 

 

Вот так это было задумано на макете (в этом видео показан дорелизный интерфейс, далее– релизный):

 

 

Потоковый режим чем то напоминает работу с RFID но есть важное отличие – в RFID мы не видим объекты которые к нам попадают, а в ActiveCV видим – может потрогать, понимаем где они находятся. Вот видео от начала разработки – тут хорош виден смысл технологии (далее видео уже с релиза)

Казалось бы, нет ничего особенного во всех этих вещах по отдельности, но вместе детекторы(распознавание)+визуализация+ обработчики на Python или 1С вписанные в анализ видеопотока … - все это вместе дает синергетический эффект. Я долго подбирал нужное решение, например нельзя выносить обработку абсолютно всего в обработчики (даже на питоне) – будет низкий FPS, поэтому я использую списки и распределяю нагрузку. Ну и прочие действия, чтобы все работало четко и плавно. 

 

 

 

Как с этим работать?

 

 

Для работы с этим режимом в конструкторе выделены отдельные метаданные «CV-операция», состоящая из «CV-шагов», по аналогии с Операцией/Экранами. Шагов может быть и всего один как в прилагаемых демо-конфигурациях. В шагах настраивается состав объектов на экране, надписи котрые выводятся, кнопки, разрешение, вариант отрисовки и настройки детектора
Для шага задаются списки отрисовки (которые динамически меняются. Например объект был в зеленом списке, но после сканирования попал в желтый) – желтый, зеленый, красный, серый и невидимый. Также задается список дополнительной информации по объекту в котром можно использовать HTML. И настраивается режим отображения например показывать только зеленый список, остальное – красным. 

Детекторы – это алгоритмы, распознающие объекты. Это глаза данного режима. Это распознавание штрихкодов камерой, различное распознавание символьных объектов и физических объектов материального мира.

К уже существующим режимам распознавания текста добавились изменения:

  •     В режиме распознавания текста (поиск образцов) теперь можно передать просто список, например артикулов через переменную (строка с разделителями «;»). Т.е. не через SQL как раньше – не нужно синхронизировать. SQL остается для больших массивов номенклатур, которые через строку передать затруднительно. Мелочь, но удобно.
  •     Распознавание автомобильных номеров – один из видов распознавания «по шаблонам». Т.е. заранее грузить номера не надо – она находит номера. Пока только российские.

 

 

  •     Распознавание физических объектов. Система обнаруживает границы объекта воспринимает это как единый объект, находит в нем идентификатор (штрихкод или текст) и связывает этот объект в целом с идентификатором. Т.е. система продолжает трекинг объекта даже если его идентификатор уже не виден. Я сделал этот режим чтобы повысить плавность работы с OCR – убрать мерцание и лишние гипотезы. Это довольно экспериментальная вещь – не знаю как оно приживется и насколько это применимо в продакшн. Но выглядит прикольно. В крайнем случае есть аналогичные детекторы без объектов.

Вот так выглядит трекинг объектов например:

 

 

На этом видео показаны режимы работы с объектами и без объектов:


Работа с режимом описана в этой статье справки https://uitxt.readthedocs.io/ru/latest/cv.html. Скажу только что разработка  не просто простая, а ну очень простая – всего 4 команды. Таким образом я поддерживаю главный принцип платформы – simple - простоту разработки решений. Просто напомню, что Simple UI создавалась как инструмент, в котором можно быстро накидать фронтовое решение, а потом его просто менять и поддерживать. Не прямо такой полностью визуальный конструктор (у них обычно много ограничений) а сочетание простых принципов и архитектуры, которую легко объяснить на пальцах. Поэтому новый визуальный режим просто обязан был быть простым.


Технологически это все работает оффлайн, не требует интернета. Никаких облачных сервисов и оплаты каждого чиха. Решения работают, например, в глухой тайге, так что зависимые от интернета технологии в Simple UI бы не прижились. 


Демонстрационная конфигурация №1 «Учет автомобилей на КПП»

 

Файлик в приложении к статье – это конфигурация Simple UI. Да, конфигурацию Simple UI вместе с настройками можно поместить в файлик, открыть на устройстве (послать по почте, в вотсапе или просто зайти на этот пост с телефона и скачать) – она сразу же применится и начнет работать (это один из множества видов дистрибуции в Simple UI). Нужно только чтобы стояла Simple UI версии 5.50. Не нужно никакой 1С – конфигурация самостоятельная.  В конфигурации можно вести учет номеров и информации к ним и выделять авто зеленым/красным если номер зарегистрирован или «заблокирован». Обычный режим КПП. 


Демонстрационная конфигурация №2 «Инвентаризация для УТ11.4»

 


Конфигурация также самостоятельная , можно загрузить с файлика, но она в виде расширения и работает совместно с сервером, опубликованным из расширения для УТ11.4.13.123. Т.е. она работает оффлайн, но для загрузки справочников/выгрузки результатов нужен сервис из 1С. Она получает данные с 1С, потом, после пересчета отправляет в 1С, в специальный регистр и там они могут быть загружены в Пересчет из этого регистра.

В конфигурации есть “Мастер начальной загрузки”. Нажав в нем кнопку загрузятся данные в справочники и документы. Первым делом нажмите в нем желтую кнопку!


Основной режим конфигурации представляет из себя бесконечный цикл сканирования – штрихкоды сами сортируются в зависимости от того уникальные они или нет. Лучше всего это видно на схеме.


Скачать конфигурацию и доработать под себя можно из поста Готовые решения //infostart.ru/public/1201444/  Важно! Конфигурация написана как пособие/основа для разработки  для разработчиков поэтому написана максимально простым кодом. Например 1С-ную часть синхронизации можно (и нужно) оптимизировать по производительности – там уникальные Ид получаются в момент запроса функцией УникальныйИдентификатор() – она работает долго. Лучше записать их заранее. Кроме того, она рассчитана на конкретные условия учета – это не универсальное решение, у меня была другая цель.  

 

Демонстрационная конфигурация №3  Инвентаризация ОС в демо базе

 

Изза того что первые два примера оффлайновые и с обработчиками на Python могло сложиться впечатление что эта технология работает только с Python. Нет, она прекрасно работает с 1С в режиме он-лайн подключения. Поэтому я добавил конфигурацию "Инвентаризация ОС с Active CV" в демо-базу в комплекте разработчика (24.04.2020). Она работает через веб-сервис, обработка происходит в онлайне на стороне 1С.

 

 

Для чего это все нужно?

 

Применение №1 раскрыто в демо-конфигурации «Инвентаризация с ActiveCV» - смысл в том, чтобы: 
 А) сканировать быстро и в потоковом режиме никуда не переключаясь – т.е. избавить пользователя от лишних действий 
 Б) показывать то, что уже отсканировали – т.е. выделять цветом то , что уже не надо пересчитывать. И выделять то что вообще не касается процесса. Таким образом можно быстро, например сверить уникальные коды на погрузке/приемке

Применение №2 – вывод информации на экран. Например (учитывая то, что конфу можно подгрузить хоть с QR-кода, хоть с файла) можно предоставить клиентам удобный интерфейс в торговом зале. Возможности вывода в видеопотоке усилены за счет html

Применение №3 Визуальная навигация  - наводите на QR коды и видите куда идти. Человек впервые попавший на склад ориентируется на красный/зеленый и быстро идет куда надо.

Скачать файлы

Наименование Файл Версия Размер
Конфигурация "Учет автотранспорта"

.txt 18,94Kb
12
.txt 18,94Kb 12 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. karpik666 3382 20.04.21 09:56 Сейчас в теме
Тема огонь, будущее добралось до 1С, спасибо
leoxz; bulpi; noprogrammer; ybatiaev; informa1555; +5 Ответить
2. noprogrammer 218 20.04.21 12:37 Сейчас в теме
Разработка выше всяких похвал, но нигде не смог найти стоимость "Simple UI"
informa1555; +1 Ответить
3. informa1555 2092 20.04.21 13:16 Сейчас в теме
(2) спасибо. Полностью бесплатна. Внедряейте, получайте прибыль и т.д. забыл как эта лицензия называется. В общем бесплатно.
night_wolfshtein; user1405985; JohnyDeath; 33lab; rumik007; more; user953800; user792443; DarkAn; +9 Ответить
4. more 11 21.04.21 13:47 Сейчас в теме
5. rumik007 21.04.21 16:00 Сейчас в теме
КЛАССно! Жаль нет стартмани(
6. minudo 22.04.21 12:26 Сейчас в теме
Скачали публикацию но при переходе по ссылке из письма скачивается какой-то текстовый файл
Прикрепленные файлы:
PUBID_1427287-УчетАвтотранспорта.txt
7. informa1555 2092 22.04.21 12:55 Сейчас в теме
(6) Все верно - это конфигурация для Simple UI "Учет автотранспорта". Установите Simple UI из гугл плей и откройте этот файл при помощи Simple UI как это сделано в видео https://youtu.be/1Z4xQoA16j4
Исходники конфигурации - в комплекте разработчика.
8. mkostya 28 26.04.21 17:55 Сейчас в теме
Добрый день, а реально такое распознавание номеров прикрутить к мобильному приложению на платформе 1с?
9. informa1555 2092 26.04.21 18:17 Сейчас в теме
(8) Добрый день! К 1С стационарной да, к мобильной нет. Simple UI это ж отдельная платформа.
11. mkostya 28 14.05.21 15:04 Сейчас в теме
(9) у меня задача, над складом камера и какие машины приходили зафиксировать, к сожалению с телефона это не то что нужно, как такое реализовать? что почитать?
12. informa1555 2092 14.05.21 15:38 Сейчас в теме
(11) я бы на open cv под python делал, есть готовые модели под DNN. Но вообще готовых продуктов море. Для всяких автомоек и т.д. На ИС есть специалисты
10. jimli 1 29.04.21 15:34 Сейчас в теме
Понимаю, что на дворе 21 век! Очень интересно попробовать.
informa1555; +1 Ответить
Оставьте свое сообщение

См. также

Внешние компоненты. Мобильное приложение 1С Промо

Разработка внешних компонент Мобильная разработка v8::Mobile 1cv8.cf Абонемент ($m)

Пример применения технологии внешних компонент для мобильной платформы 1С (Android)

1 стартмани

17.02.2017    43489    flyer    36    

Готовые решения для инвентаризации товаров и основных средств на мобильных устройствах для КА, УТ, ERP и БП 3.0 на базе Simple UI

Оптовая торговля Розничная торговля Учет ОС и НМА Мобильная разработка Учет ТМЦ v8 ERP2 БП3.0 УТ11 КА2 БУ УУ Абонемент ($m)

В расширениях для Бухгалтерия 3.0 и КА2.4/УТ11.4/ERP2.4 представлены готовые рабочие места для онлайн и оффлайн инвентаризации товаров (для БП 3.0 также инвентаризации основных средств) на базе бесплатного конструктора мобильного фронта Simple UI. При этом используется расширенная работа с идентификацией товаров и ОС с помощью различных подходов – сканирование штрих кода, распознавание артикулов и инвентарных номеров и различные поиски. Также используются различные возможности платформы Simple UI. Данная разработка может быть полезна как конечным пользователям, так и разработчикам в качестве заготовки, так как на базе этих блоков можно сделать ввод любого документа конфигурации , связанного с товаром или с ОС. Тестировалось на 1С 8.3.13.1865, КА 2.4.8.63 и БП 3.0.74.69

5 стартмани

28.02.2020    14838    72    informa1555    73    

Simple UI: простой конструктор мобильных приложений для устройств на Android. Обновление от 21.08.2021 - новый формат

Мобильная разработка v8 УУ Абонемент ($m)

Simple UI – это полностью бесплатная платформа для создания мобильных рабочих мест на Android. Конструктор позволяет создавать мобильные клиенты для учетных систем и самостоятельные приложения на телефонах, ТСД (терминалах сбора данных), планшетах, электронных киосках и других устройствах. При этом не нужно разбираться в мобильной разработке, Android SDK ведь основная цель платформы – максимально упростить процесс разработки и поддержки, сделать его визуальным, собирать приложения из готовых блоков с минимумом кода. Причем код обработчиков можно писать на языке учетной системы либо задавать логику обработки событий с помощью команд REST, SQL и визуального конструктора. Проект постоянно развивается изыскивая новые способы упрощения разработки и повышения функционала и является пожалуй самым быстрым способом как создать MVP-проект так и продакшн-систему под конкретное внедрение или тиражный продукт.Тестировалось на 1С: Предприятие 8.3 релиз 8.3.13.1865.

1 стартмани

14.11.2019    30894    322    informa1555    183    

EGAIS Scan - приложение для ТСД

Терминал сбора данных Мобильная разработка Оптовая торговля Розничная торговля Учет ТМЦ Оптовая торговля Розничная торговля Учет ТМЦ v8 УТ10 УПП1 УТ11 КА2 Россия УУ Абонемент ($m)

Каждый, кто занимается торговлей алкогольной продукцией, сталкивался с проблемами сканирования акцизных марок и трудностями при взаимодействии с учетной системой 1С. Приложение EGAIS Scan - простое и оптимальное решение для выполнения быстрой приемки и отгрузки алкогольной продукции.

1 стартмани

17.04.2019    5752    MrChe    3    

Hello world на metadata.js Промо

Инструментарий разработчика WEB Мобильная разработка v8 1cv8.cf Абонемент ($m)

Про браузерные offline-first приложения можно написать миллионы слов. Сэкономлю своё и ваше время и перейду сразу к делу. В статье не будет рекламы и агитации за новые технологии, не будет критики традиционных или попсовых решений. Рассмотрим по шагам разработку простейшей программы на metadata.js. Постараюсь сделать акцент не на том «как это сделано», а «почему сделано именно так»

1 стартмани

11.08.2016    63591    unpete    209    

Внешние компоненты мобильной платформы 1С для ОС Андроид

Разработка внешних компонент Мобильная разработка v8::Mobile Абонемент ($m)

На трех простых примерах описана процедура разработки внешних компонент для Андроид. Статья написана по мотивам доклада на конференции INFOSTART 2018 EDUCATION.

31.01.2019    20108    IgorKissil    28    

Применение цифровой подписи при организации учёта ТМЦ и ГСМ

Защита и шифрование Управление бизнес-процессами (BPM) Мобильная разработка v8::Mobile v8::Бизнес-процессы 1cv8.cf Абонемент ($m)

Статья о том, как внедрение мобильного приложения в бизнес-процессы компании сократило оборот бумажных документов, а простая электронная подпись - заменила аналоговую.

1 стартмани

25.10.2018    7659    ikekoval    2    

Мобильный клиент + HTTP Сервис + Расширение конфигурации

Мобильная разработка v8 v8::Mobile 1cv8.cf Россия Абонемент ($m)

Пример использования Мобильного клиента, http сервиса и расширения. 10.04.2018 фирма 1С выпустила релиз 8.3.12.1412, с долгожданным мобильным клиентом. Платформа содержит еще ряд долгожданных функций, например возможность работы с расширением через хранилище, но разговор пойдет именно о Мобильном клиенте.

1 стартмани

16.04.2018    35556    dsdred    27    

Мобильное приложение: особенности разработки на примере «Тестирование: Отчеты»

Мобильная разработка v8::Mobile Абонемент ($m)

В данной статье мы расскажем, с какими проблемами столкнулись и как их решили при создании мобильного приложения «Тестирование: Отчеты» для платформы 1С. Приложение доступно в google play + есть возможность посмотреть работу в демонстрационном режиме.

1 стартмани

12.03.2018    21259    ivanov660    2    

Сборка мобильного приложения 1С под IOS

Мобильная разработка v8 v8::Mobile Абонемент ($m)

В статье представлена инструкция по сборке мобильного приложения 1С под iOS с использованием бесплатного аккаунта разработчика Apple.

1 стартмани

29.01.2018    31118    Isonic    52    

Google OAuth и мобильное приложение

Мобильная разработка Обмен данными 1С Внешние источники данных WEB v8 v8::Mobile 1cv8.cf Абонемент ($m)

Об аутентификации для работы с сервисами google из мобильного или настольного приложения

1 стартмани

29.08.2017    11960    stveans@gmail.com    3    

Мобильное приложение 1С и приложение Java. Совместная работа через Intent. Часть 1. Запуск приложения Java из 1С

Практика программирования Мобильная разработка v8::Mobile 1cv8.cf Россия Абонемент ($m)

Пишем два приложения - конфигурацию на мобильной платформе 1С и приложение Java Android Studio. На примере рассматриваем совместное использование двух приложений через Intent. Публикация состоит из 3 частей: Часть 1. Запуск приложения Java из 1С Часть 2. Получаем данные в 1С из приложения Java Часть 3. Отправляем данные в приложение Java из 1С.

1 стартмани

20.04.2017    30013    user621724_Dimav1979    21    

Push сообщения с использованием Firebase cloud message

Мобильная разработка v8::Mobile Абонемент ($m)

Используем новую технологию FCM, отправляем пуши на устройства на базе Android, инициируем вызов сервера клиентом с самого сервера.

1 стартмани

06.04.2017    43408    nbeliaev    116    

Интеграция типовой конфигурации с мобильным приложением

Практика программирования Мобильная разработка v8 Абонемент ($m)

В данной статье речь пойдет о том, как быстро наладить взаимодействие конфигурации УТ 11 из мобильной конфигурацией, написанной на 1С 8.3. В качестве примера мы вместе разработаем отчет «Валовая прибыль по месяцам», который сможем запускать из смартфона или планшета под управлением операционной системы Android 4.2. Взаимодействие между информационной базой и мобильным приложением будет осуществляется с помощью web-сервиса.

1 стартмани

16.09.2013    18865    akomar    9