gifts2017

Распознавание рукописного ввода с использованием нейронных сетей (написано на языке 1С).Light version.

Опубликовал Дмитрий Воронцов (informa1555) в раздел Программирование - Практика программирования

Эта обработка - пример на 1С применения обучаемой нейросети для распознавания рукописного неслитного текста на любом языке и наборе символов. Решение написано для распознавания анкетных форм, когда буквы вписываются в квадратики, но может применяться и для других областей, например для распознавания печатного текста. Данная обработка - рабочая бета версия, своего рода SDK для встраивания в свои решения, предназначена для программистов а не для конечного пользователя.Честно скажу - с ней нужно повозиться. Сам алгоритм, который лег в основу - собственного изготовления, по смыслу похожий на обучаемые карты Кохонена, но и в корне отличный.И алгоритм и обработка в стадии активного развития. В эту версию не вошло самооптимизация после обучения сети. Можно делать оптимизацию вручную.

Почему возникла идея прикрутить распознавание к 1С? Потому что 1С обладает неоспоримым преимуществом - она обеспечивает лингвистическую поддержку на уровне реквизитов ИБ с их типами данных и значениями! Например требуется распознать в анкете поле "Сотрудник" - это уже ограничено значениями справочника "Сотрудники" а не всеми словами русского языка, а если учесть что можно отборать (т.к. это 1С мы можем делать что хотим) для конкретного документа только тех сотрудников, котрые в коммандировке - то и вовсе несколько строк получается. Таким образом даже если система неправильно распознает одну или даже несколько букв, всегда можно проверить проверочным словарем - отборанными сотрудниками, и автоматически же исправить, чтобы система обучилась и в следующий раз не повторяла эту ошибку.Это большое преимущество перед другими системами, которое может сделать распознавание вполне приемлемым. Кроме того код, написанный на 1С могут править все 1С программисты.

Работа с обработкой состоит из двух этапов:

1)Первичное обучение на закладке обучение. Требуется написать по 3 буквы собсвенным почерком и  сопоставить им символы с клавиатуры. Вприниципе этот этап можно было бы исключить, но так быстрее сеть входит в свое рабочее состояние.

2)Распознавание.  Можно использовать саму обработку просто чтобы посмотреть,но смысл конечно в том, чтобы встроить это в свою конфигурацию.

Области данных на обеих закладках нужны для того чтобы не обрабатывать весь документ, а указать примерно где какие реквизиты искать. Эти  области задаются в пикселях X1,Y1 - верхний левый угол;X2,Y2-правый нижний угол области. Для того чтобы из примерно определить можно открыть картинку в Paint-е или другом редакторе, который показывает пиксели - в левом, нижнем углу будут эти самые пиксели.

 

Смысл алгоритма работы изображен на схеме. Сначала происходит распознавание "квадратиков" - это пока не сеть, а предопределенный алгоритм.Этот адгоритм ищет вертикальные и горизнтальные прямые линии. Прямую линию он понимает как целую фигуру, у которой длина существенно больше ширины. Пара вертикальных и пара горизонтальных линий - это и есть "квадратик" в который пишутся буквы. Алгоритм "вырезает" буквы из "квадратика" и записывает в матрицу, чтобы предать дальше для распознавания.

Затем идет распознавание и обучение сети. Почему я использую однослойную сеть? Потому что один слой обрабатывается на этапе распознавания быстрее чем n-слоев. И при этом, что самое важное сеть можно организовать соптимизировать так, что найдется некая карта у которой совпадение будет максимально "заточено" под входной результат, т.е. изначально с большей степенью вероятности будет попадание в 10-ку. Этим как раз и занимается алгоритм самооптимизации(нет в light version). На эту обработку тоже тратится процессорное время, но это происходит позже, в фоне а не на этапе распознавания.

В архиве приложены примеры образца для первичного обучения и для распознавания - эти примеры сеть распознает абсолютно точно. На них можно проверить как это работает.

 

Технические требования для работы:

1)Для работы необходимо скачать и установить GFLAx http://www.xnview.com/en/GFL/#downloads

2)В конфигурации должен быть справочник ХранилищеДополнительнойИнформации - т.е. как в любой типовой конфе.

Ограничения при работе с данным релизом:

1)Не реалзована подгонка размеров, поэтому первоначальное обучение и дальнейшая работа должна происходить примерно с одним размером картики, что легко достигается при использовании сканера. Т.е. например если в начальных образцах толщина букв(не ширина а именно толщина) 3 пикселя то и дальше толщина должна быть тоже примерно 3 пикселя.

2)Распознавание на черно и белое прописано в функции ПрочитатьМатрицу() для глубины цвета 24 - возможно потребуется поменять этот параметр для конкретных условий(более темная и светлая картинка) или другой глубины. Желательно(не обязательно) предварительное преобразования в B&W, так можно убедиться что черно-белая картинка впринципе читаема.  

3)Разрешение и скорость работы. Чем больше разрешение тем ниже скорость работы, но выше точность. В приложенном образце толщина букв примерно 4 символа распознавание максимально достоверное, но скорость не очень. Можно снижать до 2 - скорость резко возрастает.

 

Ну и самое главное - это сложная штука, с которой нужно повозиться. Это не готовый продукт, да и сама нейросеть не может быть готовым продуктом, т.к. встраивается в конкретную конфигурацию,обучается под конкретные условия. Так что не спешите минусовать, если что то не работает. В общем, надеюсь эта обработка поможет тем кто решил заняться чем то подобным. Сам я готов ответить на любые вопросы по теме.

Скачать файлы

Наименование Файл Версия Размер
РаспознаваниеРукописногоВводаЛайт.zip 63
.zip 146,92Kb
05.10.13
63
.zip 146,92Kb Скачать

См. также

Подписаться Добавить вознаграждение
Комментарии
1. Serj (Serj1C) 17.10.13 12:55
Где взять Новый COMОбъект("GFLAx.GFLAx") ?
2. mikhail burlakov (burlakov) 17.10.13 14:29
очень интересная разработка. есть аналогичная, но немного недоделанная по решению задач анализа и обобщения информации.
3. andrewks 17.10.13 20:49
нужно учесть, что используемый обработкой компонент имеет лицензию

GFL SDK is provided as FREEWARE (NO Adware, NO Spyware) for private or educational use (including non-profit organizations).
If you enjoy using GFL SDK, Don't hesitate to help the developer with a small donation.


т.е. использование в коммерческих компаниях не будет обладать лицензионной чистотой
4. kiv82 (AltF1) 18.10.13 08:20
Механизмы рейронных сетей необходимо включать в конфигурации 1С, где есть регл учет, чтобы понимать пользователей и их действия!
ElektronHM; SkyHunter; +2 Ответить 1
5. Дмитрий Воронцов (informa1555) 18.10.13 09:07
(3) andrewks, Да Вы правы.Но это решаемая проблема, есть другие компоненты, просто с этой было проще работать - там всего несколько строчек - пиксели в массив записываются и все.
6. Дмитрий Воронцов (informa1555) 18.10.13 09:09
(4) kiv82, Интересная мысль))
7. Сергей Марченко (MarSeN) 19.10.13 12:00
Какая сеть используется? я так понял, что многослойный персептрон?
Сколько на выходе нейронов?
Если возможно, напишите краткие тех. характеристики сети. Меня давно интересует данный вопрос. Уже вторая статья подряд на инфостарте попадает в в зону моего интереса (после штудирования инфо в инете выходит статья на ИС :-))
8. Сергей Марченко (MarSeN) 19.10.13 12:02
и еще вопрос в догонку...
я так понимаю что GFLAx как раз-таки используется для "выделения" букв перед отправкой на входной слой нейронной сети.
9. Дмитрий Воронцов (informa1555) 19.10.13 12:30
(7) MarSeN, Используется однослойный перцептрон типа самоорганизующихся карт Кохонена но по своему алгоритму. Многослойные медленнее на этапе распознавания. Упор сделан на обучение и организацию карт чтобы при распознавании бысрее находился нужный вариант.
10. Дмитрий Воронцов (informa1555) 19.10.13 12:33
(8) MarSeN, GLAfx используется только для того чтобы пиксели в массив записать и все. Вся работа с изображением полностью на 1С ну и далее распознавание и обучение тоже.
11. Сергей Марченко (MarSeN) 21.10.13 23:48
(10) informa1555,
Спасибо.
На выходе сколько нейронов?
12. Дмитрий Воронцов (informa1555) 22.10.13 03:35
Сколько обучите столько и будет. Идея заключается в том что на один значащий выход на одном слое может быть много нейронов. Например я цифру 7 могу писать с палочкой посередине и без, поэтому у меня накапливается опыт по обоим вариантам,но все они ведут в итоге к 7ке
13. rasswet (rasswet) 23.10.13 10:02
здОрово и любопытно! респект!
14. DAnry (DAnry) 23.10.13 13:30
Великая и могучая 1С... Ну и, конечно, универсальная. Что еще не делали на 1С?
15. Роман Грук (gruk) 24.10.13 05:20
16. anry mc (AnryMc) 24.10.13 06:33
Особенно понравилось
написано на языке 1С
17. Сергей (Che) Коцюра (CheBurator) 27.10.13 14:22
18. Сергей Алферов (SunShinne) 27.10.13 15:27
Простите за французский, но... реально ах-ре-неть- задумка крутая! Плюс однозначнейший! А для чего-нибудь еще нейросеть можно "натаскать"? Где можно почитать про "вот это все"?
19. Дмитрий Воронцов (informa1555) 27.10.13 16:43
(18) SunShinne, Спасибо за внимание. С помощью нейронных сетей можно распознавать вообще все - любое изображение, звук(распознавание речи), реализовать любую нечеткую логику - принятие решений например при изменяющих факторах окружающего мира и т.д. Это по сути ассоциативное мышление. У меня не совсем типичные сети(частный случай) - это самоорганизующаяся карта - вот она подходит больше для изображений - т.е. объектов с непрерывной структурой (грубо говоря каких то реальных точек которые в физическом объекте если он физический стоят вместе друг с другом).Что почитать сложный вопрос - я читал либо книжки советского периода либо англоязычные, у нас почему то про это забыли сейчас - хороших книг сейчас не выходит только лекции (например в электронном виде Интуит).
20. Дмитрий Воронцов (informa1555) 27.10.13 16:43
21. MagIvan (RailMen) 27.10.13 20:26
Плюсую. Напоминает мою ККР по дисциплине нейросетевые технологии, когда учился в магистратуре. Только писалась она на старом добром Delphi и без сторонних библиотек. Project не тяжело переписать под 1С, только пока не требовалось.
22. Сергей (Che) Коцюра (CheBurator) 27.10.13 22:40
(20) а можно пристегнуть к примерно такой задаче - нахождение похожих картинок?
например: пришел товар (чехлы для телефонов). вопрос: есть ли у меня такой товар в базе? идентификации никакой нет, кроме внешнего вида.. делаем типа: фотографируем (весь товар фотографируется в примерно одинаковом ракурсе/размере), жмакаем кнопку - выдает список(картинки) похожих товаров..?
23. MagIvan (RailMen) 27.10.13 23:06
(22) CheBurator, можно сделать без какой-либо сторонней библиотеке с небольшими оговорками:
1) все фото будут одного не большого разрешения, например, 400х600 (очень большое разрешение потребует некоторые усложнения мат модели персептрона);
2) черные чехлы фоткать на белом фоне для большей контрастности, чтобы снизить полную ошибку нейросети.

Ну и главное, надо понимать, что любая нейросеть не может являться инструментом для 100% принятия решения в какой-либо области, особенно в рег учете или точных расчетных задачах. Ее надо рассматривать как некий "советчик"/"помощник"/"консультант". Многое зависит от методов обучения сети, ее базы знаний и т.д.

Применимо к вашей задачи, при поступлении очередного чехла для телефона ответ ситемы будет какой: "Возможно у нас есть похожие чехлы: (далее список с картинками с порядке убывания схожести):
1) чехол №1 - картинка чехла №1 - ошибка сети при вычислении схожести чехла №1
2) чехол №2 - картинка чехла №2 - ошибка сети при вычислении схожести чехла №2
...
"
24. Сергей (Che) Коцюра (CheBurator) 27.10.13 23:21
1. да, так и есть, картинки небольшого формата, для визуального контроля в основном, но вполне разборчивые...
2. это нормальное требование
.
остальное тоже нормально.
.
думаю такая программулинка будет представлять интерес. и не только для чехлов ;-)
.
25. Сергей Марченко (MarSeN) 28.10.13 00:35
(12) informa1555,
спасибо за ответ. увидел случайно, так как он не был "адресован" мне
26. Александр Б. (HameleonA) 28.10.13 09:17
Интересное решение. Напомнило мне дипломный проект. На досуге посмотрю.
27. Максим Кузнецов (Makushimo) 29.10.13 15:21
(19) informa1555,
поделитесь ссылкой, если не трудно. Очень интересна эта тема.
28. Сергей Марченко (MarSeN) 29.10.13 20:16
Плохо, что "инновационные" статьи всегда проигрывают в плюсах.

Odinas; informa1555; +2 Ответить 1
29. Дмитрий Воронцов (informa1555) 30.10.13 03:46
(27) Makushimo, В качестве базы(тем более там разные подходы) что то из этого неплохо, Барский например: http://www.intuit.ru/studies/courses?service=0&option_id=17&service_path=1
30. Андрей Овсянкин (Evil Beaver) 30.10.13 10:19
Круто, но не до конца уловил, а что, собственно, делает компонента GFLAx?
31. Дмитрий Воронцов (informa1555) 30.10.13 10:37
(30) Evil Beaver, Компонента просто считывает цвета пикселей картинки в двумерный массив- там буквально 5 строчек. Т.е. переводит картинку в матрицу. Средствами 1С вроде картинку не прочитать попиксельно. По крайней мере я не знаю как... А само распознавание и прочая сопутствующая работа с изображением на 1С сделана - уже с массивом точек.
32. Артем Бардюг (Йожкин Кот) 30.10.13 15:42
А можно при помощи нейросетей сделать прогнозирование курса евро/доллара на несколько дней вперед? Потом привязать это все к какой-либо торговой платформе...
33. Дмитрий Воронцов (informa1555) 30.10.13 17:23
(32) Йожкин Кот, Думаю нет, там вроде традиционно теханализ используется, матстатистика там.
35. Игор Мудрицкий (Zas1402) 24.12.13 18:18
(32) Нейросеть она больше угадывает чем прогнозирует.
36. Андрей Овсянкин (Evil Beaver) 07.03.14 17:43
(28) MarSeN, я заплюсил. А проигрывают потому, что практической ценности меньше. Если поизгаляться, так и 3D графику можно сделать, обсчет матриц, там, и прочее. Но зачем?
37. Eugen Krivylia (EugenLiquor) 07.03.14 17:58
Хммм, не думал, что найду подобное решение. Довольно интересное решение, поподробнее ознакомлюсь!
38. Артур Аюханов (artbear) 12.03.14 16:36
39. Юрий Вячеславович (3762515) 13.03.14 11:42
Отличная вещь! Я так понимаю, можно взять стопку документов, например счет-фактура входящие, положить в сканер и 1с от сканирует, распознает и создаст такой же!
40. Дмитрий Воронцов (informa1555) 13.03.14 12:07
(39) 3762515, Да можно приспособить под печатный текст тем более что распознавание печатных букв гораздо проще чем рукописных и в данном примере реализовано распознавание ячеек, а в накладных, с/фактурах и т.д. как раз надо читать инфу из таблиц документа например колонка "Товар" - строка 1,2,3 и т.д. Как раз то, что мешает привинтить файнридер это то что связь таблиц и полей с реальными реквизитами должна обрабатываться на стороне 1С.Без такой связи толку от распознавания нет,а если делать на 1С как раз все доступно. Но "привинчивать" придется долго - это не тиражный продукт, а просто демка алгоритма.
41. Юрий Вячеславович (3762515) 13.03.14 16:19
Чего то не могу понять, что именно надо скачать отсюда: http://www.xnview.com/en/GFL/#downloads
Ничего похожего на GFLAx там нет, поиска нет. Обработка ругается:
{Форма.Форма.Форма(1969)}: Ошибка при вызове конструктора (COMОбъект)
 GFLAx = Новый COMОбъект("GFLAx.GFLAx");
по причине:
Недопустимая строка с указанием класса
...Показать Скрыть
42. Дмитрий Воронцов (informa1555) 13.03.14 17:17
(41) 3762515, Вот ссылка на прямую скачку с их сайта http://download.xnview.com/GflSDK-win.zip
43. Юрий Вячеславович (3762515) 14.03.14 08:12
44. Сергей Смирнов (protexprotex) 07.11.14 00:48
(33) informa1555, Ну неправда. Нейросети как раз для прогнозирования - самое то. Используют для этого специальную структуру сети - с обратными связями. И обучают до стабилизации ответа.
45. Петр Лунегов (pvlunegov) 16.06.15 17:54
(14) DAnry,
В 1с нет объектно-ориентированного подхода.
Это огромный минус, который ведет к сложному коду.
На любом объектно-ориентированном языке подобные задачи выглядят в коде изящнее и проще в понимании.
46. Юрий Вячеславович (3762515) 20.03.16 13:25
Не пойму, что нужно что бы оно заработало. Такая ошибка у меня:
{Форма.Форма.Форма(1969)}: Ошибка при вызове конструктора (COMОбъект)
GFLAx = Новый COMОбъект("GFLAx.GFLAx");
по причине:
-2147221005(0x800401F3): Недопустимая строка с указанием класса
47. Дмитрий Воронцов (informa1555) 20.03.16 15:21
(46) 3762515, Не установлен GFLAx или не зарегистрирован. Зарегистрировать : Regsvr32 c:\WINDOWS\system32\GflAx.dll
48. Владимир Медведев (VLMedvedev) 04.11.16 08:25
49. Дмитрий Воронцов (informa1555) 04.11.16 11:51
(48) VLMedvedev, Есть но в виде совсем другого собственного мат аппарата (еще меньше похожего на сети - больше на био) и не на 1С)) 1С хороша чтобы чето быстро наваять - увидеть воплощение идеи, не задумываясь над типизацией и т..д. но это несерьезно для развития.
50. Владимир Медведев (VLMedvedev) 05.11.16 02:42
51. Дмитрий Воронцов (informa1555) 07.11.16 06:58
(50) VLMedvedev, Это не так просто к сожалению. Коммерческого решения пока нет. Мат аппарат я постоянно перерарбатываю и модули кластреризации, разпознавания и т.д. непрезентабельные хоть и рабочие))