1С и MongoDB: дружба начинается с RESTHeart'а

03.07.17

Интеграция - Внешние источники данных

Краткое описание того, как подружить MongoDB и 1С: Предприятие используя один из предлагаемых на официальном сайте RESTFul сервисов - RESTHeart.

Скачать файлы

Наименование Файл Версия Размер
1С и MongoDB: дружба начинается с RESTHeart'а:
.zip 5,66Kb
8
.zip 5,66Kb 8 Скачать

Введение

Для начала давайте поймем, что же такое NoSQL и зачем это нужно. Если упрощенно, то это концепция, отличная от традиционных известных нам реляционных баз.

  1. Эти СУБД, как правило, не поддерживают ANSI SQL. Конечно есть ODBC драйверы, которые пытаются переложить SQL запрос на язык СУБД, но это не совсем то.
  2. Структура базы не регламентирована. Внутри каждой базы может быть произвольное число коллекций (таблиц) с произвольным числом документов (записей) произвольной структуры. То есть таблицы в NoSQL базах имеют произвольную структуру.
  3. Нет транзакций в привычном нам понимании этого слова. Можно гарантированно изменить один документ, но для согласованного изменения нескольких документов в разных коллекциях придется прибегнуть к ухищрениям.
  4. Более разнообразные методы распределения данных. Возможность одновременного использования шардинга и репликации. Вы можете как распределять копию всех данных, так и частично распределять данные по серверам, увеличивая производительность чтения данных.

Более подробно можно прочитать тут — https://habrahabr.ru/post/152477/.

Обычное применение таких СУБД – высоконагруженные системы обрабатывающие большой объем информации с произвольной структурой. Можно ли применять такие СУБД в обычной жизни? Конечно можно и нужно, но каждый раз мы должны отдавать себе отчет, что для каждой конкретной задачи нужно применять наиболее подходящий для этого инструмент. Например, для хранения данных структуры базы 1С NoSQL не подходит, т.к. нам нужны транзакции и у нас фиксированная структура. А вот для хранения журнала регистрации (пример хранения журнала регистрации в MongoDB — //infostart.ru/public/558101), файлов (пример хранения файлов в MongoDB — //infostart.ru/public/624829/), какой-то произвольной не регламентированной по структуре информации мы вполне можем использовать базу вроде MongoDB, т.к. транзакции нам не нужны, но нужна высокая скорость и хранение больших объемов.

RESTHeart

REST – это регламент взаимодействия с сетевым приложением, когда все инструкции для приложения мы передаем через HTTP запросы. RESTHeart представляет собой веб сервер, написанный на Java, который принимает REST команды и трансформирует их в команды MongoDB. В традиционном HTTP есть два запроса: GET для получения данных и POST для их модификации. Но для REST их число пришлось расширить: PUT, DELETE, PATCH.

Структура данных в запросе выглядит следующим образом:

/DataBase/Collection/DocID?Parameters, где

  • DataBase – имя базы данных,
  • Collection – имя коллекции,
  • DocID – идентификатор документа
  • Parameters – дополнительные параметры

Примеры запросов

Тип запроса Текст запроса Описание
GET /DB/Col Получение всех документов из коллекции Colбазы DB
GET /DB/Col/id Получение документа с идентификатором id из коллекции Col из базы DB
GET /DB/Col?filter="{‘name’:’Alex’}" Получение всех документов из коллекции Colиз базы DB у которых свойство name = Alex
PUT /DB/Col Создание коллекции Col в базе DB
POST /DB/Col {"address": "Red square", "city": "Moscow"} Создание в коллекции Col базы DB документа со свойствами address = Red square и city = Moscow
DELETE /DB/Col/id Удаление документа с идентификатором id из коллекции Col из базы DB

Логика довольно проста и понятна. Теперь разберемся с тем, как нам установить этот сервер.

  • Скачаем и установим СУБД MongoDB с сайта https://www.mongodb.com/. Базовая версия – бесплатна.
  • Скачаем оболочку для работы с MongoDB – RoboMongo с сайта https://robomongo.org/. Она так же бесплатна.
  • Создадим на диске С каталог Data\Db, это каталог для баз по умолчанию, чтобы не разбираться с параметрами запуска MongoDB.
  • Запустим сервер СУБД командой mongod.exe Это запустит сервер без авторизации под полными правами.
  • Запустим RoboMongo и подключимся к локальному серверу. Наш сервер будет запущен на localhost или 127.0.0.1 на стандартном порту 27017.
  • Создадим на сервере базу FileBase и коллекцию в ней – FileTable.
  • Создадим пользователя, для работы с базой. Для этого запустим shell в RoboMongo. Важно создать пользователя именно через shell, иначе его нельзя будет использовать при авторизации (видимо глюк приложения).
use admin

db.createUser({user: “admin”,pwd: “pwd”,roles:[“root”]})
  • Теперь прервем приложение mongod.exe и запустим его заново командой «mongod.exe —auth», теперь наша база работает с использованием авторизации и без учетных данных мы к ней не подключимся.
  • Скачиваем и устанавливаем Java SE с сайта Oracle.
  • Скачиваем сервер RESTHeart с официального сайта http://restheart.org/. Данный продукт – бесплатен.
  • Настраиваем RESTHeart сервер, для этого отредактируем файл security.yml. В секции users зададим пользователя, под которым будем заходить в базу. Для простоты будем использовать административную учетную запись.
users:

  — userid: admin

      password: pwd

      roles: [admins]
  • Продолжим настройку и отредактируем файл restheart.yml. Отредактируем секцию с указанием протокола и порта для подключения, оставим только стандартный протокол http
https-listener: false

https-host: 0.0.0.0

https-port: 4443

 

http-listener: true

http-host: 0.0.0.0

http-port: 8080

 

ajp-listener: false

ajp-host: 0.0.0.0

ajp-port: 8009
  • Отредактируем mongo-uri строку в restheart.yml
mongo-uri: mongodb://admin:pwd@127.0.0.1/?authSource=admin
  • Наш сервер готов к работе, запустим его командой «java -server -jar restheart.jar etc/restheart.yml»

Теперь наша связка RESTHeart и MongoDB готова и ждет наших команд.

Вот пример кода 1С для нашего сервера RESTHeart который создает документ с идентификатором Объект.ID. Функция ХэшАвторизации – это строка вида «admin:pwd» закодированная в Base64.

HTTPСоединение 	= Новый HTTPСоединение("127.0.0.1", 8080, "admin", "pwd",,	10);
ЧтениеJSON = Новый ЧтениеJSON;
ЗаписьJSON = Новый ЗаписьJSON;
ЗаголовокЗапроса = Новый Соответствие;
ЗаголовокЗапроса.Вставить("Content-Type", "application/json");
ЗаголовокЗапроса.Вставить("Authorization", "Basic " + ХэшАвторизации("admin", "pwd"));
	
HTTPЗапрос = Новый HTTPЗапрос("/FileBase/FileTable/" + Объект.ID + "?id_type=STRING", ЗаголовокЗапроса);
Ответ = HTTPСоединение.ВызватьHTTPМетод("PUT", HTTPЗапрос);

Вот собственно и все. Если у вас есть желание сделать данную связь более безопасной или сложной – то на приведенных сайтах можете изучить инструкцию и поработать с настройками, задача этой статьи – дать вам возможность быстрого старта.

Если вас интересует пример реализации хранения файлов и изображений из базы 1С в MongoDB, то можете рассмотреть мою публикацию //infostart.ru/public/624829/, в ней реализован такой функционал. Во вложении к данной публикации я разместил файлы настроек RESTHeart, с которыми у меня на локальной машине все работало.

MongoDB REST RESTHeart

См. также

Перенос данных из Парус 8 в ЗГУ 3

Зарплата Внешние источники данных Бюджетный учет Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 8 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

84000 руб.

19.08.2020    22449    19    1    

22

Перенос данных из Парус 10 в ЗГУ ред.3

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Обмен между базами 1C Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 10 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

60000 руб.

05.10.2022    9208    9    8    

10

Перенос данных из Парус 7.хх в ЗГУ ред.3

Внешние источники данных Зарплата Бюджетный учет Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 7.хх учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

24000 руб.

24.04.2017    48704    97    163    

86

Перенос начальных остатков из Парус 7.71 в БГУ

Внешние источники данных Взаиморасчеты Учет ОС и НМА Логистика, склад и ТМЦ Бюджетный учет Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 2.0 1С:Бухгалтерия государственного учреждения Государственные, бюджетные структуры Россия Бюджетный учет Платные (руб)

Перенос словарей и начальных остатков из ПП Парус-Бухгалтерия Бюджет 7.71 в 1Сv8 БГУ2. Заполнение словарей и документов по вводу начальных остатков. Не требуется установка ПП Парус7. Возможна дозагрузка. Позволит автоматически и наиболее полно ввести данные в программу для начала работы. 

15600 руб.

08.12.2011    81568    128    123    

147

Перенос данных из Парус 10 (Торнадо) в ЗГУ ред.3 через Excel

Внешние источники данных Загрузка и выгрузка в Excel Зарплата Бюджетный учет Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате из Парус 10(Торнадо) учреждений через файлы Excel в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ). В принципе, обработка может быть использована для загрузки из файлов Excel, полученных из любых информационных систем.

24000 руб.

16.11.2018    30002    20    31    

21

Загрузка спецификаций в УНФ из системы Базис-мебельщик

Производство готовой продукции (работ, услуг) Внешние источники данных Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 Лесное и деревообрабатывающее хозяйство Россия Управленческий учет Платные (руб)

Обработка предназначена для загрузки файлов, выгруженных из системы Базис-мебельщик, в справочник "Спецификации" для последующих процессов учета и диспетчирования полуфабрикатов и изделий.

7200 руб.

24.06.2021    19128    52    50    

29
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. capone 24 03.07.17 16:50 Сейчас в теме
Люто и беспощадно))
2. Fox-trot 156 01.08.17 14:23 Сейчас в теме
а в чем преимущество такого подхода?
не проще ли хранить все как есть на диске?
3. Silenser 592 01.08.17 22:25 Сейчас в теме
(2)Не проще. Посмотрите комментарии в моей старой публикации, этот вопрос там обсуждался.
4. user679689_redbull4561 11.09.17 14:16 Сейчас в теме
(3) Делаю тестовую доработку по вышей статье. Возвращается код состояния 401

Отсюда вопрос

ЗаголовокЗапроса.Вставить("Authorization", "Basic " + ХэшАвторизации("admin", "pwd"));


Ключ "Authorization" является обязательным и по нему идет авторизация при обработке данных?
Можете разметить процедуру ХэшАвторизации?
5. Silenser 592 11.09.17 14:59 Сейчас в теме
(4)ИмяФайла = ПолучитьИмяВременногоФайла();
врТекст = Новый ТекстовыйДокумент;
врТекст.УстановитьТекст(ВашЛогин + ":" + ВашПароль);
врТекст.Записать(ИмяФайла, КодировкаТекста.ANSI);
Данные = Новый ДвоичныеДанные(ИмяФайла);
ТоЧтоВамНужно = Base64Строка(Данные);
6. user679689_redbull4561 12.09.17 09:34 Сейчас в теме
(5) Спасибо вроде получилось, но начал выдавать ошибку.

Ошибка работы с Интернет: Failure when receiving data from the peer

Я так понимаю это уже из-за настроек самого сервера?
7. Silenser 592 12.09.17 11:26 Сейчас в теме
(6)Я с такой не сталкивался. Возможно сообщение не совсем соответствует истине и система не может получить какие-то дополнительные данные, например, из-за ограничений шлюза или файрвола.
8. dablack 05.10.17 00:07 Сейчас в теме
Вместо roboMongo советую использовать studio3t
есть бесплатная версия и гораздо удобнее работать в т.ч. и запросы писать.
9. Pryanishnikov_Vladimir 06.08.21 15:08 Сейчас в теме
А как чтото поместить в документ? Нужно добавить к PUT запросу тело в JSON? Кто-нибудь может привести пример записи данных в документ?
10. Silenser 592 11.08.21 09:23 Сейчас в теме
(9) есть пример реализации хранения файлов во внешней СУБД, например тут https://infostart.ru/public/624829/ и тут https://infostart.ru/public/944348/
Оставьте свое сообщение