Архитектурное решение интеграции баз 1С с использованием брокера сообщений Rabbit MQ

12.02.21

Интеграция - Перенос данных 1C

При решении задач интеграции баз данных можно использовать различные средства «транспорта» сообщений. Одним из таких механизмов является брокер сообщений «Rabbit MQ». Такие механизмы очередей сообщений удобно использовать для организации обмена между информационными системами с различной структурой данных, когда велик объем передаваемой информации и требуются гарантии успешной доставки сообщений, а также когда поддержание работоспособности иных способов передачи, например через файлы, становиться слишком трудоемким. Брокер сообщений Rabbit MQ широко описан в сети, но 1С пока не имеет штатных механизмов работы с ним, поэтому их приходится дорабатывать. Рассмотрим пример архитектуры 1С с его использованием.

 

Схема выгрузки объектов из базы – источника

 

1. Для регистрации объектов, подлежащих выгрузки, используем План обмена; собственно, регистрация производится по какому-либо правилу бизнес-процесса, например, при сохранении изменения объекта 1С. 

2. Инициализацию выгрузки объектов поручим регламентному заданию; в его обработчике:

2.1. формируем единый для всей выгрузки объектов xdto-контейнер;

2.2. начинаем транзакцию (помимо своей основной функции, она понадобится для снятия управляемых блокировок);

2.3. для каждого вида объекта метаданных вызываем свои процедуры выгрузки объектов, в которых:

2.3.1. из Плана обмена читаем объекты, подлежащие выгрузке;

2.3.2. устанавливаем на эти объекты управляемую блокировку;

2.3.3. на основании xdto-пакета преобразуем объект 1С в объект xdto;

2.3.4. добавляем xdto-объект в единый xdto-контейнер;

2.4.    Полученный xdto-контейнер сериализуем в JSON-строку;

2.5.    Подключаемся к брокеру сообщений Rabbit MQ и записываем в него сообщение с нашей JSON-строкой;

2.6.    Для выгруженных объектов 1С снимаем регистрацию в Плане обмена;

2.7.    Фиксируем транзакцию и снимаем управляемые блокировки.

Результатом является очередь в Rabbit MQ из сообщений о выгруженных объектах 1С.

Если объем выгружаемой информации велик, а база активно используется пользователями, то следует позаботиться об уменьшении времени управляемых блокировок. Идти можно следующими путями:

  • локализовать транзакции до выгрузки отдельных видов объектов метаданных;
  • разделить выгрузку отдельных видов метаданных на порции, например, по 100 объектов;
  • отдельно для каждой такой порции устанавливать транзакции и блокировки.

 

Схема выгрузки объектов из базы источника  

 

 Схема загрузки объектов в базе – приемнике

 

Схема загрузки объектов в базу-приемник

 

1. За инициализацию загрузки объектов отвечает Регламентное задание; в его обработчике:

1.1. Подключаемся к очереди сообщений брокера сообщений Rabbit MQ;

1.2. Считываем сообщения в качестве JSON-строк;

1.3. По параметрам JSON-сообщения определяем у объектов вид метаданных и вызываем соответствующие процедуры преобразования; в этих процедурах:

1.3.1. На основании xdto-пакетов преобразуем JSON-строки в xdto-объекты;

1.3.2. Преобразуем xdto-объекты в объекты 1С;

1.3.3. Сохраняем объекты 1С в базе 1С.

Результатом является запись в базе-приемнике объектов 1С переданных из баз-источников.

 

Итог

Мы рассмотрели пример архитектуры 1С для выгрузки/загрузки объектов с использованием брокера сообщений Rabbit MQ. Описанная архитектура универсальна и не зависит от вида используемой конфигурации 1С. Механизм можно использовать в различных интеграционных решениях, в т.ч. для передачи данных между разнородными системами (в силу использования универсального JSON-формата).

Вступайте в нашу телеграмм-группу Инфостарт

См. также

Перенос данных 1C Программист 1С:Предприятие 8 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос документов, начальных остатков и справочной информации из УПП 1.3 в ERP 2 | из УПП 1.3 в УТ 11 | из УПП в КА 2 | Правила конвертации (КД 2) | Более 360 предприятий выполнили переход с использованием этого продукта! | Сэкономьте время - используйте готовое решение для перехода! | Позволяет перенести из УПП 1.3 в ERP / УТ 11 / КА 2 всю возможную информацию | В переносе есть фильтр по организации и множество других опциональных параметров выгрузки | Есть несколько алгоритмов выгрузки остатков на выбор

58000 руб.

04.08.2015    183272    424    298    

437

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена | Можно выполнить переход с УПП на БП 3 или запускать выгрузку данных за выбранный период времени | Переносятся документы, начальные остатки и вся справочная информация | Есть фильтр по организации и множество других параметров выгрузки | Поддерживается несколько сценариев работы: как первичный полный перенос, так и перенос только новых документов | Перенос данных возможен в "1С: Бухгалтерия 3.0" версии ПРОФ, КОРП или базовую | Переход с "1С: УПП1.3" / "1С:КА 1.1" на "1С:БП3.0" с помощью правил конвертации будет максимально комфортным! | Можно бесплатно проверить перенос на вашем сервере!

50050 руб.

25.02.2015    180355    348    283    

406

SALE! 20%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен и синхронизацию в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

22650 руб.

12.06.2017    156901    936    306    

474

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.262.x) и БП 3.0 (3.0.190.x). Правила подходят для версии ПРОФ и КОРП.

38000 34200 руб.

15.12.2021    31943    233    61    

174

SALE! 10%

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Управление торговлей 10 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.88.x) и УТ 11.5 (11.5.25.x).

38000 34200 руб.

23.07.2020    64664    303    83    

243

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Платные (руб)

Перенос данных из ЗУП 3 в ЗУП 3 | из ЗУП 3 в КА 2 | из ЗУП 3 в ERP | Оперативно обновляется при выходе новых релизов 1С | Готовые правила конвертации (КД 2) для перехода с "ЗУП 3" на "УП ред. 3" / "КА, ред. 2" / "ERP, ред. 2" |Переносится нормативно-справочная информация и документы с движениями

55200 руб.

11.01.2021    36864    32    56    

34

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Программист 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Платные (руб)

Правила переноса кадровых и расчетных данных и справочной информации из "1С:УПП1.3" или "1С:КА 1.1" в "1С:ЗУП 3.1 | Разработан в формате КД 2 (правила конвертации данных) | При выгрузке есть фильтр по организациям | Обновляется при выходе новых релизов 1С | Развитие алгоритмов | Расчетные документы переносятся в документ "Перенос данных" | Создаются документы "Начальная штатная расстановка" и "Начальная задолженность по зарплате", переносятся кадровые документы

58000 руб.

29.10.2018    60804    73    125    

71

Перенос данных 1C Файловый обмен (TXT, XML, DBF), FTP Системный администратор Программист 1С:Предприятие 8 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Перенос данных из КА 1.1 в КА 2 | из КА 1.1 в УТ 11 | Воспользовались более 367 компаний! | Переносятся все возможные виды документов, начальных остатков и вся справочная информация из "1С:КА 1.1" в "1С:КА 2.х" / "1С:УТ 11" | Разработан в формате КД 2 (правила конвертации данных) | Фильтр по организациям при выгрузке | Выбор разных алгоритмов выгрузки начальных остатков | Можно проверить перенос до покупки!

58000 руб.

04.12.2015    197896    260    354    

413
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Cyberhawk 137 26.02.21 08:28 Сейчас в теме
2.6. Для выгруженных объектов 1С снимаем регистрацию в Плане обмена
Что произойдет, когда база-приемник успешно забрала очередное сообщение из очереди, а потом упала и ее восстановили на момент до начала загрузки того сообщения? Предназначавшиеся для нее изменения безвозвратно утеряны?
3. SiAl 76 10.08.21 10:49 Сейчас в теме
(1) Предполагаю, что это нестандартная ситуация. И при обмене файлами между разными ИБ 1С тоже возникнет такая ситуация. Тут только заново в источнике регистрировать данные для миграции. Хоть через брокер сообщений, хоть через файлы.
5. Cyberhawk 137 10.08.21 10:51 Сейчас в теме
(3)
заново в источнике регистрировать данные для миграции
А как узнать, какие данные нужно зарегистрировать?
6. SiAl 76 10.08.21 11:06 Сейчас в теме
(5) При помощи человека, знающего что нужно регистрировать. Система обмена данными - не замена система бэкапирования и/или архивации.
2. CattusEquese 21.06.21 14:40 Сейчас в теме
После загрузки в 1С необходимо ли отправлять сообщение об успешной загрузке?
4. SiAl 76 10.08.21 10:51 Сейчас в теме
(2) Судя по логике, описанной автором, то - нет. Потому что регистрация данных для отправки в источнике удаляется после помещения сообщения в брокер.
Для отправки сообщения требуется регистрация/авторизация