DaJet MQ - надёжный обмен данными

25.10.23

DaJet MQ – это асинхронный обмен сообщениями, основанный на компоненте Service Broker ядра Microsoft SQL Server. Простой, эффективный, надёжный. Отлично справляется с сообщениями любого размера. Максимальный размер одного сообщения равен 2 Гб.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		По подписке [?]	Купить один файл
Microsoft SQL Server Service Broker для 1С .epf 66,13Kb 0	0	Скачать (10 SM)	Купить за 4 550 руб.

DaJet MQ представляет из себя верхнеуровневый API, основанный на функциональности SQL Server Service Broker и значительно облегчающий её программное использование, в том числе из 1С.

Подробнее про Service Broker (видео)

Очереди Service Broker "живут" в базах данных. Могут быть созданы в любой из них, в том числе на удалённых серверах SQL Server. Таким образом возможно создание схем обмена данными по типу "звезда", "точка-точка" и их комбинаций.

Service Broker гарантирует доставку сообщений exactly-once-in-order (ровно один раз строго по порядку). Это означает, что, в рамках одной очереди, одно и тоже сообщение будет доставлено получателю только один раз, а также то, что все сообщения будут доставлены строго в порядке их помещения в очередь.

В случае реализации удалённого взаимодействия между очередями по схеме "точка-точка", Service Broker берёт на себя все нюансы доставки сообщений из локальной очереди в удалённую. Это включает в себя обработку обрывов связи, доставку сообщений по частям, динамическое изменение маршрутов и прочее.

Системные требования.

1. Microsoft SQL Server (в том числе Express Edition)

2. OLE DB Provider для SQL Server (рекомендованный провайдер)

Функциональные возможности.

1. Простое программное создание и удаление очередей.

2. Отправка и получение одного или нескольких сообщений в транзакции.

3. Реактивное ожидание новых сообщений практически без нагрузки на сервер.

4. Надёжное удалённое взаимодействие "точка-точка" между серверами.

Преимущества.

1. Надёжность и гарантии SQL Server.

2. Очень простая и быстрая установка.

3. Программирование на 1С "из коробки".

4. Открытый программный код T-SQL и 1С.

5. Если у вас есть SQL Server, значит у вас уже есть DaJet !

Схема "звезда" (локальные очереди)

Схема "точка-точка" (внешние очереди)

Очереди расположены на разных экземплярах SQL Server.

Клиент-источник отправляет сообщение у себя на сервере 192.168.0.1 в так называемую внешнюю очередь. Адрес внешней очереди настраивается в таблице маршрутов экзепляра SQL Server клиента-источника. Service Broker берёт на себя доставку сообщения в локальную очередь клиента-получателя на удалённом сервере 192.168.0.2. В случае успешного помещения сообщения в локальную очередь клиента-получателя Service Broker подтверждает доставку. Для этого также необходима настройка таблицы маршрутов на экземпляре SQL Server клиента-получателя.

Для взаимодействия друг с другом SQL Server'а должны открыть специальный порт Service Broker.

Использование DaJet MQ значительно упрощает настройку таблиц маршрутов на обоих серверах SQL Server.

Код 1С для открытия порта Service Broker на одном из серверов:

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";
БазаДанных   = "master"; // Подключение к базе данных "master" SQL Server

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер, БазаДанных);

НомерПортаServiceBroker = 4022; // Номер порта по умолчанию
	
DaJet.ВключитьУдалённоеВзаимодействие(НомерПортаServiceBroker);
	
DaJet.ЗакрытьПодключение();

Код 1С для настройки маршрута для внешней очереди (предварительно нужно открыть порты Service Broker - см. код выше):

DaJet = Обработки.DaJetMQClient.Создать();
	
ПараметрыОтправителя = Новый Структура();
ПараметрыОтправителя.Вставить("Провайдер", "MSOLEDBSQL");
ПараметрыОтправителя.Вставить("АдресХоста", "192.168.0.1");
ПараметрыОтправителя.Вставить("АдресСервера", "sql-server-sender");
ПараметрыОтправителя.Вставить("БазаДанных", Неопределено);
ПараметрыОтправителя.Вставить("ИмяПользователя", "sa");
ПараметрыОтправителя.Вставить("ПарольПользователя", "sa");
	
ПараметрыПолучателя = Новый Структура();
ПараметрыПолучателя.Вставить("Провайдер", "MSOLEDBSQL");
ПараметрыПолучателя.Вставить("АдресХоста", "192.168.0.2");
ПараметрыПолучателя.Вставить("АдресСервера", "sql-server-receiver");
ПараметрыПолучателя.Вставить("БазаДанных", Неопределено);
ПараметрыПолучателя.Вставить("ИмяПользователя", "sa");
ПараметрыПолучателя.Вставить("ПарольПользователя", "sa");

 // Очередь получателя - внешняя по отношению к серверу 192.168.0.1 (sql-server-sender)
ИдентификаторВнешнейОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/ЗаказыПокупателей";

DaJet.СоздатьМаршрут(ПараметрыОтправителя, ПараметрыПолучателя, ПолучательИдентификаторОчереди);

Для облегчения настройки можно использовать обработку dajet-mq-1c-client.epf, которая входит в комплект поставки.

Установка DaJet MQ из обработки 1С и создание первой локальной очереди

Настройка внешней очереди для схемы "точка-точка"

Внимание! Все нижеописанные операции можно выполнить программно!

1. Установить DaJet MQ на обоих серверах SQL Server.

2. Открыть порт Service Broker на обоих серверах SQL Server, если они ещё не открыты.

При этом важно указать в настройках сервера SQL Server параметр "Адрес хоста" (см. инструкцию по установке DaJet MQ).

Если сервера SQL Server находятся на одном и том же физическом сервере, то порты Service Broker у них должны быть разные!

Нужно повторить следующие операции для каждого из серверов:

2.1. Выделить узел сервера и выбрать опцию меню "Открыть внешний порт".

2.2. В случае успешного от крытия порта видим следующее сообщение:

2. Создать локальную очередь на сервере-получателе. По отношению ко второму серверу это будет внешняя очередь. См. инструкцию по установке DaJet MQ выше.

3. Выделить узел "Внешние очереди (маршруты)" сервера-отправителя и выбрать опцию меню "Добавить внешнюю очередь".

4. В открывшемся окне настройки маршрута заполнить необходимые параметры и нажать кнопку "Создать маршрут".

5. В случае успешного создания маршрута видим следующее сообщение:

Список серверов и очередей изменится следующим образом:

6. Можно отправлять сообщения с сервера-отправителя в очередь сервера-получателя.

В данном конкретном случае подключаемся к серверу "zhichkin" и отправляем сообщение во внешнюю очередь "58094149-D544-4AA5-A1E0-0370E0473A8A/queue/test".

Получаем сообщения на сервере "zhichkin\sqlexpress" в его локальной очереди "58094149-D544-4AA5-A1E0-0370E0473A8A/queue/test".

Установка DaJet MQ при помощи скриптов SQL

Примеры программного использования DaJet MQ.

1. Создание и удаление локальной очереди

// ************************************************************
// * Создание локальной очереди сообщений "ЗаказыПокупателей" *
// ************************************************************

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИмяОчереди = "ЗаказыПокупателей";
ИдентификаторОчереди = DaJet.СформироватьИдентификаторОчередиСообщений(ИмяОчереди);

Если Не DaJet.ОчередьСуществует(ИдентификаторОчереди) Тогда

    ИдентификаторОчереди = DaJet.СоздатьОчередьСообщений(ИмяОчереди);

КонецЕсли;
	
DaJet.ЗакрытьПодключение();

// ************************************************************
// * Удаление локальной очереди сообщений "ЗаказыПокупателей" *
// ************************************************************

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИмяОчереди = "ЗаказыПокупателей";

Обработка.УдалитьОчередьСообщений(ИмяОчереди);
	
DaJet.ЗакрытьПодключение();

2. Отправка сообщения в локальную или внешнюю очередь

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИдентификаторОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/test";
ТелоСообщения = "Тестовое сообщение DaJet MQ";
Кодировка = "UTF-8";

DaJet.ОтправитьСообщение(ИдентификаторОчереди, ТелоСообщения, Кодировка);

DaJet.ЗакрытьПодключение();

3. Получение сообщений из локальной очереди

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИдентификаторОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/test";
Количество = 10; // Количество сообщений, получаемых из очереди за 1 раз
Таймаут = 5000; // Время реактивного ожидания появления сообщений в очереди, если она пуста (в миллисекундах)
Кодировка = "UTF-8";

DaJet.НачатьЧтениеСообщений(); // Открываем транзакцию чтения сообщений

МассивСообщений = DaJet.ПолучитьМассивСообщений(ИдентификаторОчереди, Количество, Таймаут, Кодировка);

Для Каждого Сообщение Из МассивСообщений Цикл
		
	ТелоСообщения = Сообщение.ТелоСообщения;
		
КонецЦикла;

DaJet.ЗафиксироватьЧтениеСообщений(); // Фиксируем транзакцию - сообщения будут удалены из очереди

DaJet.ЗакрытьПодключение();

4. Реактивное ожидание новых сообщений в бесконечном цикле

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИдентификаторОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/test";
Количество = 1; // Количество сообщений, получаемых из очереди за 1 раз
Таймаут = 1800000; // Время реактивного ожидания появления сообщений в очереди, если она пуста (30 минут)
Кодировка = "UTF-8";

КоличествоПолученных = 0;

Пока КоличествоПолученных = 0 Цикл

    DaJet.НачатьЧтениеСообщений(); // Открываем транзакцию чтения сообщений

    МассивСообщений = DaJet.ПолучитьМассивСообщений(ИдентификаторОчереди, Количество, Таймаут, Кодировка);

    КоличествоПолученных = МассивСообщений.Количество();

    Для Каждого Сообщение Из МассивСообщений Цикл
		
	    ТелоСообщения = Сообщение.ТелоСообщения;
		
    КонецЦикла;

    Если КоличествоПолученных = 0 Тогда
        DaJet.ОтменитьЧтениеСообщений(); // Закрытие транзакции обязательно!
    Иначе
        DaJet.ЗафиксироватьЧтениеСообщений(); // Фиксируем транзакцию - сообщения будут удалены из очереди
    КонецЕсли;

    КоличествоПолученных = 0; // Если хотим продолжить реактивное ожидание и обработку входящих сообщений

КонецЦикла;

DaJet.ЗакрытьПодключение();

5. Получение текущего состояния очереди

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИдентификаторОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/test";

// Неблокирующее получение данных - информация о получаемых в данный момент сообщениях тоже будет получена
ДанныеОчереди = DaJet.ПолучитьТекущееСостояниеОчереди(ИдентификаторОчереди);

DaJet.ЗакрытьПодключение();

Сообщить("Размер всех сообщений = " + ДанныеОчереди.РазмерСообщений); // в байтах
Сообщить("Общее количество сообщений = " + ДанныеОчереди.КоличествоСообщений);

Дополнительные примеры использования DaJet MQ в коде 1С находятся в обработке dajet-mq-1c-client.epf, которая входит в комплект поставки.

Эхо-проект на GitHub

DaJet MQ обмен данными интеграция очереди сообщений брокер SQL Server Service Broker

+7 –

См. также

Интеграция системы Datamart завода Москвич и Альфа-Авто, редакции 5 и 6

WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Обмен данными Datamart завода Москвич и автодилера на Альфа-Авто, ред.5 и 6

240000 руб.

01.08.2023 2557 2 0

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Системный администратор Программист Пользователь Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020 17783 19 22

Интеграция 1С с OpenCart 2.x, 3x — модуль обмена данными

WEB-интеграция Оптовая торговля Розничная торговля Программист Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Модуль интеграции 1С с OpenCart 2.x, 3x позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6800 руб.

17.11.2015 120243 379 139

224

Интеграция 1С и Битрикс 24 — модуль синхронизации для обмена задачами

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Интеграция 1С и Битрикс 24. Разработка имеет двухстороннюю синхронизацию 1С и Bitrix24 задачами. Решение позволяет создавать пользователя в 1С из Битрикс24 и наоборот. Данная разработка технически подходит под все основные конфигурации линейки продуктов 1С:Предприятие 8.3 (платформа начиная с 8.3.23). При приобретении предоставляется 1 месяц бесплатных обновлений разработки. Доступна демо-версия продукта с подключением Вашего Битрикс24

5040 руб.

04.05.2021 19851 13 17

Сервисы 1СПАРК Риски и 1С:Контрагент для «старых» конфигураций

WEB-интеграция Бизнес-аналитик Бухгалтер Пользователь Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Бухгалтерия государственного учреждения Россия Платные (руб)

Доступ к сервисам 1СПАРК Риски и 1С:Контрагент в «старых», но широко используемых конфигурациях.

6000 руб.

30.01.2019 25023 47 5

SALE! 15%

Все службы доставки в Вашей 1С! Без изменения конфигурации! 1С:УТ, 1С:ERP, 1С:КА, 1С:УНФ

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Программист Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

40+ служб доставки для 1С в одном модуле! Внешняя обработка, которая НЕ изменяет Вашу конфигурацию! Подписная модель на 1 год.

~~16800~~ 14280 руб.

22.03.2017 38749 18 49

Модуль для обмена "1С:Предприятие 8. УАТ. ПРОФ" с FortMonitor

WEB-интеграция 8.3.8 Конфигурации 1cv8 Автомобили, автосервисы Беларусь Украина Россия Казахстан Управленческий учет Платные (руб)

Расширение предназначено для конфигурации "1С:Предприятие 8. Управление Автотранспортом. ПРОФ". Функционал модуля: 1. Заполнение регистров сведений по подсистеме "Мониторинг", а именно: события по мониторингу, координаты по мониторингу, пробег и расход по мониторингу, текущее местоположение ТС по мониторингу 2. Заполнение путевого листа: пробег по мониторингу, время выезда/заезда, табличная часть ГСМ, места стоянок по геозонам. 3. Отчеты по данным загруженным в регистры сведений. 4. Предусмотрена автоматическая загрузка данных в фоновом режиме (условия работы данной загрузке читайте в описании товара) Модуль работает без включенной константы по настройкам мониторинга. Модуль формы предоставляется с открытым кодом, общий модуль защищен. Любой заинтересованный пользователь, имеет возможность скачать демо-версию расширения.

22656 руб.

25.05.2021 14426 42 8

Конструктор API для обмена базы 1С 8.3 с другими системами по протоколу http в формате JSON

WEB-интеграция Программист Руководитель проекта Платформа 1С v8.3 Конфигурации 1cv8 1С:Франчайзи, автоматизация бизнеса Платные (руб)

Расширение значительно упрощает написание API на 1С. Веб программисты получают простой и понятный доступ к 1С. Описание API создаётся автоматически и представляется в виде удобном как для человека, так и для программной обработки.

24000 руб.

27.09.2024 1175 1 0

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. Steelvan 306 16.06.20 13:31 Сейчас в теме

ога, типа "непонятно" кто это продает

2. ltfriend 16.06.20 21:16 Сейчас в теме

Отлично справляется с сообщениями любого размера. Максимальный размер одного сообщения равен 2 Гб.

Так любой размер или 2 Гб?

3. Ta_Da 17.06.20 00:07 Сейчас в теме

(2) "Любого размера но меньше максимального", логично же.

5. zhichkin 1524 17.06.20 11:51 Сейчас в теме

(2) История этого уточнения про 2 Гб следующая: лично для меня сообщение больше чем 1 Мб это уже достаточно большое сообщение, а 2 Гб - это "любой размер" =)

Например, если заглянуть в API МДЛП, то, на момент написания, там ограничение на размер отправляемого в их адрес документа составляло 2 Мб. Документы большего размера нужно отправлять через WebDAV.

Тем не менее, в последнее время я наблюдаю рост популярности перевода обменов, РИБД например, на http-сервисы. При этом часто можно увидеть реализацию таких обменов, когда в один вызов http-метода пытаются "запихать" сообщение 500+ Мб ... Именно поэтому я, на всякий случай, решил сделать эту оговорку про 2 Гб.

Кстати сказать, Service Broker умеет "докачивать" сообщения большого размера при обрывах связи, при настройке схемы "точка-точка", например. Да и вообще много чего умеет "из коробки", о чём не всегда даже подумаешь.

7. hazyaka 21.06.20 10:47 Сейчас в теме

(5)

Service Broker

а Service Broker какой транспорт использует? как работает если точки в разных городах?

8. zhichkin 1524 21.06.20 15:03 Сейчас в теме

(7) Service broker использует свой собственный бинарный полнодуплексный адаптивный протокол поверх TCP/IP.

9. hazyaka 21.06.20 15:14 Сейчас в теме

(8)а в интернете вне локальной сети - он хорошо работает? не проигрывает http?

10. zhichkin 1524 21.06.20 20:48 Сейчас в теме

(9) Нет, не уступает.
У Вас есть 2 недели на возврат средств.

6. zhichkin 1524 17.06.20 13:04 Сейчас в теме

(2) Кроме этого, хотелось бы ещё добавить, что если взять, например, какого-нибудь интегратора, внедряющего скажем Rabbit MQ, то если вы ему озвучите, что планируете сообщения 1+ Гб, то, скорее всего, он вас просто не поймёт. Вероятно будет настаивать на сообщениях размером в килобайтах. Так что 2 Гб, по моему скромному мнению, это всё ж таки "любой размер".

4. Fruit83 28 17.06.20 11:27 Сейчас в теме

Логично, но не оптимально. :) "Отлично справляется с любыми сообщениями размером до 2 Гб"

11. hazyaka 22.06.20 15:00 Сейчас в теме

Com объект создается для каждого сообщения?

12. zhichkin 1524 22.06.20 15:25 Сейчас в теме

(11) Если Вы про отправку, то в текущей реализации - да. Однако, код 1С открыт, можете сделать так, как Вам удобно.

13. vindis 07.02.21 21:49 Сейчас в теме

Какова минимальная ширина канала, по Вашему, для передачи более-менее крупных файлов - до 10Мб, например?
Будет работать на канале, если там даже RDP не работает (включая аналоги - AnyDesk и иже с ними)

14. zhichkin 1524 07.02.21 23:56 Сейчас в теме

(13) Протокол передачи данных Service Broker - это очень эффективный протокол, который умеет выжимать из канала всё, на что тот способен. Вопрос только в том, какой канал вы можете ему дать.

Минимальную пропускную способность канала вы должны определить сами, исходя из требований обменов по объёму данных, которые надо передать, за единицу или период времени.

Я думаю, что канал, на котором плохо работает RDP, это не канал. Я помню времена, когда модем Zyxel 56 Kb/sec (56 000 бит / 8 = 7 000 байт/сек) вполне справлялся с работой RDP. Чтобы было чуть более понятно, файл размером в районе 20 Мб будет качаться таким модемом примерно за 1 час.
Другими словами обычного мобильного интернета 4G будет вполне достаточно. Хотя, я честно говоря, не очень понимаю что это за информационная система такая...