DaJet MQ - надёжный обмен данными

25.10.23

–

DaJet MQ – это асинхронный обмен сообщениями, основанный на компоненте Service Broker ядра Microsoft SQL Server. Простой, эффективный, надёжный. Отлично справляется с сообщениями любого размера. Максимальный размер одного сообщения равен 2 Гб.

Скачать исходный код

	Наименование	Файл	Версия	Размер
	Microsoft SQL Server Service Broker для 1С .epf 66,13Kb 0	.epf		66,13Kb		Скачать

DaJet MQ представляет из себя верхнеуровневый API, основанный на функциональности SQL Server Service Broker и значительно облегчающий её программное использование, в том числе из 1С.

Подробнее про Service Broker (видео)

Очереди Service Broker "живут" в базах данных. Могут быть созданы в любой из них, в том числе на удалённых серверах SQL Server. Таким образом возможно создание схем обмена данными по типу "звезда", "точка-точка" и их комбинаций.

Service Broker гарантирует доставку сообщений exactly-once-in-order (ровно один раз строго по порядку). Это означает, что, в рамках одной очереди, одно и тоже сообщение будет доставлено получателю только один раз, а также то, что все сообщения будут доставлены строго в порядке их помещения в очередь.

В случае реализации удалённого взаимодействия между очередями по схеме "точка-точка", Service Broker берёт на себя все нюансы доставки сообщений из локальной очереди в удалённую. Это включает в себя обработку обрывов связи, доставку сообщений по частям, динамическое изменение маршрутов и прочее.

Системные требования.

1. Microsoft SQL Server (в том числе Express Edition)

2. OLE DB Provider для SQL Server (рекомендованный провайдер)

Функциональные возможности.

1. Простое программное создание и удаление очередей.

2. Отправка и получение одного или нескольких сообщений в транзакции.

3. Реактивное ожидание новых сообщений практически без нагрузки на сервер.

4. Надёжное удалённое взаимодействие "точка-точка" между серверами.

Преимущества.

1. Надёжность и гарантии SQL Server.

2. Очень простая и быстрая установка.

3. Программирование на 1С "из коробки".

4. Открытый программный код T-SQL и 1С.

5. Если у вас есть SQL Server, значит у вас уже есть DaJet !

Схема "звезда" (локальные очереди)

Схема "точка-точка" (внешние очереди)

Очереди расположены на разных экземплярах SQL Server.

Клиент-источник отправляет сообщение у себя на сервере 192.168.0.1 в так называемую внешнюю очередь. Адрес внешней очереди настраивается в таблице маршрутов экзепляра SQL Server клиента-источника. Service Broker берёт на себя доставку сообщения в локальную очередь клиента-получателя на удалённом сервере 192.168.0.2. В случае успешного помещения сообщения в локальную очередь клиента-получателя Service Broker подтверждает доставку. Для этого также необходима настройка таблицы маршрутов на экземпляре SQL Server клиента-получателя.

Для взаимодействия друг с другом SQL Server'а должны открыть специальный порт Service Broker.

Использование DaJet MQ значительно упрощает настройку таблиц маршрутов на обоих серверах SQL Server.

Код 1С для открытия порта Service Broker на одном из серверов:

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";
БазаДанных   = "master"; // Подключение к базе данных "master" SQL Server

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер, БазаДанных);

НомерПортаServiceBroker = 4022; // Номер порта по умолчанию
	
DaJet.ВключитьУдалённоеВзаимодействие(НомерПортаServiceBroker);
	
DaJet.ЗакрытьПодключение();

Код 1С для настройки маршрута для внешней очереди (предварительно нужно открыть порты Service Broker - см. код выше):

DaJet = Обработки.DaJetMQClient.Создать();
	
ПараметрыОтправителя = Новый Структура();
ПараметрыОтправителя.Вставить("Провайдер", "MSOLEDBSQL");
ПараметрыОтправителя.Вставить("АдресХоста", "192.168.0.1");
ПараметрыОтправителя.Вставить("АдресСервера", "sql-server-sender");
ПараметрыОтправителя.Вставить("БазаДанных", Неопределено);
ПараметрыОтправителя.Вставить("ИмяПользователя", "sa");
ПараметрыОтправителя.Вставить("ПарольПользователя", "sa");
	
ПараметрыПолучателя = Новый Структура();
ПараметрыПолучателя.Вставить("Провайдер", "MSOLEDBSQL");
ПараметрыПолучателя.Вставить("АдресХоста", "192.168.0.2");
ПараметрыПолучателя.Вставить("АдресСервера", "sql-server-receiver");
ПараметрыПолучателя.Вставить("БазаДанных", Неопределено);
ПараметрыПолучателя.Вставить("ИмяПользователя", "sa");
ПараметрыПолучателя.Вставить("ПарольПользователя", "sa");

 // Очередь получателя - внешняя по отношению к серверу 192.168.0.1 (sql-server-sender)
ИдентификаторВнешнейОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/ЗаказыПокупателей";

DaJet.СоздатьМаршрут(ПараметрыОтправителя, ПараметрыПолучателя, ПолучательИдентификаторОчереди);

Для облегчения настройки можно использовать обработку dajet-mq-1c-client.epf, которая входит в комплект поставки.

Установка DaJet MQ из обработки 1С и создание первой локальной очереди

Настройка внешней очереди для схемы "точка-точка"

Внимание! Все нижеописанные операции можно выполнить программно!

1. Установить DaJet MQ на обоих серверах SQL Server.

2. Открыть порт Service Broker на обоих серверах SQL Server, если они ещё не открыты.

При этом важно указать в настройках сервера SQL Server параметр "Адрес хоста" (см. инструкцию по установке DaJet MQ).

Если сервера SQL Server находятся на одном и том же физическом сервере, то порты Service Broker у них должны быть разные!

Нужно повторить следующие операции для каждого из серверов:

2.1. Выделить узел сервера и выбрать опцию меню "Открыть внешний порт".

2.2. В случае успешного от крытия порта видим следующее сообщение:

2. Создать локальную очередь на сервере-получателе. По отношению ко второму серверу это будет внешняя очередь. См. инструкцию по установке DaJet MQ выше.

3. Выделить узел "Внешние очереди (маршруты)" сервера-отправителя и выбрать опцию меню "Добавить внешнюю очередь".

4. В открывшемся окне настройки маршрута заполнить необходимые параметры и нажать кнопку "Создать маршрут".

5. В случае успешного создания маршрута видим следующее сообщение:

Список серверов и очередей изменится следующим образом:

6. Можно отправлять сообщения с сервера-отправителя в очередь сервера-получателя.

В данном конкретном случае подключаемся к серверу "zhichkin" и отправляем сообщение во внешнюю очередь "58094149-D544-4AA5-A1E0-0370E0473A8A/queue/test".

Получаем сообщения на сервере "zhichkin\sqlexpress" в его локальной очереди "58094149-D544-4AA5-A1E0-0370E0473A8A/queue/test".

Установка DaJet MQ при помощи скриптов SQL

Примеры программного использования DaJet MQ.

1. Создание и удаление локальной очереди

// ************************************************************
// * Создание локальной очереди сообщений "ЗаказыПокупателей" *
// ************************************************************

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИмяОчереди = "ЗаказыПокупателей";
ИдентификаторОчереди = DaJet.СформироватьИдентификаторОчередиСообщений(ИмяОчереди);

Если Не DaJet.ОчередьСуществует(ИдентификаторОчереди) Тогда

    ИдентификаторОчереди = DaJet.СоздатьОчередьСообщений(ИмяОчереди);

КонецЕсли;
	
DaJet.ЗакрытьПодключение();

// ************************************************************
// * Удаление локальной очереди сообщений "ЗаказыПокупателей" *
// ************************************************************

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИмяОчереди = "ЗаказыПокупателей";

Обработка.УдалитьОчередьСообщений(ИмяОчереди);
	
DaJet.ЗакрытьПодключение();

2. Отправка сообщения в локальную или внешнюю очередь

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИдентификаторОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/test";
ТелоСообщения = "Тестовое сообщение DaJet MQ";
Кодировка = "UTF-8";

DaJet.ОтправитьСообщение(ИдентификаторОчереди, ТелоСообщения, Кодировка);

DaJet.ЗакрытьПодключение();

3. Получение сообщений из локальной очереди

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИдентификаторОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/test";
Количество = 10; // Количество сообщений, получаемых из очереди за 1 раз
Таймаут = 5000; // Время реактивного ожидания появления сообщений в очереди, если она пуста (в миллисекундах)
Кодировка = "UTF-8";

DaJet.НачатьЧтениеСообщений(); // Открываем транзакцию чтения сообщений

МассивСообщений = DaJet.ПолучитьМассивСообщений(ИдентификаторОчереди, Количество, Таймаут, Кодировка);

Для Каждого Сообщение Из МассивСообщений Цикл
		
	ТелоСообщения = Сообщение.ТелоСообщения;
		
КонецЦикла;

DaJet.ЗафиксироватьЧтениеСообщений(); // Фиксируем транзакцию - сообщения будут удалены из очереди

DaJet.ЗакрытьПодключение();

4. Реактивное ожидание новых сообщений в бесконечном цикле

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИдентификаторОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/test";
Количество = 1; // Количество сообщений, получаемых из очереди за 1 раз
Таймаут = 1800000; // Время реактивного ожидания появления сообщений в очереди, если она пуста (30 минут)
Кодировка = "UTF-8";

КоличествоПолученных = 0;

Пока КоличествоПолученных = 0 Цикл

    DaJet.НачатьЧтениеСообщений(); // Открываем транзакцию чтения сообщений

    МассивСообщений = DaJet.ПолучитьМассивСообщений(ИдентификаторОчереди, Количество, Таймаут, Кодировка);

    КоличествоПолученных = МассивСообщений.Количество();

    Для Каждого Сообщение Из МассивСообщений Цикл
		
	    ТелоСообщения = Сообщение.ТелоСообщения;
		
    КонецЦикла;

    Если КоличествоПолученных = 0 Тогда
        DaJet.ОтменитьЧтениеСообщений(); // Закрытие транзакции обязательно!
    Иначе
        DaJet.ЗафиксироватьЧтениеСообщений(); // Фиксируем транзакцию - сообщения будут удалены из очереди
    КонецЕсли;

    КоличествоПолученных = 0; // Если хотим продолжить реактивное ожидание и обработку входящих сообщений

КонецЦикла;

DaJet.ЗакрытьПодключение();

5. Получение текущего состояния очереди

DaJet = Обработки.DaJetMQClient.Создать();

АдресСервера = "zhichkin\sqlexpress";
Пользователь = "sa";
Пароль       = "sa";
Провайдер    = "MSOLEDBSQL";

СтрокаПодключения = DaJet.ОткрытьПодключение(АдресСервера, Пользователь, Пароль, Провайдер);

ИдентификаторОчереди = "514B05BB-CD37-4D17-828C-AFFB5161380B/queue/test";

// Неблокирующее получение данных - информация о получаемых в данный момент сообщениях тоже будет получена
ДанныеОчереди = DaJet.ПолучитьТекущееСостояниеОчереди(ИдентификаторОчереди);

DaJet.ЗакрытьПодключение();

Сообщить("Размер всех сообщений = " + ДанныеОчереди.РазмерСообщений); // в байтах
Сообщить("Общее количество сообщений = " + ДанныеОчереди.КоличествоСообщений);

Дополнительные примеры использования DaJet MQ в коде 1С находятся в обработке dajet-mq-1c-client.epf, которая входит в комплект поставки.

Эхо-проект на GitHub

DaJet MQ обмен данными интеграция очереди сообщений брокер SQL Server Service Broker

–

См. также

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020 16163 13 18

Интеграция 1С с API СДЭК, Деловые Линии, ПЭК, Boxberry, Почта России и др. Управление доставками в 1С 8.3

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Оптовая торговля, дистрибуция, логистика Россия Управленческий учет Платные (руб)

Программный продукт "Управление доставками в 1С" позволяет обмениваться с личным кабинетом СДЭК, Деловые Линии, ПЭК, DPD, Почта России и другими транспортных компаниями. Упрощает создание заявок и резервирование заказов прямо в интерфейсе 1С

18000 руб.

10.03.2016 57163 294 97

Интеграция 1С — Битрикс24. Обмен задачами

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Интеграция 1С и Битрикс24. Разработка имеет двухстороннюю синхронизацию 1С и Битрикс24 задачами. Решение позволяет создавать пользователя в 1С из Битрикс24 и наоборот. Данная разработка технически подходит под все основные конфигурации линейки продуктов 1С:Предприятие 8.3 (платформа начиная с 8.3.23). При приобретении предоставляется 1 месяц бесплатных обновлений разработки. Доступна демо-версия продукта с подключением Вашего Битрикс24

5040 руб.

04.05.2021 18267 10 15

Все службы доставки в Вашей 1С! Без изменения конфигурации! УТ, ERP, КА, УНФ

WEB-интеграция Рабочее место Оптовая торговля Розничная торговля Логистика, склад и ТМЦ Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

40+ служб доставки для 1С в одном модуле! Внешняя обработка, которая НЕ изменяет Вашу конфигурацию! Подписная модель на 1 год.

19200 руб.

22.03.2017 36833 16 47

Интеграция с OpenCart 2.x, 3x

WEB-интеграция Оптовая торговля Розничная торговля Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Внешняя обработка, позволяет обмениваться данными между OpenCart (самая популярная бесплатная cms для интернет-магазинов) и 1С:Предприятие 8.

6800 руб.

17.11.2015 116533 348 137

217

Модуль для обмена "1С:Предприятие 8. УАТ. ПРОФ" с FortMonitor

WEB-интеграция 8.3.8 Конфигурации 1cv8 Автомобили, автосервисы Беларусь Украина Россия Казахстан Управленческий учет Платные (руб)

Расширение предназначено для конфигурации "1С:Предприятие 8. Управление Автотранспортом. ПРОФ". Функционал модуля: 1. Заполнение регистров сведений по подсистеме "Мониторинг", а именно: события по мониторингу, координаты по мониторингу, пробег и расход по мониторингу, текущее местоположение ТС по мониторингу 2. Заполнение путевого листа: пробег по мониторингу, время выезда/заезда, табличная часть ГСМ, места стоянок по геозонам. 3. Отчеты по данным загруженным в регистры сведений. 4. Предусмотрена автоматическая загрузка данных в фоновом режиме (условия работы данной загрузке читайте в описании товара) Модуль работает без включенной константы по настройкам мониторинга. Модуль формы предоставляется с открытым кодом, общий модуль защищен. Любой заинтересованный пользователь, имеет возможность скачать демо-версию расширения.

22656 руб.

25.05.2021 13030 34 8

Автоматическая загрузка файлов (например, прайс-листов) из электронной почты, FTP, HTTP, их обработка и выгрузка на FTP (на сайт) и для других целей

Прайсы WEB-интеграция Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Автомобили, автосервисы Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Программа с заданным интервалом времени (или по ручной команде) скачивает файлы (например, прайс-листы поставщиков) из различных источников: письма электронной почты, FTP или HTTP-адреса, и сохраняет их в каталог упорядоченной структуры. При этом извлекает файлы из архивов, может переименовывать файлы и менять их формат (csv, xls, txt). Можно настроить выгрузку обработанных файлов на сайт (через FTP-подключение). Программа будет полезна компаниям, у которых есть большое количество поставщиков и/или прайс-листы поставщиков обновляются часто (необязательно прайс-листы, файлы могут быть любого назначения). Собранные таким образом актуальные версии прайс-листов можно выгрузить с помощью программы себе на сайт (или на любой FTP-сервер) или выполнить другие необходимые задачи.

25200 руб.

28.05.2015 85542 26 51

Интеграция с сервисом vetmanager

WEB-интеграция Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Внешняя обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.0

12000 руб.

02.02.2021 16673 43 49

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. Steelvan 302 16.06.20 13:31 Сейчас в теме

ога, типа "непонятно" кто это продает

2. ltfriend 964 16.06.20 21:16 Сейчас в теме

Отлично справляется с сообщениями любого размера. Максимальный размер одного сообщения равен 2 Гб.

Так любой размер или 2 Гб?

3. Ta_Da 17.06.20 00:07 Сейчас в теме

(2) "Любого размера но меньше максимального", логично же.

5. zhichkin 1458 17.06.20 11:51 Сейчас в теме

(2) История этого уточнения про 2 Гб следующая: лично для меня сообщение больше чем 1 Мб это уже достаточно большое сообщение, а 2 Гб - это "любой размер" =)

Например, если заглянуть в API МДЛП, то, на момент написания, там ограничение на размер отправляемого в их адрес документа составляло 2 Мб. Документы большего размера нужно отправлять через WebDAV.

Тем не менее, в последнее время я наблюдаю рост популярности перевода обменов, РИБД например, на http-сервисы. При этом часто можно увидеть реализацию таких обменов, когда в один вызов http-метода пытаются "запихать" сообщение 500+ Мб ... Именно поэтому я, на всякий случай, решил сделать эту оговорку про 2 Гб.

Кстати сказать, Service Broker умеет "докачивать" сообщения большого размера при обрывах связи, при настройке схемы "точка-точка", например. Да и вообще много чего умеет "из коробки", о чём не всегда даже подумаешь.

7. hazyaka 21.06.20 10:47 Сейчас в теме

(5)

Service Broker

а Service Broker какой транспорт использует? как работает если точки в разных городах?

8. zhichkin 1458 21.06.20 15:03 Сейчас в теме

(7) Service broker использует свой собственный бинарный полнодуплексный адаптивный протокол поверх TCP/IP.

9. hazyaka 21.06.20 15:14 Сейчас в теме

(8)а в интернете вне локальной сети - он хорошо работает? не проигрывает http?

10. zhichkin 1458 21.06.20 20:48 Сейчас в теме

(9) Нет, не уступает.
У Вас есть 2 недели на возврат средств.

6. zhichkin 1458 17.06.20 13:04 Сейчас в теме

(2) Кроме этого, хотелось бы ещё добавить, что если взять, например, какого-нибудь интегратора, внедряющего скажем Rabbit MQ, то если вы ему озвучите, что планируете сообщения 1+ Гб, то, скорее всего, он вас просто не поймёт. Вероятно будет настаивать на сообщениях размером в килобайтах. Так что 2 Гб, по моему скромному мнению, это всё ж таки "любой размер".

4. Fruit83 28 17.06.20 11:27 Сейчас в теме

Логично, но не оптимально. :) "Отлично справляется с любыми сообщениями размером до 2 Гб"

11. hazyaka 22.06.20 15:00 Сейчас в теме

Com объект создается для каждого сообщения?

12. zhichkin 1458 22.06.20 15:25 Сейчас в теме

(11) Если Вы про отправку, то в текущей реализации - да. Однако, код 1С открыт, можете сделать так, как Вам удобно.

13. vindis 07.02.21 21:49 Сейчас в теме

Какова минимальная ширина канала, по Вашему, для передачи более-менее крупных файлов - до 10Мб, например?
Будет работать на канале, если там даже RDP не работает (включая аналоги - AnyDesk и иже с ними)

14. zhichkin 1458 07.02.21 23:56 Сейчас в теме

(13) Протокол передачи данных Service Broker - это очень эффективный протокол, который умеет выжимать из канала всё, на что тот способен. Вопрос только в том, какой канал вы можете ему дать.

Минимальную пропускную способность канала вы должны определить сами, исходя из требований обменов по объёму данных, которые надо передать, за единицу или период времени.

Я думаю, что канал, на котором плохо работает RDP, это не канал. Я помню времена, когда модем Zyxel 56 Kb/sec (56 000 бит / 8 = 7 000 байт/сек) вполне справлялся с работой RDP. Чтобы было чуть более понятно, файл размером в районе 20 Мб будет качаться таким модемом примерно за 1 час.
Другими словами обычного мобильного интернета 4G будет вполне достаточно. Хотя, я честно говоря, не очень понимаю что это за информационная система такая...