DaJet Exchange - потоковый обмен данными в режиме реального времени при помощи сообщений

25.11.2023 14:19:35   Дмитрий Жичкин (zhichkin)    1189

Экспериментальный проект DaJet Exchange реализует потоковый обмен данными в режиме реального времени при помощи сообщений. Данные (объекты 1С) потребляются из таблиц регистрации изменений планов обмена 1С:Предприятие 8. Затем они обрабатываются при помощи конвейера DaJet Flow. Конвейер DaJet Exchange состоит из пяти основных блоков DaJet Flow. Все операции выполняются при помощи скриптов на языке запросов DaJet, аналогичному языку запросов 1С.

1. Блок OneDbExchange потребляет данные из плана обмена при помощи скриптов CONSUME.
2. Блок OneDbRouter выполняет маршрутизацию сообщений получателям при помощи скриптов ROUTE. Функционально аналогичен правилам регистрации объектов (ПРО) КД-2. Может быть настроен на выполнение в несколько потоков.
3. Блок OneDbTransformer выполняет конвертацию объектов при помощи скриптов CONTRACT. Функционально аналогичен правилам конвертации объектов (ПКО) КД-2. Может быть настроен на выполнение в несколько потоков.
4. Блок OneDbSerializer выполняет сериализацию объектов в JSON. Может быть настроен на выполнение в несколько потоков.
5. Блок Producer гарантирует доставку сообщений в RabbitMQ, Apache Kafka или регистр сведений базы-приёмника.

Сравнительный анализ производительности с типовыми решениями:
https://zhichkin.github.io/dajet-exchange/benchmark.html

Демо-дистрибутив на GitHub:
https://github.com/zhichkin/dajet/releases/tag/dajet-2.3.2

P.S.
Проект был заявлен на Infostart Tech Event 2023, но по результатам голосования не был отобран.

Категории:
 Обмен данными

Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Для отправки сообщения требуется регистрация/авторизация
Вадим Фоминых. Мастер-класс: Используем интеграции с 1С через Apache Kafka
Вадим Фоминых. Kafka – еще доступнее через open source компоненту
Денис Бельмач. Как мы изобрели единый веб-клиент для множества бэкендов 1С
Юрий Бурыкин. Быстрая организация HTTP-сервиса, который позволил быстро расширять API
Александр Свойкин. Упрощаем архитектуру обменов с помощью CDC для PostgreSQL и Kafka
Данила Рачилин. REST API: Вопросы, которые стоит задать
Максим Сильванский. Как загружать 1 млн объектов в день и не сойти с ума
Артем Кузнецов. Быстрый фронт в базе размером 9,8 терабайт – наши требования к интеграциям
Владислав Маковеев. Встроенный мессенджер в 1С с применением ИИ
Алексей Сазонов. Внедрение брокера сообщений на базе Apache ActiveMQ