DaJet Stream: потоковый обмен данными

12.03.24

Интеграция - Обмен между базами 1C

Проект DaJet Stream предлагает обсудить возможную альтернативу и развитие типовой практики использования конвертации данных. В основу проекта легли современные концепции потоковой обработки и обмена данными, реализованные в таких продуктах как, например: Apache Kafka Streaming, Azure U-SQL, Apache Spark Structured Streaming и тому подобных.

Идея проекта DaJet Stream заключается в том, чтобы описать поток данных между узлами обмена при помощи скрипта на SQL-подобном языке запросов в терминах платформы 1С:Предприятие 8. Синтаксически и архитектурно DaJet Stream больше всего похож на Azure U-SQL.

Специализированный процессор скрипта организует его выполнение в виде высокопроизводительного конвейера обработки и передачи сообщений между узлами. Узлами обмена могут быть базы данных 1С, брокеры сообщений RabbitMQ или Apache Kafka, web api и так далее.

 
Дополнение от 14.03.2024

Добавлены адаптеры DaJet Stream для HTTP/S-сервисов, RabbitMQ и Apache Kafka.

DaJet Stream: HTTP сервисы

DaJet Stream: RabbitMQ

DaJet Stream: Apache Kafka

 
Пример вызова HTTP-сервиса
 
Пример отправки сообщения в RabbitMQ
 
Пример получения сообщения из Apache Kafka

 

Скрипт DaJet Stream обрабатывается и выполняется последовательно "сверху-вниз" и состоит из нескольких основных программных блоков:

 
0. Контекст выполнения блоков конвейера
 
1. Инициализация потока данных (сообщений)
 
2. Настройка пакетного многопоточного выполнения
 
3. Маршрутизация потока (правила регистрации объектов)
 
4. Трансформация данных (правила конвертации объектов)
 
5. Запись сообщения во входящую очередь приёмника данных

 

Сравнительный тест производительности

Изначально тестирование проводилось в рамках подготовки к докладу по технологии DaJet Exchange для ежегодной конференции Infostart Tech Event 2023. К сожалению, этот доклад не прошёл отбор. Однако, мне стало интересно сравнить как DaJet Stream покажет себя в тех же самых тестах. Речь идёт о выгрузке объектов из таблицы регистрации изменений плана обмена.

Подробное описание теста

DaJet Stream показал очень похожие на DaJet Exchange результаты, и даже оказался немного быстрее. В приницпе это можно объяснить тем, что "под капотом" у двух этих проектов примерно одни и те же технологии, а именно подсистема DaJet Flow для построения конвейеров потоковой обработки и обмена данными.

Результаты тестирования DaJet Stream

 
1. Тест в 1 поток
 
2. Тест в 4 потока

 

Примеры возможных скриптов DaJet Stream

 
1. Самый простой пример (исходящая очередь - входящая очередь)
 
 2. Сложный пример выгрузки из плана обмена в регистр сведений

 

С целью более предметного обсуждения состоятельности концепции DaJet Stream разработан минимально функциональный прототип утилиты для выполнения скриптов. Подробное описание прототипа и его функциональных возможностей рассмотрено в видео-презентации, где представлено ещё большее количество примеров и различных типовых сценариев использования.

Установка утилиты исполнения скриптов DaJet Stream:

1. Установить платформу Microsoft .NET 7.0

2. Скачать дистрибутив платформы DaJet 3.3.3

3. Распаковать архив дистрибутива в любой каталог.

4. Настроить демонстрационный скрипт под свой контекст.

5. Перейти в каталог установки платформы DaJet

6. Выполнить скрипт при помощи утилиты dajet

Значением параметра --file утилиты dajet (смотри ниже) является путь к соответствующему файлу исполняемого скрипта DaJet Stream.

Поставка платформы DaJet включает в себя набор демонстрационных скриптов. Они располагаются в корневом каталоге установки в папке "stream".

Выполнение скрипта DaJet Stream в среде Windows
(из корневого каталога установки)

dajet stream --file ./stream/script.sql
Выполнение скрипта DaJet Stream в среде Linux
(из корневого каталога установки)

dotnet ./dajet.dll stream --file ./stream/script.sql

 

Планы развития DaJet Stream

 
Управление скриптами трансформации/маршрутизации

 

Дополнительные материалы:

1. Видео-презентация DaJet Stream

2. Видео-презентация платформы DaJet

См. также

SALE! 10%

Перенос данных из УПП 1.3 в ERP 2 / УТ 11 / КА 2. Переносятся документы, справочная информация и остатки

Обмен между базами 1C Платформа 1С v8.3 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос документов, начальных остатков и справочной информации из УПП 1.3 в ERP 2 | из УПП 1.3 в УТ 11 | из УПП в КА 2 | Правила конвертации (КД 2) в продаже с 2015 года, постоянно работаем над их развитием | Более 360 предприятий выполнили переход с использованием этого продукта! | Сэкономьте время - используйте готовое решение для перехода! | Позволяет перенести из УПП 1.3 в ERP / УТ 11 / КА 2 всю возможную информацию | В переносе есть фильтр по организации и множество других опциональных параметров выгрузки | Есть несколько алгоритмов выгрузки остатков на выбор

50722 45650 руб.

04.08.2015    160120    367    267    

348

[ED3] Обмен для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ и других с EnterpriseData (универсальный формат обмена), правила обмена

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

25080 руб.

12.06.2017    135396    725    291    

388

SALE! 10%

Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0. Переносятся документы, начальные остатки и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | В продаже с 2019г. | Воспользовались более 176 предприятий! | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой, обращайтесь!

38500 34650 руб.

15.04.2019    68720    179    139    

111

Перенос данных из УТ 10.3 в УТ 11.5. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.87.x) и УТ 11.5 (11.5.16.x).

28000 руб.

23.07.2020    46634    199    64    

162

Перенос данных из УПП 1.3 в БП 3.0. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.223.x) и БП 3.0 (3.0.149.x). Правила подходят для версии ПРОФ и КОРП.

28000 руб.

15.12.2021    20487    134    38    

92

SALE! 10%

Перенос данных из ERP 2 / КА 2 в ЗУП 3. Переносятся остатки, документы и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Воспользовались более 79 предприятий! | Предлагаем приобрести готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | В продаже с 2020г. | Оперативно обновляем правила до актуальных релизов 1С | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

48278 43450 руб.

03.12.2020    34345    81    58    

78

SALE! 10%

Перенос данных из БП 3.0 в УТ 11 / КА 2 / ERP 2. Переносятся начальные остатки, документы и справочники

Обмен между базами 1C Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

В продаже с 2014г. | Воспользовались более 122 предприятий! | Перенос данных из БП 3.0 в УТ 11 | из БП 3.0 в КА 2 | из БП 3.0 в ERP | Сэкономьте свое время - используйте готовое решение для перехода! | Постоянно работаем над развитием переноса данных | Обновляем на новые релизы 1С | Есть фильтр выгрузки по организациям | Переносятся начальные остатки на выбранную дату, документы за период времени и вся возможная справочная информация | Перенос сделан на технологии КД 2 (правила конвертации данных)

50722 45650 руб.

31.10.2014    231730    124    327    

296

SALE! 10%

Перенос данных из БП 3.0 в УНФ 3.0 / УНФ 1.6. Переносятся остатки, документы и справочная информация

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

В продаже с 2018г. | Воспользовались более 41 предприятия! | Правила конвертации (КД 2) для переноса данных из БП 3 в УНФ | Переносятся все виды документов, начальные остатки и вся возможная справочная информация | Есть фильтр по организациям | Оперативно обновляем на новые релизы | Оказываем техподдержку | В комплект файлов входит инструкция, авторская версия обработки "Универсальный обмен...", актуальные правила переноса данных и архив старых версий переноса | Учет в БП 3 должен быть корректным, некорректные данные не переносятся | Можно бесплатно проверить на вашем сервере до покупки!

50722 45650 руб.

10.07.2018    67653    41    122    

46
Оставьте свое сообщение