DaJet Exchange - потоковый обмен данными в режиме реального времени при помощи сообщений

25.11.2023 14:19:35 Дмитрий Жичкин (zhichkin) 1549

Плеер:
YouTube

Экспериментальный проект DaJet Exchange реализует потоковый обмен данными в режиме реального времени при помощи сообщений. Данные (объекты 1С) потребляются из таблиц регистрации изменений планов обмена 1С:Предприятие 8. Затем они обрабатываются при помощи конвейера DaJet Flow. Конвейер DaJet Exchange состоит из пяти основных блоков DaJet Flow. Все операции выполняются при помощи скриптов на языке запросов DaJet, аналогичному языку запросов 1С.

1. Блок OneDbExchange потребляет данные из плана обмена при помощи скриптов CONSUME.
2. Блок OneDbRouter выполняет маршрутизацию сообщений получателям при помощи скриптов ROUTE. Функционально аналогичен правилам регистрации объектов (ПРО) КД-2. Может быть настроен на выполнение в несколько потоков.
3. Блок OneDbTransformer выполняет конвертацию объектов при помощи скриптов CONTRACT. Функционально аналогичен правилам конвертации объектов (ПКО) КД-2. Может быть настроен на выполнение в несколько потоков.
4. Блок OneDbSerializer выполняет сериализацию объектов в JSON. Может быть настроен на выполнение в несколько потоков.
5. Блок Producer гарантирует доставку сообщений в RabbitMQ, Apache Kafka или регистр сведений базы-приёмника.

Сравнительный анализ производительности с типовыми решениями:
https://zhichkin.github.io/dajet-exchange/benchmark.html

Демо-дистрибутив на GitHub:
https://github.com/zhichkin/dajet/releases/tag/dajet-2.3.2

P.S.
Проект был заявлен на Infostart Tech Event 2023, но по результатам голосования не был отобран.

Категории:
Обмен данными

Комментарии
Ссылки

Подписаться на ответы Инфостарт бот

Свернуть все

Для отправки сообщения требуется регистрация/авторизация

Прямая ссылка:

https://infostart.ru/video/w1983863/

Александр Любин. Интеграция 1С в личный кабинет и корпоративную систему СДЭК

Рассказываем, как встроить 1С в личный кабинет и корпоративную систему, используя технологию inframe-запуска и обеспечивая бесшовную работу с другими модулями. Разбираемся в практических аспектах организации единой точки входа, включая сквозную авторизацию через OpenID Connect и дальнейший переход на JWT-токены. Такой подход позволяет вывести 1С на фронт, сохранить целостность пользовательского опыта и распространить механизм входа на веб- и тонких клиентов. Будет полезно тем, кто хочет интегрировать 1С в существующую ИТ-архитектуру без нарушения целостности интерфейса и сценариев работы. Доклад в виде статьи: https://infostart.ru/1c/articles/2671899/

Роман Данилов. Моем руки перед обменом, или самые частые ошибки ручного тестирования интеграций

Ручное тестирование обменов между кастомизированными базами 1С остается одной из самых сложных и болезненных задач для команд разработки. На реальных проектах показываем типичные ошибки: от неправильной подготовки тестового контура и стерильной регистрации объектов до проверки только «золотых» сценариев и пропуска скрытых зависимостей. Разбираемся, к каким последствиям это приводит на продакшене и почему внимательность к деталям здесь критически важна. Объясняем принципы, которые помогают организовать ручное тестирование интеграций так, чтобы не тратить время на псевдоошибки и не ловить проблемы уже после запуска системы. Доклад в виде статьи: https://infostart.ru/1c/articles/2657294/

Сергей Терпугов. ClickHouse + 1С: архитектура, подводные камни, лучшие практики

Стандартные отчеты в 1С на больших объемах данных неизбежно начинают тормозить, а попытки бесконечно ускорять их на MS SQL или PostgreSQL оказываются дорогими и малоэффективными. Показываем, в каких случаях связка 1С и ClickHouse действительно решает проблему аналитической производительности, а где ее использование будет избыточным. Разбираем архитектуру интеграции, сравниваем подходы к обмену данными и объясняем, почему главная ошибка – работать с колоночной СУБД так же, как со строковой. А также учимся правильно готовить данные, проектировать таблицы и избегать типичных ловушек, чтобы получить по-настоящему быстрые аналитические решения. Доклад в виде статьи: https://infostart.ru/1c/articles/2626644/

Игорь Юндин. Что важно знать для реализации REST API в 1С

С каждым годом запросов на интеграции в 1С становится все больше – даже в небольших компаниях. Для налаживания обмена данными с CRM, банками, маркетплейсами и другими системами оптимальным решением является использование REST API. Показываем, что важно учитывать при реализации REST API в 1С, и почему понимание REST как архитектуры критично для эффективной интеграции. Разбираем ключевые моменты работы с HTTP, методы, заголовки и коды, а также объясняем, почему JSON – предпочтительный формат для обмена данными. Покажем типичные ошибки при реализации и дадим рекомендации, как их избежать, чтобы интеграции были быстрыми и масштабируемыми. Доклад в виде статьи: https://infostart.ru/public/2619678/

Иван Кучин, Ренат Низамиев. 5 интересных идей интеграционной архитектуры на крупных проектах

Практически любое крупное внедрение на платформе «1С:Предприятие 8» сегодня связано с интеграцией множества систем с разными протоколами и форматами. Собрали пять практичных идей и инструментов – от Kafka и OpenAPI до нестандартного использования служб агента 1С. Делимся опытом, лайфхаками и подходами, которые помогают строить надежную и гибкую интеграционную архитектуру на крупных проектах. Доклад в виде статьи: https://infostart.ru/1c/articles/2592820/

Алексей Яковлев. Postman-джедай: скрипты, переменные и другие фишки

Подробно разбираем расширенный функционал Postman, который помогает работать с API быстрее и эффективнее. Показываем, как использовать переменные разных типов и уровней, объединять запросы в коллекции, подключать общие скрипты и автоматизировать рутинные операции. Объясняем, как писать и выполнять тесты на JavaScript, запускать проверки по расписанию и экспортировать запросы в различные языки программирования. Материал будет полезен аналитикам, QA и разработчикам, которым важно ускорить проверку API и повысить качество своих сервисов. Доклад в виде статьи: https://infostart.ru/1c/articles/2547324/

Михаил Харитонов. Аналитик VS Интеграции

Интеграции – одно из самых сложных направлений в работе аналитика. Объясняем, почему интеграции часто вызывают тревогу, и как аналитик может подойти к ним системно, не теряя уверенности. Расскажем, какие инструменты помогают проектировать и документировать интеграции, как использовать НСИ, метаданные и конфигуратор 1С, а также когда стоит «прикручивать» шину. Отдельный блок посвящен применению искусственного интеллекта в анализе и автоматизации интеграционных процессов. Доклад в виде статьи: https://infostart.ru/pm/2535071/

Владимир Харин. 1С и AI: от хайпа к практике. Создаем MCP-сервер для интеграции ваших баз с LLM

Если вам кажется, что искусственный интеллект – это просто модный хайп, то самое время пересмотреть свои взгляды. Показываем, как с помощью протокола MCP (Model Context Protocol) превратить языковую модель в полноценного помощника, способного работать с вашей базой 1С: запрашивать данные, анализировать метаданные и создавать новые объекты по команде. На живых примерах объясняем, как подключить MCP-сервер к IDE Cursor, безопасно использовать локальные модели и уже сегодня начать интегрировать 1С и приложения с ИИ. Вы получите готовый open-source проект, с которым сразу сможете начать свои эксперименты. Доклад в виде статьи: https://infostart.ru/1c/articles/2514331/

Вадим Фоминых. Мастер-класс: Используем интеграции с 1С через Apache Kafka

Будем использовать внешнюю open source компоненту Simple Kafka. В рамках мастер-класса разберем: - Получение сообщений в 1С от не 1С источников - Обмен сообщениями между 1С базами - Рассмотрим работу клиентов интеграции c SSL, SASL - Попробуем формат сообщений AVRO, посмотрим на преимущества данного формата - Коснемся отладочной информации и как ее использовать при разборе проблемных кейсов интеграции. Доклад с теоретической информацией к мастер-классу: https://infostart.ru/1c/articles/2491990/

Вадим Фоминых. Kafka – еще доступнее через open source компоненту

Apache Kafka в последнее время становится одним из ключевых инструментов для построения современных интеграционных решений. О том, как с помощью бесплатной и открытой внешней компоненты Simple Kafka интегрировать 1С в мир событийной архитектуры, на конференции INFOSTART TECH EVENT 2023 рассказал Вадим Фоминых. Доклад в виде статьи: https://infostart.ru/1c/articles/2491990/

DaJet Exchange - потоковый обмен данными в режиме реального времени при помощи сообщений

Журнал

База знаний

Лаборатория

Анализ & Управление

Сопровождение 1С

Корпоративные решения

Обучение

Маркетплейс

Проектный офис

Мероприятия

Видеозаписи

Биржа заказов

Форум

Мерч

О компании