Для чего нужна сервисная шина предприятия (ESB)?
ИТ-инфраструктура современного предприятия это, в подавляющем большинстве случаев, «зоопарк» различных учетных систем. При этом системы, как правило, не изолированы друг от друга, а активно обмениваются данными между собой. Это приводит к высоким затратам на поддержку, обслуживание и администрирование такой сложной распределенной системы. Решения класса ESB (Enterprise Services Bus) позволяют уменьшить затраты на управление ИТ-инфраструктурой предприятия, снизить влияние "человеческого фактора", увеличить производительность систем и улучшить качество их обслуживания - предоставляя единую точку администрирования и мониторинга интеграционных процессов.
ESB позволяет настроить различные сценарии интеграций как “из коробки”, так и индивидуальные - под бизнес-задачу. Продукт позволяет эффективно решать вопросы обслуживания и администрирования инфо-систем и вопросы параллельной обработки данных в N-системах (универсальный многопоточный режим обработки объектов с гибкой обработкой ошибок).
Концепция
Продукт представляет собой конфигурацию 1С8.3, выполняющую роль менеджера автоматизации для любых систем, т.е. позволяет описывать и автоматизировано выполнять задания (скрипты, алгоритмы) в любых базах 1С и не только. В конфигурацию встроено большое количество готовых видов заданий и присутствует возможность удобной разработки и отладки собственных. Основным видом заданий является обмен данными. Поддерживается большое количество готовых интеграционных сценариев "из коробки". Имеются гибкие механизмы обеспечения отказоустойчивости и мониторинга процессов с автоматическим контролем проблемных ситуаций и рассылкой уведомлений.
При использовании продукта с базами 1С отпадает необходимость внесения и поддержки изменений в конфигурации управляемых баз, т.к. вся логика взаимодействия инфо-систем централизованно настраивается и поддерживается в единой базе «2iS:Интеграция».
Таким образом, без изменения конфигураций инфобаз Вы получаете:
- Ускоренный многопоточный обмен данными
- Мониторинг и контроль любых заданий
- Многопоточные универсальные обработки объектов
- Мониторинг, контроль и анализ производительности
- Веб-Портал отчетов из любых систем
- Импорт и конвертацию данных из внешних источников данных (не 1С)
- Централизованное управление пользователями и многое другое...
Как следствие:
- Снижение затрат на ИТ-поддержку
- Снижение влияния “человеческого фактора”
- Улучшение качества обслуживания
- Увеличение производительности Ваших систем
Для руководителя
Уменьшает расходы на поддержку ИТ-инфраструктуры за счет внедрения единого центра контроля и управления информационными потоками, изменениями и безопасностью. Предоставляет простой единый веб-интерфейс просмотра отчетности из любых информационных систем.
Для администратора
В разы уменьшает время на администрирование множества конфигураций и информационных баз: обновление, резервирование, управление пользователями, контроль и обрезание логов, контроль за показателями производительности и нагрузки на оборудование, а также тревожными состояниями за счет мощной системы мониторинга и оповещений.
Для программиста
Упрощает создание новых регламентных заданий, причем для большого количества разнородных баз. В симбиозе с подсистемой Инструменты разработчика создает мощную среду конфигурирования, тестирования и отладки для заданий любых конфигураций и содержит большое количество готовых видов заданий.
Основные возможности
- Управление обменом данными
Многопоточный обмен данными (в разы быстрее обычного)
Шина веб-сервисов (для конфигураций 1С не требует изменений)
Поддержка внешних источников данных (не 1С)
Обмен с использованием правил конвертации \ Без использования правил
Обмен с использованием узлов планов обмена \ Без использования узлов
Режим "дозакачки" больших пакетов в случаях сбоев
Возможность нестрогого чтения XML - позволяет загружать данные в базу со слабо отличающейся структурой данных
Транспортный режим обмена - Интеграция выступает как шина и маршрутизатор для объектов данных
Отложенное проведение загруженных документов
Отладка правил конвертации
Альтернативное создание начального образа периферийной базы (гибче и быстрее обычного)
Передача (по заявкам в виде электронных писем) выборочных данных между базами
- Единый веб-портал отчетности из любых инфо-систем (1С и не только)
Возможность настройки сводных отчетов по данным нескольких систем
Разграничение доступа к каждому отчету по пользователям, группам пользователей
Импорт отчетов и схем компоновок из метаданных любой конфигурации
История формирования отчетов и их настроек, опциональное хранение результатов отчетов
Сервисы для комфортной работы с отчетами (расшифровки, отправка по почте и другие)
Встроенные и портативные Инструменты разработчика для быстрой и удобной разработки отчетов в любых конфигурациях 1С
- Новый уровень информационной безопасности
Управление пользователями инфобаз – из единого центра.
Сбор журналов регистрации инфобаз - в едином хранилище.
Сбор версий объектов - в едином хранилище.
Автоматизированные сверки данных между инфобазами.
Поддержание устойчивой работы серверов приложений
- Мониторинг, контроль и анализ производительности
Отчет "Отсутствующие индексы MSSQL"
Сбор техножурналов в Интеграции
Контроль производительности инфобаз по методике APDEX
Контроль производительности оборудования (WMI счетчики, например место на диске, свободно памяти, свободно процессора)
Отчеты по размерам таблиц, статистике запросов, текущим запросам и блокировкам из MSSQL в терминах 1С
Контроль и мониторинг регламентных заданий в MSSQL
Контроль и мониторинг количества изменений (очередей) на узлах планов обменов
- Управление прикладными обработками данных
Продукт поставляется с методикой, которая позволяет подключать к единому центру управления произвольные прикладные обработки, в том числе, уже реализованные и используемые для индивидуальных конфигураций.
Продукт поставляется с предопределенным набором универсальных сервисов, которые пополняются от релиза к релизу.
- Sms & e-mail рассылки
Настройка рассылок отчетов по расписанию по данным любых инфобаз
Мониторинг объектов баз – информирование об изменениях ключевых объектов.
Произвольные условия контроля – sms \ e-mail рассылки при возникновении определенных условий.
- Обработка входящей почты
По результатам обработки, можно настроить создание \ обновление объектов данных (Документы, Задачи и т.д.) в различных базах.
Настройка правил для заполнения реквизитов объекта из содержания письма.
- Администрирование баз 1С
Загрузка с оповещением информации о более поздних версиях используемых изданий платформы и конфигураций
Автоматическое обновление инфобаз на поддержке на максимальную версию поставщика
Удаление объектов с контролем ссылок
Анализ каталогов инфобаз в кластере
Выгрузка базы через СУБД
Многопоточное сокращение (свертка) регистров сведений, накопления и бухгалтерии
Многопоточные универсальные обработки объектов по отбору и/или по регистрации на узле
Многопоточное удаление дублей по заявкам по списку инфобаз
Мониторинг версий конфигураций
Управление службами агентов серверов 1С (добавление, удаление, изменение настроек и др.)
Управление COM классами 1С
Структура серверов 1С (аналог консоли серверов), из которой можно регистрировать все нужные объекты инфраструктуры 1С (центральные серверы, кластеры, инфобазы).
Выгрузка конфигурации
Выгрузка базы через 1С
Загрузка и обновление конфигурации из файла или хранилища.
Управление балансом между регулярностью выполнения регламентных заданий и максимальной нагрузкой на сервер
- Для разработчика
Удобный механизм подключения COM сеансов, максимально упрощающий отладку в них кода
Выполнение алгоритмов описанных в Интеграции или правилах обмена через автоматически формируемую внешнюю обработку
Поддержка как подсистемы Инструменты разработчика (ИР) так и ее портативного варианта для редактирования сервисных объектов в инфобазе
Редактирование запросов в инфобазе через консоль запросов (ИР)
Редактирование схем и настроек компоновки в инфобазе через консоль компоновки (ИР)
Редактирование алгоритмов в инфобазе через консоль кода (ИР)
Передовые технологии
Подробнее о передовых технологиях, использованных в продукте, можно прочитать в статьях:
- Приемы обработки больших данных в 1С. На пути к big data...
- Взаимодействие между базами 1С через COM
Преимущества
-
Не нужно дорабатывать конфигурации ваших баз, чтобы использовать весь широкий спектр видов заданий как поставляемых нами, так и разрабатываемых вами.
-
Ускоренный многопоточный обмен данными позволит значительно сократить длительность передачи большого количества объектов.
-
-
Наша система не запускает обмен из развернутой копии базы в отличие от встроенных в конфигурации механизмов.
-
Гибкий обмен данными детально фиксирует ошибки, не останавливаясь на ошибках в правилах обмена, при записи или десериализации.
-
Вы сможете постоянно «держать руку на пульсе» работы всех заданий во всех базах (например получать email и sms если стала повторяться ошибка).
-
Упрощение администирирования баз одновременно на разных изданиях и релизах платформы (например Бухгалтерия на 8.3.7 и Управление торговлей на 8.3.5).
-
Внешнее хранение журнала регистрации с автоматической подгрузкой и обрезанием в базе для освобождения места на диске сервера приложений и доступом из интерфейса базы.
-
Постоянное поддержание общей части списка пользователей, включение и выключение возможности входа сразу в нескольких базах.
-
Подкачка изменений из рабочей базы в тестовую, структура данных которой несколько отличается.
-
Отправка одним письмом отчетов сразу из нескольких баз.
-
Обработка входящих писем на почтовом ящике с автоматическим созданием объектов на основании писем в базах.
-
Слежение за изменениями объектов по заданному отбору во всех базах.
-
Методика выгрузки/загрузки данных в/из не 1С системы.
Авторы
- Харитонов Михаил (автор 1С:Конвертации данных)
- Интервью: Готовые решения: Михаил Харитонов
- Старых Сергей (автор Инструменты разработчика).
- Попов Сергей (системный архитектор Компании “2iS”)
Цели и ожидаемые результаты внедрения продукта
-
Переход к единой, в рамках Компании, технологии централизованного управления обменами данных между информационными системами на базе платформы «1С:Предприятие 8»
-
Уменьшение затрат на поддержку существующих обменов данными и настройку новых обменов
-
Снижение влияния "человеческого фактора" на качество мониторинга процессов обмена и контроля за аварийными (тревожными) состояниями за счёт автоматизации контроля за обменами и рассылки уведомлений ответственным
-
Стандартизация настройки обмена данными для любых БД 1С за счёт использования единого интерфейса (помощника настройки обмена данными) продукта «2iS:Интеграция»
-
Создание единой информационной базы, содержащей актуальные сведения, рабочие настройки и статистику по всем обменам данными Компании, а также сопутствующую инфраструктурную информацию.
-
Настройка, тестирование, отладка и публикация в рабочую среду всех обменов «из одной точки», то есть однократный ввод информации без дублирования настроек в разных базах
-
Формирование отчётности по статистике обменов данными, проблемным ситуациям (ошибкам обменов), динамике изменений показателей (скорость и объёмы прокачиваемых объектов данных) и других.
Системные требования
Для полноценного автоматического выполнения операций базе Интеграции требуется клиент-серверный режим.
Для сервера приложений базы Интеграции требуются
- ОС Windows
- 1С 8.3.6 и выше
- Отдельный кластер внутри сервера приложений
Поддерживается управление базами и серверами приложений 1С
- одновременно на разных изданиях платформы (8.1, 8.2, 8.3)
- одновременно на разных сборках издания платформы (например 8.3.5.1248 и 8.3.7.1845)
- одновременно на разных ОС
Немного чисел (статистика 2016 года)
- Программный код содержит более 100 000 строк.
- На разработку затрачено более 10 000 часов (без учета обкатки и внедрений продукта на оплачиваемых клиентами проектах).
- Нами продукт внедрен у 10 крупных клиентов. Это холдинговые и распределенные компании.
- Продукт обслуживает более 200 баз в разных городах, странах и часовых поясах.
- Ежедневно продукт выполняет у наших клиентов
- более 10 000 запусков заданий
- перекачивает более 2 000 000 объектов
- Перекачка базы УПП с 2 500 000 объектов нашим многопоточным обменом занимает 25 вместо 90 часов обычным обменом!
- Еженедельно наши клиенты экономят по несколько часов труда, используя наш автоматический механизм обмена и обновления конфигурации в РИБ, централизованное управление пользователями и другие механизмы.
Механизм защиты
В конфигурации имеется небольшой (примерно 1% всего кода) защищенный модуль, исходный код которого зашифрован и не требует частой модификации. Он содержит некоторые функции для выполнения заданий и вызова сервисов инфобаз. Остальной код открыт для доработки после включения возможности изменения конфигурации в настройках поддержки.
Демонстрации
Настройка обмена данными между инфобазами одинаковой конфигурации
Рассмотрена настройка заданий обмена данными между базами с одинаковой конфигурацией с помощью помощника настройки обмена.
Многопоточный обмен
Рассмотрена работа многопоточного обмена на примере обмена между базами с одинаковой конфигурацией.
Отладка правил конвертации данных
Демонстрируется отладка и замер производительности правил конвертации данных.
Настройка показателей WMI (счетчики производительности)
Рассмотрена настройка двух показателей WMI (свободного места на диске и загруженности процессора) с контролем опасных результатов.
Импорт журнала регламентных заданий из MSSQL
Рассмотрена настройка автозадания по импорту журнала регламентных заданий из MSSQL для контроля за их успешностью.
Перевод текстов запросов 1С из СУБД
Рассмотрена регистрация инфобазы 1С в интеграции вместе с ее инфобазой СУБД, получение ее текущих запросов из MSSQL и перевод их в термины метаданных с форматированием.
Установка, подключение инфобаз и настройка передачи журнала регистрации.
Рассмотрен простейший пример создания инфобазы Интеграции в файловом варианте с подключением к ней инфобазы "Бухгалтерия предприятия 2.0" и новой инфобазы для хранения журналов регистрации, а также настройка автозаданий для передачи журнала регистрации из первой подключенной инфобазы во вторую.
Портал отчетности. Создание отчета.
Рассмотрен процесс создания отчета для инфобазы, кратко описаны возможности подсистемы "Портал отчетности".
Централизованное управление пользователями.
Рассмотрены основные шаги по настройке автоматического обновления пользователей и редактированию пользователей инфобаз.
Поддержка пользователей
Для поддержки пользователей мы предоставляем веб-базу. В ней вы сможете:
- Сообщить об обнаруженной проблеме
- Внести свое предложение
- Познакомиться с решением проблем других пользователей
Для работы с ней рекомендуем браузер FireFox или тонкий клиент 1C. Мы реагируем на заявки обычно в течение одного рабочего дня.