ETL
ETL — это конфигурация 1С:Предприятие 8, предназначенная для автоматизации процессов ETL (Extract, Transform, Load). Продукт позволяет с минимальной трудоёмкостью получать данные из корпоративных систем (включая любые конфигурации 1С), файлов Excel, JSON-сервисов и внешних СУБД, преобразовывать их по настраиваемым сценариям и загружать в высокопроизводительные аналитические хранилища.
Основные возможности
Преимущества
-
Работа «из коробки» с 1С: Специальное расширение (.cfe) для баз-источников не снимает конфигурацию с поддержки и предоставляет готовый HTTP-сервис (
/hs/etl) для извлечения данных. -
Экономия трафика: Поддержка коннектора «1С — Запросы к базе (прямая запись ClickHouse)», который минимизирует объём передаваемых данных за счёт потоковой загрузки.
-
Прозрачность и отладка: Полное логирование каждого шага обработки (регистр «ЛогВыполненияОбработкиДанных») и фиксация ошибок с детальным стеком вызовов.
-
Гибкость сценариев: Возможность создания цепочек зависимых обработок и использования встроенного языка 1С для сложных преобразований на любом шаге.
-
Автоматизация инфраструктуры: Интеграция с Superset через API позволяет автоматически обновлять датасеты и дашборды по завершении загрузки данных.
Причины купить
-
Снижение трудозатрат: Автоматизация ручного труда по выгрузке/загрузке данных, особенно из Excel и 1С.
-
Единое окно аналитики: Консолидация данных из всех рабочих баз 1С, файлов и внешних систем в одном хранилище ClickHouse.
-
Скорость аналитики: ClickHouse обеспечивает молниеносные ответы на сложные аналитические запросы по многомиллионным таблицам.
-
Управляемость: Централизованное управление ETL-процессами через знакомый интерфейс 1С с контролем ошибок и уведомлениями в Telegram.
-
Готовность к BI: Данные сразу доступны в Superset с автоматической регистрацией таблиц.
Основные возможности
Извлечение данных (Extract):
-
Коннектор к базам 1С через HTTP-сервис (расширение .cfe).
-
Коннектор к файлам Excel (чтение структур и данных).
-
Коннектор к JSON-сервисам и произвольным HTTP-запросам.
-
Подключение к внешним СУБД (через SQL-запросы).
Трансформация и загрузка (Transform & Load):
-
Многошаговые сценарии обработки на встроенном языке 1С.
-
Загрузка в ClickHouse (колоночная СУБД для аналитики) и PostgreSQL.
-
Автоматическое создание структуры таблиц на основе эталонного Excel-файла.
-
Поддержка параметризации и цепочек зависимых обработок.
Визуализация (Visualize):
-
Нативная интеграция с Apache Superset.
-
Управление дашбордами и графиками (Charts) через API Superset.
-
Автоматическое обновление наборов данных (Datasets) в Superset.
Администрирование и мониторинг:
-
Детальное логирование выполнения (регистры «ВыполненияОбработкиДанных», «ЛогВыполнения», «ОшибкиВыполнения»).
-
Отправка уведомлений о статусе выполнения в Telegram (боты).
-
Выполнение по расписанию (регламентные задания).
-
Управление правами доступа (роли ETL).
Типовые сценарии использования
Требуемые навыки
-
Для пользователя: знание 1С:Предприятия 8.3 на уровне пользователя.
-
Для настройки: понимание ETL-процессов, основ SQL (для ClickHouse/PostgreSQL), опыт установки расширений конфигураций 1С.
Сравнение версий
Технические требования
и характеристики
Проверено на:
- 1С:Библиотека стандартных подсистем, редакция 3.1, релизы 3.1.11.415
Код открыт.
Остались вопросы?
Для получения дополнительной информации и помощи в настройке модуля под нужды вашего бизнеса — оставьте заявку
Проверено на следующих конфигурациях и релизах:
- 1С:Библиотека стандартных подсистем, редакция 3.1, релизы 3.1.11.415
