Хотите работать с данными из 1С в BI удобно?
Практически все современные BI-системы отлично работают с колоночной базой Clickhouse, поэтому мы разработали собственное решение - "Экстрактор данных 1С 8.3 в BI", которое собирает информацию из 1С и передает ее в БД Clickhouse по расписанию.
Область применения
"Экстрактор данных 1С 8.3 в BI" используется для автоматизации работы по выгрузке данных для последующего анализа в BI-системе Yandex Datalens. Наши Заказчики - это:
- бизнес-аналитики
- программисты
- пользователи, активно работающих с 1С 8
- финансовые и технические директора
- CEO
Функциональные возможности
- Удобная настройка выборки данных в 1С - т.е. формирование 1С как "Источника данных"
- Автоматизированная загрузка файлов Excel - как "Источника данных"
- Автогенерация таблиц в базе-приемнике ClickHouse
- Автосопоставление полей между Источником данных и Базой-приемником
- Автоматическая (по расписанию) выгрузка данных из 1С в базу-приемник (можно укзаать разное расписание для разных наборов данных, можно разделить выгрузку по периодам, потокам и прочим фильтрам)
«Экстрактор данных 1С 8 в BI» - это инструмент автоматизации массивной выгрузки данных из 1С в аналитическую базу данных Clickhouse для работы с такими инструментами BI-аналитики как:
- Yandex Datalens
- Apache Superset
- Microsoft Power BI
- Qlik Sense
- Visiology
- Loginom
- Analytic WorkSpace
- Форсайт
- Modus
- Polymatica
«Экстрактор данных 1С 8 в BI» (далее Решение) реализует:
- формирование в пользовательском режиме наборов данных из 1С на основе объектов метаданных и запросов, в том числе с поддержкой вычисляемых полей, параметров, временных таблиц
- Автоматическую загрузку файлов Excel в наборы данных.
- Автоматическая генерация и модификация структуры таблиц с маппингом к наборам данных в БД Clickhouse, при этом:
- БД Clickhouse поддерживается как в облаке Яндекс, так и self-hosted (http и https – доступ)
- Поддержка партицирования таблиц в БД Clickhouse
- Полная выгрузка и выгрузка только изменений (в рамках партиции)
- Автоматическое отслеживание изменений в справочниках, документах и регистрах с выгрузкой их в БД Clickhouse (с версии 2.0.1.5)
- Многопоточная выгрузка
- Работа с клиент-серверными и файловыми базами 1С 8.3
- Полностью автоматическая работа в фоновом режиме
Технические требования
- Базово, наше Решение реализовано как «Расширение» 1С 8.3, т.е. оно встраивается в вашу 1С и дополняет функциональность вашей 1С необходимым функционалом
- Но в каждой поставке мы предоставляем Заказчикам две версии:
- Как «Расширение» 1С
- Как «Конфигурацию» 1С для встраивания (методом объединения конфигураций)
- Мы осуществляем полную методическую и консультационную поддержку нашего Решения
- Разработка выполнена на Управляемых формах (поэтому, если у вас не запрещен запуск вашей конфигурации в режиме управляемых форм, то наше Решение будет там работать вполне успешно)
- В решении использованы стандартные методы и подходы 1С 8.3
- Частично задействованы механизмы БСП (Библиотека стандартных подсистем), но только в части встраивания и создания регламентных заданий
- Решение имеет систему лицензирования и защиты, лицензируется на количество баз 1С, где устанавливается наше Решение
- Решение нормально (без доработок и адаптации) работает с любыми конфигурациями с версии платформы 8.3.16
- Для платформы ниже 8.3.16 необходима проверка под совместимость. На данный момент реализованы проекты, работающие с кастомными конфигурациями под 8.3.10 и 8.3.11 (потребовалась небольшая адаптация и внедрение в конфигурацию, так как данные платформы 1С полноценно не поддерживают механизм Расширений)
- Решение уже протестировано на стандартных (типовых) конфигурациях 1С 8.3:
- 1С Управление торговлей 11 (11.4 и 11.5)
- 1С Розница 2 и 3
- 1С УНФ 1.6 и 3.0
- 1С Бухгалтерия 3.0
- 1С ЗУП
- 1С ERP 2.4 и 2.5
- Далион
- АСТОР
- Так как Решение является универсальным, то технически может быть запущено на любой конфигурации 1С 8.3
Внимание! Расширение не работает на БАЗОВЫХ конфигурациях (в базовых конфигурациях 1С, возможности подключения расширений - отсутствуют)!
Идея состоит в том, чтобы без участия программистов 1С, бизнес-аналитик мог сам
- Собрать себе набор данных (Датасет) в терминах 1С
- На его основе создать таблицу в Базе данных “одной кнопкой”
- при необходимости, добавить новые поля в набор данных и обновить таблицу-приемник новыми полями
- Настроить регулярную автоматическую выгрузку данных из 1С в базу данных
- Обеспечить многопоточную фоновую выгрузку данных «по расписанию»
- При определенных настройках можно реализовать фактически real-time выгрузку данных 1С в БД Clickhouse(все зависит от объемов данных и поставленной задачи бизнес-аналитиком)
- Автоматически регистрировать имзенения в 1С и выгружать эти изменения (в рамках партиции) в БД Clickhouse
- Заниматься своей работой здесь и сейчас, не ожидая какие-то разработки, доработки, ручные выгрузки отчетов от программистов 1С и т.д
- Получать большие массивы данных "здесь и сейчас" из 1С для анализа в своей BI-системе
Как это работает?
Для работы нашего расширения вам нужно подключить наш “Экстрактор данных 1С в BI” к вашей 1С. При этом не важно, в какой конфигурации 1С вы работаете. Мы проверили работу экстрактора на всех известных нам типовых конфигурациях 1С (поддерживается и файловый и клиент-серверный режим работы).
Для работы есть 3 условия:
- Платформа 1С не ниже 8.3.16 (во всяком случае, продукт тестировался и запускался начиная с этого релиза Платформы 1С 8.3 (обсуждаемо));
- Возможность подключения расширения к вашей конфигурации 1С.
- Выгрузка автоматически делается в БД ClickHouse может быть размещена как у вас на сервере, так и использоваться в Yandex Cloud (самый удобный вариант - использовать Managed Service for ClickHouse)
Схема решения
Как работать с Экстрактором данных 1С
Для начала обдумайте, какие данные вы хотите получить в Yandex Datalens. С помощью нашего расширения из 1С можно выгружать любые наборы данных (запросы), включающие в себя:
- Продажи;
- Расходы;
- Закупки;
- Документы;
- Справочники;
- Перечисления;
- Константы;
- Планы видов характеристик;
- Планы счетов;
- Хозяйственные операции (проводки);
- Регистры сведений (цены и т.д.);
- Регистры расчета (зарплатные);
- Бизнес-процессы;
- Задачи;
- и т.д.
Теперь выполните настройку (в частности, настройка показана на данному видео):
В результате:
- Данные по вашим запросам отслеживатются и автоматически выгружаются в базу данных ClickHouse
- В Yandex Datalens вы спокойно пользуетесь своими данными из 1С, не нагружая запросами БД 1С
- Если вы добавляете поля в "Источнике данных" (Запросе), то эти поля автоматически добавляются и в результирующую таблицу в БД ClickHouse (т.е. работает автомаппинг между 1С и Clickhouse)
Вот пример как настраивается Отслеживание изменений 1С
А вот новое видео с вебинара, проведенного совместно с компанией Visiology
Лицензирование
Лицензия привязывается к базе, в которую устанавливается расширение. На каждую базу данных 1С 8.3 приобретается отдельная лицензия.
Состав поставки
Продукт поставляется как:
- Файл расширения 1С
- Файл документации
Также, предоставляется 2 часа бесплатных консультаций наших специалистов по установке и настройке нашего программного продукта
Код обфусцирован.
Демонстрация продукта
Причины купить
Экстрактор данных 1С 8.3 в BI решает следующие задачи:
- У вас появляется реальный инструмент по работе с данными 1С в таких BI-системах как Yandex Datalens, Power BI, QlikSense и т.д.
- Наше решение разворачивается очень быстро и позволяет "здесь и сейчас" (т.е. сразу же), без программистов 1С, без доработок, без ручных выгрузок отчетов в Excel, CSV - начать бизнес-анализ данных 1С в комфортной среде Yandex Datalens
- Наше решение можно использовать не только для BI, но и для дальнейшей обработки, трансформации данных 1С внешними инструментами ETL.
- Наше решение предназначено в первую очередь для пользователей и бизнес-аналитиков, которые смогут использовать данные из 1С в своих дашбордах Yandex Datalens (и не только) в режиме "self-service"
Продукт включает в себя:
- Работу по подготовке "Наборов данных" - на основе или объектов конфигурации или Построителя отчетов (Запросов)
- Использование и переиспользование "Наборов данных" как "Источников" для выгрузки данных с дополнительными отборами, доп. расчетными полями, параметрами
- Автоматизированную генерацию и перегенерацию таблиц-приемников в базе Clickhouse (Managment Service for Clickhouse или Clickhouse, размещенный на серверах Заказчика)
- Маппинг (сопоставление) полей между "Источниками" и таблицами-приемниками
- Генерация и редактирование регламентных заданий на автоматическую выгрузку данных из "Источников" в Таблицы-приемники
Вот небольшое видео по работе Экстрактор данных 1С в BI работа с многопоточностью:
Описание по регистрации и отслеживанию изменений в обновлённой документации и в этом видео:
А также функциональность по автоматизированной загрузке данных из MS Excel средствами Экстрактора
Такой подход позволяет обогатить данные 1С, внешними данными, рассчитанными, дозаполненными в MS Excel
