Экстрактор данных 1С в ClickHouse

Область применения

Чтобы вывести данные из информационных систем в облако так, чтобы оперативные данные всегда был под рукой и в одном месте, т.е. можно было открыть сразу графики на смартфоне.

Чтобы выгружать данные из информационной системы во внешнюю базу данных для дальнейшего анализа и создания BI дэшбордов, например в Yandex DataLens.

Технические требования

Протестировано и совместимо:

• 1С:Управление торговлей 11.5.x, 11.1.x
• 1С:Бухгалтерия предприятия 3.x
• 1С:Зарплата и управление персоналом  3.x

Код открыт.

Создание виртуальной машины с базой данных

Создаем свой виртуальный или физических сервер (#VM, #VDS, #VDI и др.)

Для своей VDS вам понадобиться 1-2 ядра, 4Gb RAM, 15-20 GB SSD/HDD.

У которого есть ай пи адрес и порт снаружи.

• Создать базу #ClickHouseDB.

Адрес

<адрес вашей ВМ, где лежит база данных>

порт по умолчанию

8123

• Подготовить логин и пароль ClickHouseDB.

<имя пользователя>

<пароль пользователя с правами на вставку данных и создание таблиц>

• Настроить свои фаерволлы, кому ходить можно, а кому нельзя
• Зайти на веб морду базы

http:// <адрес вашей ВМ, где лежит база данных>:8123/play

Как создать новую базу данных в ClickHouseDB
Создаем тестовую базу командой:

CREATE DATABASE db_1c_test COMMENT 'The 1C Test Metrics database';

Что нужно сделать в своей информационной базе

• Открыть обработку в информационной базе, например тестовую или демо базу
• Включите использование дополнительных и внешних обработок для своей конфигурации
• Предоставьте своего пользователю права на открытие внешних обработок
• Ввести все данные во вкладке параметры
• Указать имя таблицы, например «Test»
• Закрыть и открыть, убедиться, что параметры сохраняются
• Вставить запрос из конструктора, взять срез последних любого регистра
• Переименовать поле «Период» в «ПериодРегистратор»
• Выставить свои даты в поля стандартного периода
• Ограничить запрос датами «Дата1» и «Дата2»
• Выставить глубину смещения дат назад
• Отправить свой запрос

Чтобы ваша обработка запускалась в фоново в файловом варианте базы, то вам понадобиться создать еще одного пользователя, например «exchange» и создать задание в планировщике Windows или Cron на запуск программы без интерфейса.

Как проверить что отправилось в БД

Проверяем свой запрос в базе:

• select * from db_1c_test.Test;

Чтобы проверить какие ключи и типы полей создались используем:

• SHOW CREATE TABLE db_1c_test.Test;

Чтобы уничтожить таблицу, пишем:

• DROP TABLE db_1c_test.Test;

Чтобы просто очистить:

• TRUNCATE TABLE db_1c_test.Test;

или если хотите с условием что-то удалить:

• DELETE FROM db_1c_test.Test where date_record > '2023-11-24 12:00:00';

Какие тонкие настройки можно сделать через конфигуратор обработки

Чтобы более тонко настроить ключи, ресурсы и реквизиты, то открываем обработку через конфигуратор:

• Добавляем свой новый макет компоновки данных
• В своей СКД создаем свой запрос, а в полях, все что ключи не ставим никакой тип данных
• Все, что ресурсы указываем числовые
• Все, что ресурсы, строки или дата, или булево. Все остальное будет конвертироваться в строку или 0.
• В полях не допускается поле "Периода", поэтому переименовываем в «ПериодРегистратор».
• Или не указываем вовсе, поле "Период" подставится автоматически исходя из вашего запроса и параметров.

Можно не лезть в конфигуратор для нескольких выгрузок?

Чтобы сделать несколько выгрузок с разными настройками в конфигуратор вам придется залезть, чтобы просто сделать копий обработки с разными именами. Далее цепляете их, как разные обработки с регламентной операцией.

Просто, если разбираетесь, то можно сделать несколько схем и команд в одной обработке и ее одну администрировать.

Создание #BI дэшборда в #Yandex #DataLens и что может получится

На картинках представлены примеры из Демо базы 1С Управление торговлей 11.5.17.122.

Представлены картинки из мобильной версии DataLens.

Техническая поддержка и обновления

Бесплатный период техподдержки составляет 1 месяц со дня покупки.

Также после приобретения вы получаете 1 месяц бесплатных обновлений.

По окончании бесплатного периода вы можете приобрести услугу технической поддержки с доступом к обновлениям на платной основе.

Проверить наличие обновлений можно в личном кабинете. Если обновления недоступны - загрузить новую версию можно после покупки обновлений/технической поддержки.

Задать вопрос по программе можно по кнопке "Техподдержка" на странице описания.

При создании тикета необходимо предоставить:

1. Номер заказа
2. Описание вопроса. Если это ошибки - напишите порядок ваших действий с программой, которые к ней привели (приложите видео/скриншоты/отчеты об ошибке)
3. Точную конфигурацию 1С, и версию платформы, на которой используете купленное решение (наименование и версию 1С можно взять из раздела "О программе"), версию купленной программы.

К созданной заявке подключается специалист. Дальнейшее обсуждение проблемы будет проходить в тикете техподдержки. Стандартный срок реакции - 24 часа в рабочие дни с момента обращения.

Техподдержка