LogiCH - хранение и анализ журнала регистрации в сверхбыстрой СУБД ClickHouse

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

Арт.: 951551

Продано: 17

Диаграмма метаданные.png
Диаграмма пользователей.png
Динамика колва изменений.png
Динамика по дням недели.png
Кто что делал.png
Ошибки.png
Пользователи.png
События и метаданные.png
Диаграмма метаданные.png
Диаграмма пользователей.png
Динамика колва изменений.png
Динамика по дням недели.png
Кто что делал.png
Ошибки.png
Пользователи.png
События и метаданные.png

6000 руб.

1000 руб.

Примеры использования разработки - отчёт «Аналитика журнала регистрации»

1. Круговая диаграмма распределения количества записей в журнале регистрации по метаданным с 1.10.2018. Для наглядности исключены пустые метаданные и показаны только серии с количеством записей больше 1000.

2. Гистограмма, отображающая пользователей, сделавших больше всего изменений с 1.10.208. Для наглядности отобраны пользователи с количеством записей более 100000 и исключен служебный пользователь «Автозапуск».

3. График количества изменений объектов по месяцам. Для наглядности исключены пустые метаданные.

4. График распределения количества записей журнала регистрации по дням недели (1 — понедельник, 2 — вторник и т. д.) за период с начала 2018 года.

5. Встроенный вариант отчета «Кто что делал», выполненный без изменений.

6. Встроенный вариант отчета «Ошибки», выполненный без изменений.

7. Встроенный вариант отчета «Пользователи», выполненный без изменений.

8. Встроенный вариант отчета «События и метаданные», выполненный без изменений.

 

Обновления:

Версия 1.1 от 22.04.2021

Описание изменений

- Исправлена ошибка, возникающая при загрузке повреждённых записей журнала регистрации. Такие записи теперь также загружаются в базу ClickHouse с датой и временем предшествующей неповреждённой записи и пользователю выдается предупреждение о наличии таких записей

- Доработана обработка "Загрузка логов вручную", теперь если в указанном для загрузке периоде уже есть записи в базе приемнике, то выдается вопрос о том, следует ли их удалить перед загрузкой (в предыдущей версии удалить их было нельзя)

 

Информация о СУБД ClickHouse:

ClickHouse — это колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатываемая компанией Яндекс

Страница Википедии: https://ru.wikipedia.org/wiki/ClickHouse

Сравнение производительности: https://clickhouse.yandex/benchmark.html

В комплект установки входит подробнейшая инструкция по развертыванию виртуальной машины с операционной системой Ubuntu 16 и установке СУБД ClickHouse. Ещё более простой вариант установки - скачать образ виртуальной машины, полностью готовой к работе. Ссылка на файл образа также входит в комплект установки.

 

Дополнительная информация:

1. Срок действия конфигурации неограничен, предоставляется бессрочная лицензия при покупке

2. Ограничений на использование нет.

3. Для работы конфигурации требуется платформа 8.3.7 и выше, управляемые формы. Для связи между конфигурацией и СУБД ClickHouse используется протокол HTTP, поэтому соответствующий порт(зависит от настроек, по умолчанию 8124) должен быть открыт для сетевого взаимодействия. Для виртуальной машины с СУБД ClickHouse рекомендуется выделить достаточное количество оперативной памяти — 2Gb и выше. Для подключения к целевой базе с журналом регистрации необходим установленный типовой com-connector подходящей версии.

4. Код конфигурации полностью открыт Пользователю после приобретения прав на его использование. Доработки силами пользователя после приобретения возможны.

5. Дальнейшие обновления предоставляются бесплатно, без строгой периодичности, без автоматического обновления. При обнаружении ошибки в конфигурации, выпущу обновление в срок не более недели со дня подтверждения наличия ошибки.

6. Возможны любые доработки по индивидуальному заказу по указанной стоимости часа.

Причины купить

Сделайте работу с журналом регистрации быстрой и удобной. Получение любой аналитики журнала без ограничений на размеры данных и без утомительного ожидания.

Достоинства

1. Построение любых отчетов на базе гибкого СКД отчета анализа записей журнала регистрации. Результаты отчета учитывают настроенные ограничения пользователя Logich, например, можно дать доступ только к отдельным базам. Отчет использует ссылочные данные для вывода, поэтому отборы можно настроить выбрав объекты из списка.

2. Огромная скорость работы. Забудьте про 10 минутное ожидание типового журнала регистрации, чтобы посмотреть кто менял документ. Для примера, на среднем виртуальном сервере, отчет по данным 100 млн. записей выполняется в пределах 10 сек.

3. Автоматическая загрузка новых записей журнала по расписанию. Загрузку можно настроить на разбиение данных на порции по временным интервалам или количеству, для случаев если размера оперативной памяти недостаточно для обработки за один раз. При необходимости данные можно загрузить вручную через специальную обработку конфигурации.

4. Работа с сервером ClickHouse через http интерфейс. Не используется «капризное» ODBC подключение.

5. Настройка ограничений доступа к данным журналов в режиме предприятия. Для настройки RLS достаточно настроить ограничения в виде СКД отбора для группы пользователей. Вмешательство в конфигурацию при этом не требуется.

6. Небольшой размер файла базы данных, хранящей записи журнала. Так как ClickHouse использует столбцовое хранение в сочетании с сжатием данных, размер файла получается во много раз меньше стандартного .lgd файла. Для приведенного выше примера журнала в 100 млн. записей размер файла составляет около 15 Gb.

Статистика:
Просмотры 20818
Загрузки 17
Рейтинг 42
Создание 28.11.18 12:43
Обновление 21.04.21 23:00
№ Публикации 951551
Характеристики:
Теги

ClickHouse журнал регистрации логи анализ логов log analysis

Рубрики Журнал регистрации
Кому Системный администратор
Тип файла Архив с данными
Платформа Платформа 1С v8.3
Конфигурация Конфигурации 1cv8
Операционная система Windows
Страна Не имеет значения
Отрасль Не имеет значения
Налоги Не имеет значения
Вид учета Не имеет значения
Доступ к файлу Платные (руб)
Код открыт Да
Наименование Файл Версия Размер
Инструкция администратора .docx 1.0 329,73Kb 64 Скачать
Инструкция пользователя .docx 1.0 150,31Kb 33 Скачать
Обновление на версию 1.1 .zip 1.1 2,71Mb 18 Скачать
1. oleynik.dv 29.11.19 13:58 Сейчас в теме
Добрый день! Это решение ещё живо? А то с 2018-го года ни обновлений, ни комментариев.
2. Техподдержка 29.11.19 14:03
Конечно живо, мы его активно используем на рабочих базах. Функционально проблем с ним нет, но уже накопилось много идей по повышению удобства. Есть одна техническая фича, которой я считаю не хватает: работа через OData вместо COM-соединения, которое ограничивает применение только под ОС Windows. Но никто еще не выразил такую потребность, поэтому она и осталась в планах.
В общем, развитие будет, ориентировочно 1 кв 2020 года
3. Rasylit 18.01.20 21:09 Сейчас в теме
Скажите Вы рассматривали вариант многопоточной загрузки ?
как clickhouse себя поведёт если 10-20 клиентов начнут заливать данные одновременно ?
За месяц файл журнала 60 ГБ.
Грузит очень долго...
4. Техподдержка 21.01.20 22:55
(3) Да, рассматривал. Идеи по доработке многопоточности есть, платформа и ClickHouse позволяют, но есть проблема - не на чем испытать. У меня сейчас нет доступа к настолько большим данным, чтобы имел смысл распараллеливать загрузку. Может вы хотите скооперироваться и предоставить мне данные для тестирования?
Вообще, узкое горлышко, это уровень платформы 1с, которая достает данные из журнала регистрации и готовит их к загрузке. Для ClickHouse такая нагрузка далека от серьезной.
5. rpgshnik 10.09.21 05:01 Сейчас в теме
Добрый день, подскажите есть документация как развернуть базу в кликхаус для журнала регистрации в поставке LogiCH? Решение интересное, но нет практики с кликхаус :) Это чисто читалка? А служба которая будет отгружать в кликхаус?

Можно ли в кликхаус выгрузить текущий весь журнал или только в режиме онлайн фиксация текущих изменений?
6. Техподдержка 10.09.21 11:11
(5) Инструкцию администратора можно скачать бесплатно (кнопка в конце публикации), в этой инструкции как раз описано как создавать элемент справочника "Базы", который автоматически создает базу данных на стороне ClickHouse сервера. Таким образом, администратору даже не нужно заходить в командную строку управления CH (он конечно может это сделать при желании, если есть необходимость :))
LogiCH создавался как инструмент для накопления и анализа собранных логов из журнала регистрации для множества баз 1с, используемых в компании.

Отвечая на ваш вопрос, это не только "читалка" в виде СКД отчета по всем накопленным логам из ClickHouse, а еще и сервис по выгрузке записей ЖР указанных в настройках баз 1С, реализованная как набор регламентных заданий с заданным расписанием на стороне LogiCH базы 1С. Также можно выгрузить указанный период вручную (по указанному com-соединению или из файла), для этого есть специальная обработка. Поэтому на ваш вопрос про выгрузку журнала можно ответить, что доступны оба варианта, как онлайн фиксация (можно настроить хоть раз в 10 минут выгружать новые записи ЖР), так и выгрузка архивных журналов (можно указать период, по которому записи будут отфильтрованы)
Cmapnep; rpgshnik; +2 Ответить

Оставьте свое сообщение

См. также

Мониторинг серверов и баз 1С

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение систе...

9000 руб.

Журнал работы с партнером для УТ 11.4

Расширение добавляет в интерфейс справочника «Партнеры» удобный журнал работы с клиентом, в котором будет доступна вся информация по данному партнеру.

2400 руб.

Часовой на страже логов

При поддержке решений, которые установлены у большого количества пользователей на различных системах, очень важно вовремя получать подробную информацию о возникших проблемах. О том, как собирать логи и анализировать полученные данные в трек...

Регистрация статусов документов для УТ 11.5, УТ 11.4, КА 2.4 и ERP 2.4 (расширение конфигурации)

Расширение "Регистрация статусов документов" - это простое дополнение для УТ 11.5, УТ 11.4, КА 2.4 и ERP 2.4, предназначенное для сохранения истории редактирования документов в конфигурациях 1С. Просто установить и удалить, удобно...

4900 руб.

ВНОД: Версионирование регистров сведений 1С (необъектных данных) - история изменений по версиям записей регистров сведений

ВНОД – отдельная (дополнительная) подсистема, которая построена на основе типовой подсистемы «Версионирование объектов». Предназначена для сохранения и анализа изменений независимых (периодических и непериодических) регистров сведений в 1С,...

3360 руб.

Версионирование справочников, документов и регистров сведений на SQL-сервере

История изменений реквизитов и табличных частей справочников, документов, независимых регистров сведений, возможность отката изменения, восстановление удаленных объектов, сбор статистики использования базы 1С. Альтернативный журнал регистра...

22800 руб.

Уведомления на почту по событиям журнала регистрации на email и в Telegram (для УНФ, УТ 11, БП 3.0, ЗУП 3.0, ERP)

Рассылка уведомлений о событиях журнала регистрации на электронную почту и в Телеграмм. Программа позволяет анализировать журнал регистрации по заданным критериям, находить в нём интересующие события, и отправлять уведомления об этих с...

10800 руб.

Журнал регистрации изменений документов в 1С с восстановлением состояния ссылочных объектов и архивацией по HTTP / COM (расши...

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал регистрации изменений документов в 1С для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Скорость работы почти в 2 раза выше...

21600 руб.

Версионирование объектов для Альфа-авто, ред 4 и 5.

Подсистема версионирования объектов для конфигураций Рарус: Альфа-авто на базе типовой подсистемы от 1С. Позволяет хранить историю изменений документов и справочников, кто, что, когда и какие данные изменял, а так же вернуться к предыдущим ...

4800 руб.

Журнал регистрации изменений реквизитов во внешней базе 1С (управляемые и обычные формы)

"Журнал" позволяет быстро определить когда, кем и какие документы и справочники были изменены с детализацией по значениям реквизитов. Также фиксируются изменения регистров сведений. Таким образом можно быстро без привлечения адми...

15840 руб.