LogiCH - хранение и анализ журнала регистрации в сверхбыстрой СУБД ClickHouse

Область применения

• Построение любых отчетов на базе гибкого СКД отчета анализа записей журнала регистрации. Результаты отчета учитывают настроенные ограничения пользователя Logich, например, можно дать доступ только к отдельным базам. Отчет использует ссылочные данные для вывода, поэтому отборы можно настроить выбрав объекты из списка.
• Огромная скорость работы. Забудьте про 10 минутное ожидание типового журнала регистрации, чтобы посмотреть кто менял документ. Для примера, на среднем виртуальном сервере, отчет по данным 100 млн. записей выполняется в пределах 10 сек.
• Автоматическая загрузка новых записей журнала по расписанию. Загрузку можно настроить на разбиение данных на порции по временным интервалам или количеству, для случаев если размера оперативной памяти недостаточно для обработки за один раз. При необходимости данные можно загрузить вручную через специальную обработку конфигурации.
• Работа с сервером ClickHouse через http интерфейс. Не используется «капризное» ODBC подключение.
• Настройка ограничений доступа к данным журналов в режиме предприятия. Для настройки RLS достаточно настроить ограничения в виде СКД отбора для группы пользователей. Вмешательство в конфигурацию при этом не требуется.
• Небольшой размер файла базы данных, хранящей записи журнала. Так как ClickHouse использует столбцовое хранение в сочетании со сжатием данных, размер файла получается во много раз меньше стандартного .lgd файла. Для приведенного выше примера журнала в 100 млн. записей размер файла составляет около 15 Gb.

Технические требования

Функциональные возможности

Примеры использования разработки - отчёт «Аналитика журнала регистрации»

1. Круговая диаграмма распределения количества записей в журнале регистрации по метаданным с 1.10.2018. Для наглядности исключены пустые метаданные и показаны только серии с количеством записей больше 1000.

2. Гистограмма, отображающая пользователей, сделавших больше всего изменений с 1.10.208. Для наглядности отобраны пользователи с количеством записей более 100000 и исключен служебный пользователь «Автозапуск».

3. График количества изменений объектов по месяцам. Для наглядности исключены пустые метаданные.

4. График распределения количества записей журнала регистрации по дням недели (1 — понедельник, 2 — вторник и т. д.) за период с начала 2018 года.

5. Встроенный вариант отчета «Кто что делал», выполненный без изменений.

6. Встроенный вариант отчета «Ошибки», выполненный без изменений.

7. Встроенный вариант отчета «Пользователи», выполненный без изменений.

8. Встроенный вариант отчета «События и метаданные», выполненный без изменений.

Обновления:

Версия 1.1 от 22.04.2021

Описание изменений

- Исправлена ошибка, возникающая при загрузке повреждённых записей журнала регистрации. Такие записи теперь также загружаются в базу ClickHouse с датой и временем предшествующей неповреждённой записи и пользователю выдается предупреждение о наличии таких записей

- Доработана обработка "Загрузка логов вручную", теперь если в указанном для загрузке периоде уже есть записи в базе приемнике, то выдается вопрос о том, следует ли их удалить перед загрузкой (в предыдущей версии удалить их было нельзя)

Информация о СУБД ClickHouse:

ClickHouse — это колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатываемая компанией Яндекс

Страница Википедии: https://ru.wikipedia.org/wiki/ClickHouse

Сравнение производительности: https://clickhouse.yandex/benchmark.html

В комплект установки входит подробнейшая инструкция по развертыванию виртуальной машины с операционной системой Ubuntu 16 и установке СУБД ClickHouse. Ещё более простой вариант установки - скачать образ виртуальной машины, полностью готовой к работе. Ссылка на файл образа также входит в комплект установки.