LogiCH - хранение и анализ журнала регистрации в сверхбыстрой СУБД ClickHouse

Публикация № 951551

Администрирование - Администрирование данных 1С - Журнал регистрации

ClickHouse журнал регистрации логи анализ логов log analysis

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

Примеры использования разработки - отчёт «Аналитика журнала регистрации»

1. Круговая диаграмма распределения количества записей в журнале регистрации по метаданным с 1.10.2018. Для наглядности исключены пустые метаданные и показаны только серии с количеством записей больше 1000.

2. Гистограмма, отображающая пользователей, сделавших больше всего изменений с 1.10.208. Для наглядности отобраны пользователи с количеством записей более 100000 и исключен служебный пользователь «Автозапуск».

3. График количества изменений объектов по месяцам. Для наглядности исключены пустые метаданные.

4. График распределения количества записей журнала регистрации по дням недели (1 — понедельник, 2 — вторник и т. д.) за период с начала 2018 года.

5. Встроенный вариант отчета «Кто что делал», выполненный без изменений.

6. Встроенный вариант отчета «Ошибки», выполненный без изменений.

7. Встроенный вариант отчета «Пользователи», выполненный без изменений.

8. Встроенный вариант отчета «События и метаданные», выполненный без изменений.

 

Информация о СУБД ClickHouse:

ClickHouse — это колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатываемая компанией Яндекс

Страница Википедии: https://ru.wikipedia.org/wiki/ClickHouse

Сравнение производительности: https://clickhouse.yandex/benchmark.html

В комплект установки входит подробнейшая инструкция по развертыванию виртуальной машины с операционной системой Ubuntu 16 и установке СУБД ClickHouse. Ещё более простой вариант установки - скачать образ виртуальной машины, полностью готовой к работе. Ссылка на файл образа также входит в комплект установки.

 

Дополнительная информация:

1. Срок действия конфигурации неограничен, предоставляется бессрочная лицензия при покупке

2. Ограничений на использование нет.

3. Для работы конфигурации требуется платформа 8.3.7 и выше, управляемые формы. Для связи между конфигурацией и СУБД ClickHouse используется протокол HTTP, поэтому соответствующий порт(зависит от настроек, по умолчанию 8124) должен быть открыт для сетевого взаимодействия. Для виртуальной машины с СУБД ClickHouse рекомендуется выделить достаточное количество оперативной памяти — 2Gb и выше. Для подключения к целевой базе с журналом регистрации необходим установленный типовой com-connector подходящей версии.

4. Код конфигурации полностью открыт Пользователю после приобретения прав на его использование. Доработки силами пользователя после приобретения возможны.

5. Дальнейшие обновления предоставляются бесплатно, без строгой периодичности, без автоматического обновления. При обнаружении ошибки в конфигурации, выпущу обновление в срок не более недели со дня подтверждения наличия ошибки.

6. Возможны любые доработки по индивидуальному заказу по указанной стоимости часа.

Причины купить

Сделайте работу с журналом регистрации быстрой и удобной. Получение любой аналитики журнала без ограничений на размеры данных и без утомительного ожидания.

Достоинства

1. Построение любых отчетов на базе гибкого СКД отчета анализа записей журнала регистрации. Результаты отчета учитывают настроенные ограничения пользователя Logich, например, можно дать доступ только к отдельным базам. Отчет использует ссылочные данные для вывода, поэтому отборы можно настроить выбрав объекты из списка.

2. Огромная скорость работы. Забудьте про 10 минутное ожидание типового журнала регистрации, чтобы посмотреть кто менял документ. Для примера, на среднем виртуальном сервере, отчет по данным 100 млн. записей выполняется в пределах 10 сек.

3. Автоматическая загрузка новых записей журнала по расписанию. Загрузку можно настроить на разбиение данных на порции по временным интервалам или количеству, для случаев если размера оперативной памяти недостаточно для обработки за один раз. При необходимости данные можно загрузить вручную через специальную обработку конфигурации.

4. Работа с сервером ClickHouse через http интерфейс. Не используется «капризное» ODBC подключение.

5. Настройка ограничений доступа к данным журналов в режиме предприятия. Для настройки RLS достаточно настроить ограничения в виде СКД отбора для группы пользователей. Вмешательство в конфигурацию при этом не требуется.

6. Небольшой размер файла базы данных, хранящей записи журнала. Так как ClickHouse использует столбцовое хранение в сочетании с сжатием данных, размер файла получается во много раз меньше стандартного .lgd файла. Для приведенного выше примера журнала в 100 млн. записей размер файла составляет около 15 Gb.

Гарантия возврата денег

ООО "Инфостарт" гарантирует Вам 100% возврат оплаты, если программа не соответствует заявленному функционалу из описания. Деньги можно вернуть в полном объеме, если вы заявите об этом в течение 14-ти дней со дня поступления денег на наш счет.

Программа настолько проверена в работе, что мы с полной уверенностью можем дать такую гарантию. Мы хотим, чтобы все наши покупатели оставались довольны покупкой.

Для возврата оплаты просто свяжитесь с нами.

Инструкции

Наименование Файл Версия Размер
Инструкция администратора

.docx 329,73Kb
20
.docx 1.0 329,73Kb 20 Скачать бесплатно
Инструкция пользователя

.docx 150,31Kb
12
.docx 1.0 150,31Kb 12 Скачать бесплатно

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. oleynik.dv 151 29.11.19 13:58 Сейчас в теме
Добрый день! Это решение ещё живо? А то с 2018-го года ни обновлений, ни комментариев.
2. Техподдержка 29.11.19 14:03
Конечно живо, мы его активно используем на рабочих базах. Функционально проблем с ним нет, но уже накопилось много идей по повышению удобства. Есть одна техническая фича, которой я считаю не хватает: работа через OData вместо COM-соединения, которое ограничивает применение только под ОС Windows. Но никто еще не выразил такую потребность, поэтому она и осталась в планах.
В общем, развитие будет, ориентировочно 1 кв 2020 года
3. Rasylit 18.01.20 21:09 Сейчас в теме
Скажите Вы рассматривали вариант многопоточной загрузки ?
как clickhouse себя поведёт если 10-20 клиентов начнут заливать данные одновременно ?
За месяц файл журнала 60 ГБ.
Грузит очень долго...
4. Техподдержка 21.01.20 22:55
(3) Да, рассматривал. Идеи по доработке многопоточности есть, платформа и ClickHouse позволяют, но есть проблема - не на чем испытать. У меня сейчас нет доступа к настолько большим данным, чтобы имел смысл распараллеливать загрузку. Может вы хотите скооперироваться и предоставить мне данные для тестирования?
Вообще, узкое горлышко, это уровень платформы 1с, которая достает данные из журнала регистрации и готовит их к загрузке. Для ClickHouse такая нагрузка далека от серьезной.
Оставьте свое сообщение

См. также

Уведомления на почту по событиям журнала регистрации на email и в Telegram (для УНФ, УТ 11, БП 3.0, ЗУП 3.0, ERP) Промо

Журнал регистрации Email v8 v8::УФ УНФ ERP2 БП3.0 КА2 ЗУП3.x Платные (руб)

Рассылка уведомлений о событиях журнала регистрации на электронную почту и в Телеграмм. Программа позволяет анализировать журнал регистрации по заданным критериям, находить в нём интересующие события, и отправлять уведомления об этих событиях на электронную почту (одного или нескольких получателей) или в телеграмм. Может работать и как внешняя обработка, и как регламентное задание. Для УНФ, УТ 11, БП 3.0, ЗУП 3.0, ERP.

3000 руб.

18.06.2017    19860    1    2    

Отслеживание событий (отправка на почту писем с отчетом об изменениях реквизитов справочников, документов)

Журнал регистрации SMS рассылки v8 УПП1 Россия УУ Платные (руб)

Иногда возникает необходимость отслеживать, правильно ли создаются новые элементы в справочниках, правильно или создаются документы, уведомить сотрудника, что создан документ поступления по выбранной организации или контрагенту и т.д. Доработка позволяет следить за изменениями любого справочника, любого документа.

3000 руб.

20.02.2020    3302    0    0    

Анализ и контроль журнала регистрации

Журнал регистрации v8 1cv8.cf Платные (руб)

Хотите получать данные о том, что происходит в вашей базе 1С? (Например: Узнавать о любых ошибках в базе, отследить пользователей, заходивших в базу)

1500 руб.

30.01.2020    4162    1    0    

Часовой на страже логов

Практика программирования Инструментарий разработчика Бесплатно (free)

При поддержке решений, которые установлены у большого количества пользователей на различных системах, очень важно вовремя получать подробную информацию о возникших проблемах. О том, как собирать логи и анализировать полученные данные в трекере ошибок Sentry на конференции Infostart Event 2019 Inception рассказал Андрей Крапивин.

13.01.2020    7831    Scorpion4eg    8    

Ведение подробного лога (версионирование) справочников, документов и регистров сведений с сохранением истории изменений на SQL-сервере Промо

Журнал регистрации v8 v8::УФ 1cv8.cf Россия Платные (руб)

История изменений реквизитов и табличных частей справочников, документов, независимых регистров сведений, возможность отката изменения, восстановление удаленных объектов, сбор статистики использования базы 1С. Альтернативный журнал регистрации.

11500 руб.

22.02.2018    21447    47    53    

Регистрация статусов документов для УТ 11.4, КА 2.4 и ERP 2.4 (расширение конфигурации)

Журнал регистрации Администрирование данных 1С Документооборот и делопроизводство v8 v8::ОУ v8::УФ ERP2 УТ11 КА2 УУ Платные (руб)

Расширение "Регистрация статусов документов" - это простое дополнение для УТ 11.4, КА 2.4 и ERP 2.4, предназначенное для сохранения истории редактирования документов в конфигурациях 1С. Просто установить и удалить, удобно пользоваться, наглядное представление журнала регистрации изменений в документах.

4900 руб.

12.12.2019    7410    1    1    

Мониторинг баз и серверов 1С

Журнал регистрации Статистика базы данных Производительность и оптимизация (HighLoad) Администрирование СУБД Технологический журнал v8 Платные (руб)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

7500 руб.

28.08.2019    12738    36    14    

Версионирование регистров сведений (необъектных данных) - история изменений по версиям записей регистров сведений - ВНОД

Сервисные утилиты Журнал регистрации v8 v8::УФ 1cv8.cf Платные (руб)

ВНОД – отдельная (дополнительная) подсистема, которая построена на основе типовой подсистемы «Версионирование объектов». Предназначена для сохранения и анализа изменений независимых (периодических и непериодических) регистров сведений, с точностью до состава измерений, ресурсов и реквизитов записей.

1800 руб.

11.02.2019    12842    31    16    

Полный контроль действий пользователей в 1С. Учет трудозатрат Промо

Журнал регистрации v8 1cv8.cf Россия Платные (руб)

РАЗРАБОТКА ПОЛНОСТЬЮ ОБНОВЛЕНА! ВЫЛОЖЕНА ДЕМО-ВЕРСИЯ Скольких проблем можно было бы избежать, получая информацию о том, кто и что делал в базе данных, вовремя и в полном объеме! Ошибки, махинации с данными... Чем больше предприятие, тем более оно может быть не защищено от невнимательных или недобросовестных сотрудников. Подсистема "Полный контроль" является удобным, оперативным и гибким инструментом анализа и контроля действий пользователей 1С. В состав модуля включен механизм учета трудозатрат, исходя из данных о выполненных пользователями операциях за отчетный период.

12500 руб.

14.09.2011    37530    13    145    

"Что? Где? Когда?" или журнал изменений с восстановлением состояния реквизитов ссылочных объектов (для платформ выше 8.2.16+, любой конфигурации, управляемые формы)

Архивирование (backup) Журнал регистрации Поиск данных v8 v8::УФ 1cv8.cf Платные (руб)

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал изменений для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Скорость записи на 10-15% выше типового механизма "История изменений"! Позволяет следить за изменениями в любых ссылочных объектах конфигурации, с возможностью архивации, свертки данных в другой базе. А так же, может восстановить состояние реквизитов (значения) до момента изменения или удаления объекта из базы. Ну и конечно – подробная бесплатная справка! Работает на любых платформах выше 8.2.16+ и любых конфигурациях! Версия 1.04 от 29.10.2019

12990 руб.

15.05.2017    27469    7    15    

Версионирование объектов для Альфа-авто, ред 4 и 5.

Сервисные утилиты Журнал регистрации Управление услугами и сервисом Оптовая торговля Розничная торговля Оптовая торговля Розничная торговля v8 1cv8.cf Автомобили, автосервисы УУ Платные (руб)

Подсистема версионирования объектов для конфигураций Рарус: Альфа-авто на базе типовой подсистемы от 1С. Позволяет хранить историю изменений документов и справочников, кто, что, когда и какие данные изменял, а так же вернуться к предыдущим версиям объекта.

4000 руб.

03.09.2016    30618    22    17    

Тюнсофт: Журнал регистрации изменений реквизитов во внешней базе 1С (управляемые и обычные формы)

Журнал регистрации v8 v8::УФ 1cv8.cf Платные (руб)

"Журнал" позволяет быстро определить когда, кем и какие документы и справочники были изменены с детализацией по значениям реквизитов. Также фиксируются изменения регистров сведений. Таким образом можно быстро без привлечения администраторов выявить недобросовестных сотрудников и принять меры.

9900 руб.

21.03.2016    25818    4    0    

LogManager - Внешний журнал регистрации в SQL Промо

Журнал регистрации Статистика базы данных v8 1cv8.cf Платные (руб)

Журнал регистрации платформы 1С в SQL. Общая база хранения всех журналов. Через com-подключение регламентным заданием периодически догружает журналы регистраций из рабочих баз. Предоставляет настраиваемый доступ к журналам по правам подразделений. Формирует отчеты по пользователям и данным.

10000 руб.

23.05.2014    45199    44    16    

"2iS:Администратор" - центр управления инфраструктурой 1С

Сервисные утилиты Архивирование (backup) Журнал регистрации v8 1cv8.cf Платные (руб)

Без изменения конфигураций инфобаз Вы получаете: - Из единой точки регистрацию и обслуживание баз, серверов 1С и СУБД - Мониторинг и контроль любых заданий - Контроль за аппаратными ресурсами и анализ производительности - Централизованные контроль за версиями и авто обновления конфигураций - Отчеты по работе SQL и многое другое... Как следствие: - Снижение затрат на ИТ-поддержку - Снижение влияния “человеческого фактора” - Улучшение качества обслуживания - Увеличение производительности Ваших систем При покупке бесплатно установим программу и в режиме демонстрации настроим любую одну из заявленных функций.

20000 руб.

05.03.2016    42692    8    25    

Отчет "История изменений по реквизиту"

Журнал регистрации Администрирование данных 1С v8 Россия Платные (руб)

Отчет позволяет отслеживать изменения реквизитов любого справочника и документа для которого включено версионирование. В отличии от типового отчета, результат выводится сводно по всем объектам заданного типа. Работает на подсистеме БСП Версионирование.

1500 руб.

04.09.2013    19436    1    7    

addOn "ЦБТ Аудит проводок"

Журнал регистрации v8 1cv8.cf Россия Платные (руб)

addOn «ЦБТ Аудит проводок» - электронный журнал для протоколирования и анализа изменений хозяйственных операций, выявления аудиторского следа в 1С. Помогает быстро и точно находить ошибки и случайные изменения в бухгалтерских документах, а также разграничивает ответственность исполнителей.

1000 руб.

06.11.2010    19559    4    30