LogiCH - хранение и анализ журнала регистрации в сверхбыстрой СУБД ClickHouse

Публикация № 951551

Администрирование - Администрирование данных 1С - Журнал регистрации

ClickHouse журнал регистрации логи анализ логов log analysis

15
Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

Примеры использования разработки - отчёт «Аналитика журнала регистрации»

1. Круговая диаграмма распределения количества записей в журнале регистрации по метаданным с 1.10.2018. Для наглядности исключены пустые метаданные и показаны только серии с количеством записей больше 1000.

2. Гистограмма, отображающая пользователей, сделавших больше всего изменений с 1.10.208. Для наглядности отобраны пользователи с количеством записей более 100000 и исключен служебный пользователь «Автозапуск».

3. График количества изменений объектов по месяцам. Для наглядности исключены пустые метаданные.

4. График распределения количества записей журнала регистрации по дням недели (1 — понедельник, 2 — вторник и т. д.) за период с начала 2018 года.

5. Встроенный вариант отчета «Кто что делал», выполненный без изменений.

6. Встроенный вариант отчета «Ошибки», выполненный без изменений.

7. Встроенный вариант отчета «Пользователи», выполненный без изменений.

8. Встроенный вариант отчета «События и метаданные», выполненный без изменений.

 

Информация о СУБД ClickHouse:

ClickHouse — это колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатываемая компанией Яндекс

Страница Википедии: https://ru.wikipedia.org/wiki/ClickHouse

Сравнение производительности: https://clickhouse.yandex/benchmark.html

В комплект установки входит подробнейшая инструкция по развертыванию виртуальной машины с операционной системой Ubuntu 16 и установке СУБД ClickHouse. Ещё более простой вариант установки - скачать образ виртуальной машины, полностью готовой к работе. Ссылка на файл образа также входит в комплект установки.

 

Дополнительная информация:

1. Срок действия конфигурации неограничен, предоставляется бессрочная лицензия при покупке

2. Ограничений на использование нет.

3. Для работы конфигурации требуется платформа 8.3.7 и выше, управляемые формы. Для связи между конфигурацией и СУБД ClickHouse используется протокол HTTP, поэтому соответствующий порт(зависит от настроек, по умолчанию 8124) должен быть открыт для сетевого взаимодействия. Для виртуальной машины с СУБД ClickHouse рекомендуется выделить достаточное количество оперативной памяти — 2Gb и выше. Для подключения к целевой базе с журналом регистрации необходим установленный типовой com-connector подходящей версии.

4. Код конфигурации полностью открыт Пользователю после приобретения прав на его использование. Доработки силами пользователя после приобретения возможны.

5. Дальнейшие обновления предоставляются бесплатно, без строгой периодичности, без автоматического обновления. При обнаружении ошибки в конфигурации, выпущу обновление в срок не более недели со дня подтверждения наличия ошибки.

6. Возможны любые доработки по индивидуальному заказу по указанной стоимости часа.

Причины купить

Сделайте работу с журналом регистрации быстрой и удобной. Получение любой аналитики журнала без ограничений на размеры данных и без утомительного ожидания.

Достоинства

1. Построение любых отчетов на базе гибкого СКД отчета анализа записей журнала регистрации. Результаты отчета учитывают настроенные ограничения пользователя Logich, например, можно дать доступ только к отдельным базам. Отчет использует ссылочные данные для вывода, поэтому отборы можно настроить выбрав объекты из списка.

2. Огромная скорость работы. Забудьте про 10 минутное ожидание типового журнала регистрации, чтобы посмотреть кто менял документ. Для примера, на среднем виртуальном сервере, отчет по данным 100 млн. записей выполняется в пределах 10 сек.

3. Автоматическая загрузка новых записей журнала по расписанию. Загрузку можно настроить на разбиение данных на порции по временным интервалам или количеству, для случаев если размера оперативной памяти недостаточно для обработки за один раз. При необходимости данные можно загрузить вручную через специальную обработку конфигурации.

4. Работа с сервером ClickHouse через http интерфейс. Не используется «капризное» ODBC подключение.

5. Настройка ограничений доступа к данным журналов в режиме предприятия. Для настройки RLS достаточно настроить ограничения в виде СКД отбора для группы пользователей. Вмешательство в конфигурацию при этом не требуется.

6. Небольшой размер файла базы данных, хранящей записи журнала. Так как ClickHouse использует столбцовое хранение в сочетании с сжатием данных, размер файла получается во много раз меньше стандартного .lgd файла. Для приведенного выше примера журнала в 100 млн. записей размер файла составляет около 15 Gb.

Гарантия возврата денег

ООО "Инфостарт" гарантирует Вам 100% возврат оплаты, если программа не соответствует заявленному функционалу из описания. Деньги можно вернуть в полном объеме, если вы заявите об этом в течение 14-ти дней со дня поступления денег на наш счет.

Программа настолько проверена в работе, что мы с полной уверенностью можем дать такую гарантию. Мы хотим, чтобы все наши покупатели оставались довольны покупкой.

Для возврата оплаты просто свяжитесь с нами.

15

Инструкции

Наименование Файл Версия Размер
Инструкция администратора
.docx 329,73Kb
27.11.18
17
.docx 1.0 329,73Kb 17 Скачать бесплатно
Инструкция пользователя
.docx 150,31Kb
27.11.18
9
.docx 1.0 150,31Kb 9 Скачать бесплатно


Новый вопрос

E-mail*
Тема (вопрос)*

Специальные предложения

См. также

Мониторинг баз и серверов 1С 18

Инструменты и обработки Системный администратор Конфигурация (md, cf) v8 Windows Платные (руб) Журнал регистрации Статистика базы данных Производительность и оптимизация (HighLoad)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

7500 руб.

28.08.2019    2382    17    2       

Версионирование регистров сведений (необъектных данных) - история изменений по версиям записей регистров сведений - ВНОД 10

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 v8::УФ 1cv8.cf Windows Платные (руб) Сервисные утилиты Журнал регистрации

ВНОД – отдельная (дополнительная) подсистема, которая построена на основе типовой подсистемы «Версионирование объектов». Предназначена для сохранения и анализа изменений независимых (периодических и непериодических) регистров сведений, с точностью до состава измерений, ресурсов и реквизитов записей.

1800 руб.

11.02.2019    4358    9       

Просмотр файлов журнала регистрации 1С (*.lgd) 1

Отчеты и формы Системный администратор Архив с данными v8 1cv8.cf Windows Платные (руб) Журнал регистрации

Программа для просмотра больших файлов журнала регистрации 1С в формате *.lgd. За счет отбора по виду события или неявного представления, позволяет работать с файлам большого размера.

2000 руб.

28.09.2018    5520    3       

Ведение подробного лога (версионирование) справочников, документов и регистров сведений с сохранением истории изменений на SQL-сервере 30

Инструменты и обработки Системный администратор Архив с данными v8 v8::УФ 1cv8.cf Россия Windows Платные (руб) Журнал регистрации

Доступ к истории изменений реквизитов и табличных частей справочников, документов, независимых регистров сведений, возможность отката изменения, восстановление удаленных объектов, сбор статистики использования базы 1С. Альтернативный журнал регистрации.

3950 руб.

22.02.2018    14303    34    53       

Уведомления на почту по событиям журнала регистрации на email и в Telegram (для УНФ, УТ 11, БП 3.0, ЗУП 3.0, ERP) 10

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 v8::УФ УНФ ERP2 БП3.0 КА2 ЗУП3.x Платные (руб) Журнал регистрации Email

Рассылка уведомлений о событиях журнала регистрации на электронную почту и в Телеграмм. Программа позволяет анализировать журнал регистрации по заданным критериям, находить в нём интересующие события, и отправлять уведомления об этих событиях на электронную почту (одного или нескольких получателей) или в телеграмм. Может работать и как внешняя обработка, и как регламентное задание. Для УНФ, УТ 11, БП 3.0, ЗУП 3.0, ERP.

3000 руб.

18.06.2017    14629    75    1       

"Что? Где? Когда?" или журнал изменений с восстановлением состояния реквизитов ссылочных объектов (для платформ выше 8.2.16+, любой конфигурации, управляемые формы) 26

Отчеты и формы Системный администратор Программист Архив с данными v8 v8::УФ 1cv8.cf Платные (руб) Архивирование (backup) Журнал регистрации Поиск данных

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал изменений для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Позволяет следить за изменениями в любых ссылочных объектах конфигурации, с возможностью архивации, свертки данных в другой базе. А так же, может восстановить состояние реквизитов (значения) до момента изменения или удаления объекта из базы. Ну и конечно – подробная бесплатная справка! Работает на любых платформах выше 8.2.16+ и любых конфигурациях! Есть ДЕМО-версии! Версия 1.03 от 28.10.2018

12990 руб.

15.05.2017    20022    98    15       

Версионирование объектов для Альфа-авто, ред 4 и 5. 21

Инструменты и обработки Системный администратор Пользователь Руководитель проекта Архив с данными v8 1cv8.cf Автомобили, автосервисы УУ Оптовая торговля Розничная торговля Платные (руб) Сервисные утилиты Журнал регистрации Управление услугами и сервисом

Подсистема версионирования объектов для конфигураций Рарус: Альфа-авто на базе типовой подсистемы от 1С. Позволяет хранить историю изменений документов и справочников, кто, что, когда и какие данные изменял, а так же вернуться к предыдущим версиям объекта.

4000 руб.

03.09.2016    23570    40    15       

История версий для хранения истории версий документов в 1С и отката документа до выбранной версии 4

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 УТ10 УПП1 Платные (руб) Журнал регистрации

«Автоматизация бизнеса: История версий» - это комплекс дополнений к конфигурациям на базе "1С:Предприятие 8", предназначенный для хранения истории изменений справочников и документов, анализа изменений с точностью до значения реквизитов и возможностью для отката данных до выбранной версии объекта. История версий легко может быть интегрирована в любую конфигурацию на базе "1С:Предприятие 8" (в т.ч. на управляемых формах). При объединении не требуется вносить изменения в объекты исходной конфигурации.

15000 руб.

16.08.2016    14910    9    4       

Тюнсофт: Журнал регистрации изменений реквизитов во внешней базе 1С (управляемые и обычные формы) 18

Инструменты и обработки Системный администратор Конфигурация (md, cf) v8 v8::УФ 1cv8.cf Windows Платные (руб) Журнал регистрации

"Журнал" позволяет быстро определить когда, кем и какие документы и справочники были изменены с детализацией по значениям реквизитов. Также фиксируются изменения регистров сведений. Таким образом можно быстро без привлечения администраторов выявить недобросовестных сотрудников и принять меры.

10900 руб.

21.03.2016    20959    172    1       

"2iS:Администратор" - центр управления инфраструктурой 1С 44

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 1cv8.cf Windows Платные (руб) Сервисные утилиты Архивирование (backup) Журнал регистрации

Без изменения конфигураций инфобаз Вы получаете: - Из единой точки регистрацию и обслуживание баз, серверов 1С и СУБД - Мониторинг и контроль любых заданий - Контроль за аппаратными ресурсами и анализ производительности - Централизованные контроль за версиями и авто обновления конфигураций - Отчеты по работе SQL и многое другое... Как следствие: - Снижение затрат на ИТ-поддержку - Снижение влияния “человеческого фактора” - Улучшение качества обслуживания - Увеличение производительности Ваших систем При покупке бесплатно установим программу и в режиме демонстрации настроим любую одну из заявленных функций.

20000 руб.

05.03.2016    36894    25       

История изменения реквизитов для любых конфигураций 10

Инструменты и обработки Системный администратор Конфигурация (md, cf) v8 1cv8.cf Windows Платные (руб) Журнал регистрации

Просмотр истории изменения документов и справочников одним кликом. Дополнение к любой конфигурации на платформе 1С 8x. Позволяет отслеживать историю изменения реквизитов справочников и документов, в том числе и их табличных частей. Для управляемых и не управляемых форм.

2500 руб.

12.01.2016    15472    0       

LogManager - Внешний журнал регистрации в SQL 35

Инструменты и обработки Системный администратор Программист Конфигурация (md, cf) v8 1cv8.cf Windows Платные (руб) Журнал регистрации Статистика базы данных

Журнал регистрации платформы 1С в SQL. Общая база хранения всех журналов. Через com-подключение регламентным заданием периодически догружает журналы регистраций из рабочих баз. Предоставляет настраиваемый доступ к журналам по правам подразделений. Формирует отчеты по пользователям и данным.

10000 руб.

23.05.2014    38471    135    16       

Отчет "История изменений по реквизиту" 2

Инструменты и обработки Системный администратор Программист Пользователь Внешний отчет (ert,erf) v8 Россия Windows Платные (руб) Журнал регистрации Администрирование данных 1С

Отчет позволяет отслеживать изменения реквизитов любого справочника и документа для которого включено версионирование. В отличии от типового отчета, результат выводится сводно по всем объектам заданного типа. Работает на подсистеме БСП Версионирование.

1500 руб.

04.09.2013    15953    7       

"Аудиторский след" (история изменений) документов и справочников для любой конфигурации обычного приложения 8.2 8

Инструменты и обработки Системный администратор Конфигурация (md, cf) v8 1cv8.cf Windows Платные (руб) Журнал регистрации

Модуль предназначен для фиксирования изменений документов, справочников и любых объектов ссылочного типа с точностью до значения каждого реквизита, включая реквизиты табличных частей.

3000 руб.

30.01.2013    13472    1       

Полный контроль действий пользователей в 1С. Учет трудозатрат 50

Инструменты и обработки Системный администратор Конфигурация (md, cf) v8 1cv8.cf Россия Windows Платные (руб) Журнал регистрации

РАЗРАБОТКА ПОЛНОСТЬЮ ОБНОВЛЕНА! ВЫЛОЖЕНА ДЕМО-ВЕРСИЯ Скольких проблем можно было бы избежать, получая информацию о том, кто и что делал в базе данных, вовремя и в полном объеме! Ошибки, махинации с данными... Чем больше предприятие, тем более оно может быть не защищено от невнимательных или недобросовестных сотрудников. Подсистема "Полный контроль" является удобным, оперативным и гибким инструментом анализа и контроля действий пользователей 1С. В состав модуля включен механизм учета трудозатрат, исходя из данных о выполненных пользователями операциях за отчетный период.

12500 руб.

14.09.2011    32287    367    145       

addOn "ЦБТ Аудит проводок" 11

Инструменты и обработки Бухгалтер Внешняя обработка (ert,epf) v8 1cv8.cf Россия Windows Платные (руб) Журнал регистрации

addOn «ЦБТ Аудит проводок» - электронный журнал для протоколирования и анализа изменений хозяйственных операций, выявления аудиторского следа в 1С. Помогает быстро и точно находить ошибки и случайные изменения в бухгалтерских документах, а также разграничивает ответственность исполнителей.

1000 руб.

06.11.2010    16048    93    30