Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch

Публикация № 1058443 15.05.19

База данных - Журнал регистрации

Журнал регистрации ElasticSearch Kibana администрирование мониторинг быстрый поиск эластик логи elastic

Elasticsearch - это opensource решение для очень быстрого поиска данных в больших массивах информации. Использование этого решения позволит решить проблемы с поиском и анализом больших объемов информации журнала регистрации. Протестировано на платформах начиная с 8.3.10.2580.

Позволяет загрузить в единое хранилище данных разнородную информацию в JSON-формате, а затем производить выборки детальной и агрегированной информации.

Это не реляционная база данных. Взаимосвязей между разнородными объектами нет, поэтому сфера применений для учетных задач ограничена, но многие технологические задачи можно решать весьма эффективно.

Для выгрузки журнала регистрации потребуется сервер с установленным ElasticSearch для загрузки в него данных и Kibana, которая служит для визуализации данных, поиска информации и построения готовых дашбордов и виджетов.

Описание и инструкции по установке ElasticSearch, вопросы безопасности/разграничения доступа к ElasticSearch/Kibana, настройка сертификатов, кластеризация и масштабирование ElasticSearch не рассматриваются т.к. это не входило в изначальную задачу.

Для внедрения подсистемы в свою конфигурацию необходимо запустить сравнение объединение с конфигураций в файле и выбрать в подменю "Действия" - "Отметить по подсистемам файла". После объединения необходимо зайти в режим 1С Предприятия и заполнить константы для ElasticSearch (пример есть на изображениях).

Быстрый старт:

 1)     Подключиться к инструменту – Kibana по ссылке «адрес сервера:5601»

 

 2)     Перейти на вкладку Discover и выбрать индекс индекс необходимой базы

 

 3)     В правом верхнем углу выбрать предлагаемый период:

Либо выбрать конкретный промежуток времени:

              

4)     На графике можно увидеть динамику количества записей в данный период времени:

 

 5)     Для поиска конкретной информации можно воспользоваться фильтрами по полям:

 6)     Пример поиска по событий по документам:

 

Скачать файлы

Наименование Файл Версия Размер
Подсистема для выгрузки, быстрого поиска и анализа журнала регистрации 1С в Elasticsearch:

.cf 12,93Kb
35
.cf 12,93Kb 35 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. pbabincev 128 15.05.19 14:49 Сейчас в теме
2. GreenDragon 15.05.19 15:00 Сейчас в теме
С какой версией elastic общается подсистема?
4. Nikolo17 53 16.05.19 07:40 Сейчас в теме
(2) Должна работать начиная с 6 версии, на текущий момент обновлялись до версии 6.7.
6. GreenDragon 16.05.19 07:46 Сейчас в теме
(4) Ковыряюсь с 7. Много различий с 6?
Предыдущая версия подобной подсистемы работала с 5 и отличий был вагон
7. Nikolo17 53 16.05.19 07:58 Сейчас в теме
(6) Да API 6 версии сильно отличается от 5, тоже сначала с 5 работали. На 7 версию в планах переходить, по описанию существенных изменений в API не увидел.
8. GreenDragon 16.05.19 08:01 Сейчас в теме
(7) Спасибо за информацию. В таком случае после сегодняшнего хакатона будем качать и пробовать.
3. metmetmet 81 15.05.19 19:47 Сейчас в теме
В статье не описано, но обычно интересует следующее:
Как реализована выгрузка: один раз выгружаются данные и анализируются, или периодически выгружаются только новые данные или ещё как-то?
Есть зависимость от формата ЖР?
5. Nikolo17 53 16.05.19 07:44 Сейчас в теме
(3) Выгружаются данные за промежуток времени один раз, далее подгружаются актуальные данные с настаиваемой периодичностью. От формата жр зависимости нет.
9. user612295_death4321 19.05.19 19:07 Сейчас в теме
Не анализировали случайно сколько места будет потреблять 1 день журнала регистрации? Например если сравнить занимаемый объем за день ldf / ldg файла и залитый этот же день в Elasticsearch ?

Ищу какое нибудь решение которое позволит загружать большие журналы регистрации (цифры идут около 25 ГБ в сутки). Когда то рассматривал варианты Elasticsearch или ClickHouse от яндекса, но дальше рассматривания дело не дошло)

Или может кто-то может порекдомендовать решение кто и как складирует монструозные объемы логов ?
10. Nikolo17 53 20.05.19 12:42 Сейчас в теме
(9) У нас выбор был между InfluxDB и Elastic. Остановились на втором варианте, поскольку был какой то опыт работы с ним. Размеры прогнозировать сложно, все зависит от количества записей в журнале, и размеров строк в записях. Если отталкиваться от размеров журнала в месяц то в Elastic он занимает в 2-3 раза больше места. Но опять же есть настройки самого Elastic которые могут сокращать или увеличивать этот размер, зависит от того что важнее нагрузка на железо или занимаемое место.
11. Semyonat 20 21.05.19 11:27 Сейчас в теме
Подскажите, а как вы решаете вопрос с идентификацией объектов. Для примера какой пользователь проводил тот или иной документ? Может у вас есть отдельные таблички с идентификаторами, и вы их соединяете или как некоторые выгружаю в индекс сразу с понятным названием?
12. Nikolo17 53 22.05.19 08:31 Сейчас в теме
(11) По умолчанию выгружается представление объектов (для документа по умолчанию дата и номер) и вполне можно по нему найти все операции. Имя пользователя и его идентификатор так же выгружаются по умолчанию, если необходимо то есть возможность добавлять поля на стороне 1с при выгрузке в elastic (программно), например поля конкретных объектов. При загрузке elastic автоматически добавляет необходимые поля в структуру, так же есть возможность самому редактировать структуру полей через rest api, но это в данной подсистеме не реализовано.
13. buganov 195 26.03.21 18:54 Сейчас в теме
Как именно выгружается ЖР? Самой платформой или парсятся файлы на диске?
14. Nikolo17 53 09.06.21 08:17 Сейчас в теме
Оставьте свое сообщение

См. также

Быстрый поиск дублей с четким/нечетким поиском по любому сочетанию реквизитов/реквизитов таб. частей с отбором и быстрой заменой значений в ЛЮБЫХ базах 8.1-8.3 (УТ 10.3, БП 2, ЗУП 2.5, КА 1.1, УТ 11, БП 3, УНФ 1.6/3.0, КА 2, ЗУП 3 и т.д.)

Чистка данных Поиск данных Обработка справочников Обработка документов Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Данные обработки помогут Вам легко и, главное, быстро (в 5 раз и быстрее штатной обработки 1С), выполнить поиск дублирующих данных в Ваших базах 1С на платформах 8.1-8.3. Это позволит уменьшить объем лишней информации в справочниках и документах, планах видов характеристик и др., упростит работу с данными пользователям. А так же можно, одним нажатием, узнать в каких ссылочных объектах есть вообще дубли! Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. Если что-то будет неясно по работе с обработками – я готов Вам помочь. А так же обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! Данные обработки входят в ТОП-100 продаж за все время, что является залогом популярности, надежности в работе, и признанием других покупателей. (Обновление от 18.07.2022, версия 6.9)

8400 руб.

14.05.2012    147689    305    247    

535

Ведение подробного лога (версионирование) справочников, документов и регистров сведений с сохранением истории изменений на SQL-сервере

Журнал регистрации Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

История изменений реквизитов и табличных частей справочников, документов, независимых регистров сведений, возможность отката изменения, восстановление удаленных объектов, сбор статистики использования базы 1С. Альтернативный журнал регистрации.

19200 руб.

22.02.2018    32351    56    53    

52

Версионирование регистров сведений (необъектных данных) - история изменений по версиям записей регистров сведений - ВНОД

Журнал регистрации Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

ВНОД – отдельная (дополнительная) подсистема, которая построена на основе типовой подсистемы «Версионирование объектов». Предназначена для сохранения и анализа изменений независимых (периодических и непериодических) регистров сведений, с точностью до состава измерений, ресурсов и реквизитов записей.

2800 руб.

11.02.2019    24546    63    22    

24

Журнал изменений с восстановлением состояния ссылочных объектов и архивацией по HTTP / COM (расширение + конфигурация, 8.3.14+, ЛЮБАЯ конфигурация)

Архивирование (backup) Журнал регистрации Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал изменений для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Скорость работы почти в 2 раза выше типового механизма "История изменений"! Позволяет следить за изменениями и удалением в любых ссылочных объектах конфигурации, с возможностью архивации по HTTP(!) или COM, и сверткой данных. А так же, может восстановить состояние реквизитов (значения) до момента изменения или удаления объекта из базы. Есть ДЕМО-база где можно самостоятельно протестировать часть функционала! Работает на любых платформах выше 8.3.14+ и любых конфигурациях! Версия 3.0 от 08.05.2023!

16800 руб.

15.05.2017    40203    10    24    

36

Анализ версий объектов/отчет по версиям

Журнал регистрации Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Отчет по версионированию объектов позволяет посмотреть историю изменения объектов за указанный период. Сможете посмотреть кто, что и когда поменял и наладить учет.

1800 руб.

20.04.2021    6156    16    9    

7

Выгрузка журнала регистрации 1С в ClickHouse с помощью Vector

Журнал регистрации Внешние источники данных Абонемент ($m)

Данное решение предназначено для выгрузки журнала регистрации из 1С 8.2 - 8.3 (формат журнала LGF/LGP) в ClickHouse. Одной из отличительных особенностей данного решения является возможность подключения экспортера ЖР к системам мониторинга.

1 стартмани

10.11.2022    6563    33    axilab    17    

54

Loggie. Детальное логирование изменений данных в 1С

Журнал регистрации Платформа 1С v8.3 Абонемент ($m)

Расширение для платформы 1С (с режимом совместимости не менее 8.3.11), детализирующее изменение данных констант, справочников, документов, регистров сведений и накоплений. Для каждого изменения объекта или поля его Табличной Части запоминается состояние до и после, при условии их наличия.

1 стартмани

02.09.2022    5155    10    MrWonder    15    

28

Отчет об изменениях объектов для аналитиков и не только

Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Россия Бесплатно (free)

Если вам нужно посмотреть, кто и какие внёс изменения в существующие документы реализации в течение дня, или кто и что изменил в справочнике контрагентов в прошлом месяце, этот отчёт поможет вам. Просто подключите отчёт, выберите тип справочника, или документа, период, за который хотите посмотреть изменения, и сформируйте отчет.

17.04.2022    3116    206    vld1973    14    

23

Поиск и замена значений + Поиск дублирующихся элементов справочников с подключением к внешней базе

Поиск данных Корректировка данных Платформа 1С v8.3 Управляемые формы Платформа 1C v8.2 Конфигурации 1cv8 Платные (руб)

Обработка предназначена для гибкого поиска и дальнейшей замены дублей справочников, документов, а также планов видов расчетов и планов видов характеристик. В обработку включена возможность проверки наличия ссылки во внешней базе (по УИДу), поиска дублей с предварительным отбором, а также произвольной обработки реквизитов перед поиском (например, возможно удалить определенные символы из наименования).

3600 руб.

30.03.2022    7064    2    0    

3

Использование Clickhouse для работы с журналом регистрации

Журнал регистрации Платформа 1С v8.3 Абонемент ($m)

В данной статье я опишу свой опыт внедрения ClickHouse для анализа журнала регистрации.

1 стартмани

03.02.2022    8228    37    Segate    31    

39