Выгрузка журнала регистрации в ElasticSearch с помощью Python

Публикация № 1432598

Администрирование - Администрирование данных 1С - Журнал регистрации

ElasticSearch python журнал регистрации

Данный скрипт реализован на языке python с подключаемой библиотекой ElasticSearch, что позволяет парсить и загружать файлы ЖР напрямую в ES. ВНИМАНИЕ! Данный парсер работает только со старым форматом ЖР и только, если у него периодичность день или час.

В данной статье я бы хотел затронуть проблему поиска по журналу регистрации, если нужно проанализировать данные за достаточно большой период времени и при этом база находится под высокой нагрузкой. 

Входные данные:

Периодичность файла ЖР: Час

Средний размер файла: 900 Мб

Штатными средствами проанализировать даже данные за день невозможно.

Выходные данные:

Требование к системе:

Оперативность получения данных: в рамках периодичности

Хранение данных в днях: 15

Средний размер индекса за день: 10Гб

Среднее количество строк в индексе за день: 90М

 

В данной статье не рассматривается настройка ES, подразумевается, что пользователь достаточно опытный, чтобы найти информацию по установке и настройке. На ИС есть несколько годных статей.

 

Данный скрипт находится в стадии бета, код открыт всем желающим, работает на нескольких продуктовых базах и, если кто-то захочет поучаствовать в развитии - welcome.

Итак, система готова, python, ES, Kibana установлены и настроены, библиотеки для python загружены.

Вызов осуществляется из командной строки.

 
 Пример:

 

 
 Возможные аргументы:

 

Смещение по времени требуется, если на одном сервере обрабатываются журналы баз из различных часовых поясов.

Так же, важное замечание. В моем случае не требовалось парсить поле Данные, достаточно только представление данных.

 
 Сам скрипт

 

Пример поиска конкретного документа и расследование действий с ним

 

Тестировалось на платформе 8.2.19 в ОС Windows

В разработке использовалась статья про формат ЖР //infostart.ru/1c/articles/182061/

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. itmind 260 05.05.21 05:42 Сейчас в теме
Почему только с периодичностью час или день?
2. buganov 173 05.05.21 09:03 Сейчас в теме
(1) потому что делал для себя, а более крупной нету, ибо пришлось бы наращивать оперативную память для обработки таких файлов, в тексте я указал, что даже за час набегает около гигабайта. В принципе, текст скрипта открыт, в этом куске
if periodicity == 'h':
            last_date = now_date - datetime.timedelta(hours=hour_delta)
            file_name = last_date.strftime("%Y%m%d%H0000.lgp")
        else:
            last_date = now_date - datetime.timedelta(days=1)
            file_name = last_date.strftime("%Y%m%d000000.lgp")


можете добавить свой в аргумент --p и обработать его.

Например, для месяца будет что то, вроде
parser.add_argument("--p", default='h', choices=["h", "d", "m"], required=True, type=str,
                        help="Периодичность журнала. h - почасовой; d - подневной; m - помесячный")


 last_date = now_date - datetime.timedelta(months=1)
            file_name = last_date.strftime("%Y%m00000000.lgp")


Опять же, отвечая на вопрос, я не могу представить сценария расследования, когда нужно посмотреть месяц назад, либо перелопачивать регулярно одни и те же данные и загружать в эластик
Оставьте свое сообщение

См. также

Взаимодействие 1С со сторонними продуктами посредством REST и Golang (middleware). Часть 3 - ElasticSearch

Интеграция Журнал регистрации Бесплатно (free)

Как в статье №1 этого цикла выгрузим через прослойку журнал регистрации (xml формат) в ElasticSearch. Статья будет иметь практическую направленность в минималистичном стиле

14.09.2020    1771    dmitry-irk38    4    

Сбой, отказ 1C:Предприятия 7.7, код исключения e06d7363. APPCRASH 1cv7s.exe

Администрирование СУБД Журнал регистрации v7.7 1cv7.md Бесплатно (free)

Прекращена работа программы "1CV7 starter program". Никто не может зайти в 1C 7.7. Апкреш. Что делать? Проверьте, возможно журнал регистрации информационной базы 1С: Предприятия 7.7 поврежден.

17.08.2020    1526    ksnik    3    

Быстрый способ удаления записей из журнала регистрации 1С

Журнал регистрации Чистка базы v8 Бесплатно (free)

Возникают ситуации, когда необходимо выборочно удалить из журнала регистрации определенные записи. Например, размер файлов журнала неконтролируемо вырос из-за неправильно сконфигурированного регламентного задания. С помощью Perl журнал можно очистить от лишних записей всего одной строкой.

06.08.2020    3521    DataReducer    6    

Работа с журналом регистрации. Выходим за границы платформы

Журнал регистрации Бесплатно (free)

Работа с журналом регистрации нестандартными средствами. А также немного про использование платформы .NET в экосистеме 1С.

12.05.2020    9239    YPermitin    29    

ELK. Время изумительных историй!

Журнал регистрации Работа с интерфейсом v8 1cv8.cf Бесплатно (free)

Всем привет! Сегодня хочу рассказать вам несколько полезных историй про то как нам помог Elastic search в связке с Kibana. Про сам Elastic рассказывать не буду, уже все давным давно описали и до меня. Все обычно говорят что это полезно, это классно. В то же время, очень мало кто рассказывает про практические ситуации: когда и как помог Elastic. Итак, начнем.

31.10.2019    9499    slozhenikin_com    28    

Версионирование регистров сведений

Журнал регистрации Практика программирования v8 Бесплатно (free)

Моя реализация механизма мониторинга изменений регистра сведений.

17.09.2019    4225    KonS    10    

Переход на 64-х разрядный сервер 1С

Журнал регистрации Администрирование данных 1С v8 Бесплатно (free)

Переход с 32-х разрядной версии сервера 1С на 64-х разрядную с сохранением данных журналов регистрации информационных баз, используемых в 32-х разрядной версии.

05.04.2019    26786    ids79    18    

Анализ 1С: Предприятие 7.7 с помощью ELK стека

Журнал регистрации Администрирование данных 1С v7.7 1cv7.md Бесплатно (free)

Рассмотрим систему на базе Elasticsearch, Logstash и Kibana (ELK Stack) для анализа логов 1С Предприятие 7.7 с целью визуализации и анализа событий 1С.

22.01.2019    9020    phsin    20    

Мониторинг активности пользователя

Журнал регистрации v8 1cv8.cf Бесплатно (free)

Работает ли пользователь с программой? Сколько времени пользователь работает в программе? Что пользователь делает в программе? - эти вопросы стандартно решаются или просмотром журнала регистрации, или с помощью внешних программ. В данной статье будет предложен способ, как следить за активностью пользователей, используя небольшую доработку конфигурации. Бонусом системы мониторинга является автоматическое завершение сеансов пользователей, не работающих с программой длительное время.

11.10.2018    18740    postovalov    25    

Все, что вы хотели знать о журнале регистрации

Журнал регистрации v8 Бесплатно (free)

Исследование файла Журнала регистраций в формате lgd.

22.09.2018    27956    Fox-trot    25    

Кто запустил анализ журнала регистрации?

Журнал регистрации v8 Бесплатно (free)

В новом формате хранения файл журнала регистрации может достигать сотен гигабайт. Время выполнения выборки по нему будет очень большим, при этом возникает проблема: останавливается работа всех пользователей.

16.09.2017    19575    metmetmet    42    

Подробный журнал регистрации изменений

Журнал регистрации v8 Бесплатно (free)

Потребовалось отслеживать изменения реквизитов справочников, документов (в т.ч. и табличных частях), так как штатный журнал регистрации не даёт достаточной информации. Поскольку внедрять в рабочую конфу какие-то навороченные подсистемы, коих в сети как грязи, не хотелось, решено разработать небольшую процедуру регистрации изменений в журнале регистрации. Сама идея подобной фичи возникла после прочтения материалов статьи Механизм детального отслеживания изменения содержимого документов

24.07.2017    12653    user700035_6550355    16    

Сжатие журнала регистрации в формате SQLite (.lgd) с помощью программы "DB Browser for SQLite".

Журнал регистрации v8 Россия Бесплатно (free)

Если журнал регистрации базы 1С заметно увеличился, Вы не сможете оперативно искать в нем нужную информацию. Более того, работа с таким журналом может вызывать блокировку работы всех пользователей. Для предотвращения разрастания журнала необходимо устранять настройками запись ненужных событий и перемещать в архивы события с неактуальными датами. Избавиться от уже записанной ненужной информации можно с помощью программы DB Browser for SQLite указанным в этой статье способом.

04.06.2017    28575    DrSender    6    

Запись в журнал регистрации изменений дополнительных сведений

Журнал регистрации v8 УТ11 УУ Бесплатно (free)

Небольшая доработка программы "Управление торговлей 11" для записи информации в журнал регистрации изменений дополнительных сведений (регистр сведений) по объектам. Должна работать на всех релизах.

04.05.2017    39429    Mortiferus    5    

Загрузка логов журнала регистрации 1С из MS SQL в ElasticSearch

Журнал регистрации v8 Бесплатно (free)

Еще один инструмент хранения и визуализации логов журнала регистрации 1С

01.09.2016    37546    farukshin    9    

Ошибка формата файла журнала регистрации, database disk image is malformed

Журнал регистрации v8 1cv8.cf Бесплатно (free)

Ошибка формата файла журнала регистрации по причине: sqlite3_step failed: database disk image is malformed db: C:\Program Files\1cv8\srvinfo\reg_1541\34eda2fe-bcf4-485e-ab47-4f302319f59a\1Cv8Log\1Cv8.lgd sql: SELECT severity, date, connectID, session, transactionStatus, transactionDate, transactionID, userCode, computerCode, appCode, eventCode, comment, metadataCodes, sessionDataSplitCode, dataType, data, dataPresentation, workServerCode, primaryPortCode, secondaryPortCode FROM EventLog WHERE date<3155378867999999 AND eventCode IN (1,2,5,6,7,8,9,10,11,12,13,14,15,16,17,18,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42) ORDER BY date DESC

27.09.2015    94033    mrWatson    30    

Анализ журнала регистрации для автонастройки списка выгружаемых объектов в обработке ВыгрузкаЗагрузкаДанныхXML82.epf

Журнал регистрации Практика программирования Перенос данных из 1C8 в 1C8 v8 1cv8.cf Бесплатно (free)

Сказ о том, как с помощью слегка модифицированной обработки ВыгрузкаЗагрузкаДанныхXML82.epf решить задачу "Выгрузить из базы-источника все объекты, которые заданный пользователь изменил в указанный период". Данная публикация может быть интересна тем, кто хочет узнать: а) как программно анализировать журнал регистрации и б) как программно настраивать список выгружаемых объектов в обработке ВыгрузкаЗагрузкаДанныхXML82.epf.

06.08.2015    19424    q_i    2    

Журнал регистрации 1С: путь к пониманию процессов клиента

Журнал регистрации v8 1cv8.cf Бесплатно (free)

Как понять процессы документооборота клиента, имея доступ к его базе и не общаясь с ним.

11.06.2015    16886    Kindman1980    23    

Облегчение вызовов журнала регистрации с отбором по объекту

Журнал регистрации v8 1cv8.cf Бесплатно (free)

Регулярно возникает необходимость просмотреть журнал регистрации по одному объекту. С минимальными изменениями можно автоматизировать установку отбора и вызов непосредственно из формы объекта данных

24.03.2015    13538    tarassov    7    

SQL-доступ к журналу регистрации 1С:Предприятие 7.7

Журнал регистрации v7.7 1cv7.md Бесплатно (free)

Все, кто работают с 7.7, знают, что журнал регистрации тормозит нещадно, в связи с чем пользы от него очень мало, и её ещё меньше, когда размер журнала превышает хотя бы 50 мегабайт. На Инфостарте, по- моему, даже есть средства для просмотра журнала, может, даже они эффективны, но моей мечтой всегда был sql-доступ к этому журналу, т.к. это просто, наглядно, удобно и, что самое важное, - очень быстро. Кому интересно - добро пожаловать.

11.12.2014    15019    VladC#    8    

Ошибка при запуске журнала регистрации 1с 7.7

Журнал регистрации v7.7 Бесплатно (free)

При запуске программы выходило сообщение «Ошибка при запуске журнала регистрации». Дело было не в бабине..

04.10.2013    31011    Alexion    2    

Создание пользовательского правила в журнале событий Windows

Журнал регистрации Бесплатно (free)

Создан пользовательский фильтр в журнале событий Windows. Создано оповещение, отправляющее электронное сообщение.

14.06.2013    9788    chukawata    5    

Копия напечатанного документа или как спрятать документ.

Журнал регистрации Практика программирования v7.7 Бесплатно (free)

Возникла необходимость, чтобы при печати определённого документа (даже потом не сохранённого), создавалась его копия, т.е. запись всех напечатанных документов. (В результате чего возникла такая потребность, полагаюсь на вашу фантазию). В итоге получилось два варианта решения, остановился на втором.

11.04.2013    15806    Dima_    8    

Формат файлов журнала регистрации 1С 8.1/8.2 - ELF/LOG/LGF/LGP

Журнал регистрации v8 1cv8.cf Бесплатно (free)

В статье детально описан формат текстовых файлов журнала регистрации 1С 8.1 - ELF/LOG и 1С 8.2 - LGF/LGP

09.04.2013    83765    Антон Ширяев    34    

Версионирование объектов в программе «Управление торговлей для Украины 3.0»

Журнал регистрации Администрирование данных 1С v8 УТ10 Украина Бесплатно (free)

Для выполнения административных обязанностей часто нужно выяснить, какие события происходили в определенный момент времени или какие действия выполнял тот или иной пользователь.

13.02.2013    26756    aharechko    21    

Автоматизация укорачивания журнала регистрации

Журнал регистрации v8 1cv8.cf Бесплатно (free)

Автоматизированная периодическая очистка разросшегося журнала регистрации на сервере с сохранением удаляемых частей на другом диске.

14.11.2012    31579    Stamper    8    

Контроль изменения документов

Журнал регистрации v8 1cv8.cf Россия Бесплатно (free)

Надоело ловить за руку тех кто изменяет документы задним числом, после их распечатывания? Постоянно мучают мысли, а все ли документы в БД правильно оформлены и подписаны? Если так, читайте дальше

17.11.2011    25606    pzu    14    

Проверка активности работы

Журнал регистрации openconf v77::ОУ v77::БУ v77::Расчет 1cv7.md Россия Бесплатно (free)

Проверка последнего действия пользователя в журнале регистрации.

19.10.2010    13613    zsrg    15