Магия преобразований Vector, часть 3: журнал регистрации + прямой экспорт ошибок в Sentry

19.11.23

База данных - Журнал регистрации

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Пример файла конфигурации для журнала регистрации 1С
.yaml 16,51Kb
6
6 Скачать (1 SM) Купить за 1 850 руб.

Продолжение цикла статей:

Посвящена тонкостям универсального разбора последовательного журнала регистрации (не в формате SQLite) и пример отправки ошибок напрямую в Sentry.

Sentry - это система отслеживания ошибок (баг-трекинг), более подробно можно ознакомиться в следующих статьях:

 

Практическая часть

 

На входе в конвейер Vector имеет многострочный текст одной строки журнала регистрации (как и в ситуации с технологическим журналом):

 

 

Но часть реквизитов (Users, Computers, Applications, Events, Metadata, Servers, Ports и PortsAdd) представляют из себя ссылки на значения, находящиеся в общем файле 1Cv8.lgf, расположенным в том же каталоге:

 

 

Вероятно, это сделано для быстрого формирования списков отбора по этим реквизитам.

Первичная внутренняя картина на входе блока Sources типа File (отладочный вывод в формате JSON; правая часть строк message обрезана на скриншоте, она полностью содержит многострочную строку):

 

 

Первым шагом в блоке трансформации с типом remap с помощью регулярного выражения разложим message на составляющие:

 

 

Далее, в этом же блоке, выполним конвертации некоторых реквизитов и используем "таблицы обогащения" (информация о них содержится в первой части):

 

 

Следующим шагом нам необходимо "обогатить" часть реквизитов за счёт значений из файла 1Cv8.lgf. Сделать это можно в Vector только в отдельном блоке трансформации с типом lua:

 

 

Авторство кода на lua принадлежит Алексею Калилецу (axilab), оригинальная статья Выгрузка журнала регистрации 1С в ClickHouse с помощью Vector, публикуется с незначительными изменениями с письменного согласия автора.

Профит! Данные можно отправлять дальше, к примеру, в ClickHouse или ElasticSearch.

 

Экспорт в Sentry

 

Если вам нужен только экспорт ошибок из журнала регистрации в Sentry, то после первого блока трансформации нужно добавить блок-фильтр (что бы не тратить ресурсы сервера на обогащение данных, которые в последствии будут отброшены).

Что бы данные отправить в Sentry, добавим отдельный блок фильтрации и отдельный блок трансформации, где приведём данные к нужному нам формату, например:

 

Завершаем блоком sinks с типом http, проверяем:

 

 

Примечание

 

Хотелось бы обратить внимание, что если вы экспортируете журнал регистрации (не важно какими средствами) в реальном времени, то информация о статусах транзакций будет недостоверна, т.к. строки в журнал не только добавляются, но и изменяются - по мере изменения статусов транзакций. Так же хотелось бы отметить, что в баг-трекинге 1С зарегистрирована ошибка № 70066363, связанная с некорректной работой данного механизма при определённых условиях (каких именно не известно):

 

Журнал регистрации Vector

См. также

Журнал регистрации Системный администратор Платформа 1С v8.3 1C:Бухгалтерия Платные (руб)

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

6000 руб.

28.11.2018    21236    17    7    

43

Логистика, склад и ТМЦ Мониторинг Маркетплейсы Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Платные (руб)

Расширение для 1С, которое автоматически «отлавливает» тарифы складов с наиболее выгодными коэффициентами для ваших товаров на маркетплейсе Wildberries. С помощью этого инструмента вы сможете легко находить и выбирать склады с лучшими условиями для максимизации своей прибыли. Удобная интеграция позволяет настроить регулярный поиск складов по выгодным коэффициентам в виде регламентного задания в 1С, что существенно экономит время и автоматизирует процесс принятия решений по размещению товаров. Всегда будьте на шаг впереди конкурентов и повышайте эффективность своего бизнеса с помощью «Ловца коэффициентов складов Wildberries»!

3600 руб.

14.11.2024    595    1    0    

4

Журнал регистрации Программист Россия Бесплатно (free)

В материале рассматривается сравнение двух инструментов для работы с журналом регистрации 1С: утилиты ibcmd и платформы Vector. Описаны их функциональные возможности, тестирование производительности и практическое применение для преобразования логов в формат JSON.

20.11.2024    1719    user1913000    12    

20

Учет доходов и расходов Логистика, склад и ТМЦ Маркетплейсы Мониторинг Пользователь Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Розничная и сетевая торговля (FMCG) Оптовая торговля, дистрибуция, логистика Управленческий учет Платные (руб)

Расширение модуля Synchrozon для удобного контроля габаритов на Ozon! Разработка позволяет мгновенно сравнивать установленные габариты товаров, с габаритами, указанными на Ozon, чтобы выявлять любые несоответствия. Поможет сократить расходы на логистику, гарантируя, что все данные о товарах остаются точными и актуальными.

3600 руб.

31.10.2024    539    1    0    

3

Журнал регистрации Тестирование QA Программист Бесплатно (free)

Поговорим про логирование в приложениях на базе 1С, рассмотрим проблемы, которые возникают при сборе информации из этих систем, и обсудим практический опыт применения внутренних и внешних инструментов для анализа логов.

21.10.2024    3769    leemuar    8    

24

Мониторинг Системный администратор Программист Платформа 1С v8.3 1C:Бухгалтерия Абонемент ($m)

Решение для автоматического отслеживания нагрузки на кластеры 1С различных версий, автоматического удаления сеансов по показателям кластера, удаления сеансов по показателям через телеграм бота, мониторинга журнала регистрации с возможностью блокирования входов и сброса сеансов для пользователей инициаторов событий, получение анализа ошибок журнала регистрации в телеграм.

1 стартмани

13.06.2024    5485    45    Garilia    3    

38

Мониторинг Системный администратор Бесплатно (free)

Возникновение нештатных ситуаций при эксплуатации высоконагруженных и распределенных систем неизбежно. Для снижения рисков, связанных с простоем системы, используется мониторинг. В статье речь пойдет о том, какие в Почте России ставятся задачи мониторинга, каким образом они решаются, и какие инструменты для этого используются.

24.05.2024    4546    AdepTcs    3    

20
Оставьте свое сообщение