Журнал регистрации SQLite, кластер, метаданные

22.12.19

База данных - Журнал регистрации

О журнале регистрации, его форматах и парсинге написано много статей. Но я не нашёл информации, что бы кто-то агрегировал журнал регистрации в кластере или архивные части. Суть проблемы - если у вас несколько серверов 1С (кластер), то ЖР в конкретный момент пишется только на один из узлов (как правило, назначенный функциональной опцией). Стоит перезагрузить или выключить этот узел кластера, то ЖР регистрации начинает писаться на доступный. Соответственно при просмотре ЖР записи отображаются только с активного в данный момент узла кластера.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Журнал регистрации SQLite
.cf 116,58Kb
5
5 Скачать (1 SM) Купить за 1 850 руб.

Так родилась задача - агрегировать ЖР в кластере и при этом не потерять функционал его фильтрации.

Публикация предназначена для работы только с журналом регистрации в формате SQLite (.lgd).

Для запуска необходимо установить драйвер, скачивать здесь: http://www.ch-werner.de/sqliteodbc/

Тестировалось на платформах 8.3.14.1944 и 8.3.16.1063, но должно работать на любой.

Сначала я попробовал использовать штатный функционал - процедуру ВыгрузитьЖурналРегистрации(). Но столкнулся с рядом проблем:

  • необходим был доступ на запись к файлам ЖР
  • после выполнения процедуры последний ЖР оставался захваченным монопольно (можно решить холостым вызовом процедуры)
  • во время выполнения процедуры параллельное выполнение было не возможным (ошибка разделения доступа)

Тогда я поискал на infostart/mista информацию, кто и как работает с ЖР.
За основу я изначально взял идею с внешним источником данных. Некоторые другие полезные мысли подчерпнул из других статей.

В своей работе использую БСП, там есть обработка для просмотра ЖР, ядро которой базируется на процедуре ВыгрузитьЖурналРегистрации(). По сути в своей разработке я практически полностью повторил функционал штатных процедур платформы 1С:

  • ПолучитьЗначенияОтбораЖурналаРегистрации()
  • ВыгрузитьЖурналРегистрации()

и соответственно заменой 2-х строчек кода сохранил штатную функциональность ЖР в БСП (+ добавил новую колонку "СерверЖР").
Почему "практически" - не реализовывал сложные фильтры, где параметрами отборов выступают структуры, потому что не представляю, как легко это можно сделать в запросе (можно при желании самостоятельно добавить реализацию в цикл обхода результата).

Но практически сразу столкнулся с проблемой, что синтаксис SQLite не поддерживается в полном объёме. Не работает в запросе "ВЫБРАТЬ ПЕРВЫЕ X" (это фатально, когда для большого ЖР вызвать метод без отбора - память моментально кончится), поэтому пришлось переписать на прямые запросы.

С чем пришлось столкнуться и какие есть ограничения:

  • после реструктуризации конфигурации с изменением названий объекта/ов метаданных на неактивных узлах ЖР они изменяться только после переключения на этот узел. Это проблема. Так же есть родственная проблема, что для события "_$User$_.Update" (и аналогичных) нет возможности получить Метаданные.Роли, так как для не объектных метаданных нет возможности получить их внутренний идентификатор. Решил их с помощью разработанного для других целей решения (хеш-контроль конфигурации) - отдельный справочник "МетаданныеСистемы", который автоматически заполняется обработкой парсинга выгруженной в файлы конфигурации.
  • никак не оптимизировал по производительности вспомогательную функцию _КонвертироватьВДерево
  • не реализовывал функционал, связанный с "Разделением данных сеанса"
  • не реализовывал парсинг некоторых типов событий (к примеру, _$Access$_.*)

Основные процедуры в общем модуле ЖурналРегистрацииКластер:

  • функция ИспользоватьЖурналРегистрацииSQLite - переопределяемая, позволяет управлять, используется ли данная обработка или штатная БСП
  • функция ВернутьИменаЖурналовРегистрации - переопределяемая, возвращает пути ЖР в вашей разработке
  • функция ПолучитьЗначенияОтбораЖурналаРегистрацииКластер - полный аналог штатной функции ПолучитьЗначенияОтбораЖурналаРегистрации
  • функция ВыгрузитьЖурналРегистрацииКластер - полный аналог штатной функции ВыгрузитьЖурналРегистрации, добавлена только коррекция времени

Основные процедуры в общем модуле ХешКонтроль:

  • функция КаталогВыгрузкиМетаданных - переопределяемая
  • функция ПараметрыКоманднойСтрокиДляВыгрузкиКонфигурации - переопределяемая
  • функция ХешКонтрольСистемы - основная экспортируемая функция

Работают все отборы, которые изображены на 3-ем скриншоте из обработки БСП (не входит в публикацию).

Порядок работы:

  • определяетесь, будете ли использовать подсистему работы с метаданными (если не будете работать - удаляете не нужные модули и справочники)
  • переопределяете все переопределяемые функции
  • для работы с подсистемой работы с метаданными - командой/вызовом выполняете первичное заполнение вспомогательного справочника (1 раз), первично обновляете метаданные (конфигуратор должен быть естественно закрыт)

Это моя первая публикация, прошу сильно не критиковать!

Обо всех ошибках, необходимости доработок, пожеланиях пишите пожалуйста в комментариях, я на связи.

Журнал регистрации SQLite кластер метаданные

См. также

Журнал регистрации Мониторинг Системный администратор Программист Бизнес-аналитик Руководитель проекта Платформа 1С v8.3 Платные (руб)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

9000 руб.

28.08.2019    32916    19    21    

71

Журнал регистрации Системный администратор Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

5000 руб.

28.11.2018    20375    17    6    

40

Инструменты администратора БД Журнал регистрации Системный администратор Платформа 1С v8.3 1С:Управление торговлей 11 Абонемент ($m)

Внешняя обработка для регламентного сокращения журнала регистрации для конфигураций на базе БСП и платформы 8.3.20+

1 стартмани

29.12.2023    1940    27    dima_gsv    3    

13

Журнал регистрации Мониторинг Системный администратор Программист Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

19.11.2023    1259    5    AlexSTAL    0    

8

Мониторинг Журнал регистрации Технологический журнал Системный администратор Программист Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

13.11.2023    4308    9    AlexSTAL    0    

47

Журнал регистрации Инструменты администратора БД Мониторинг Мессенджеры и боты Системный администратор Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х Абонемент ($m)

Внешняя обработка для БСП-конфигураций с простым программным интерфейсом. Предназначена для мониторинга состояния системы. Базово реализована отправка ошибок из журнала регистрации, но можно легко добавить мониторинг других журналов, каких-либо действий пользователей, состояния системы (например закрытие месяца).

3 стартмани

26.09.2023    2526    15    doom2good    10    

14

Журнал регистрации Статистика базы данных HighLoad оптимизация Конфигурации 1cv8 Абонемент ($m)

Удобный отчет по выполнению фоновых заданий в 1С с разбивкой по разным критериям, например по срокам, в какой последовательности, выполнение дольше всех, сколько одновременно и так далее.

5 стартмани

04.09.2023    1189    11    Maxiko    0    

8

Linux Журнал регистрации Системный администратор Платформа 1С v8.3 Бесплатно (free)

Экспериментируем с реализацией драйвера текстового устройства под Linux для перенаправления вывода журнала регистрации.

07.08.2023    1733    Lars Ulrich    1    

17
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. bpc222 2061 23.12.19 08:28 Сейчас в теме
Поздравляю с первой статьей! Молодец!

если у вас несколько серверов 1С (кластер), то ЖР в конкретный момент пишется только на один из узлов

Это не так. Все зависит от использования деления по ИБ: https://its.1c.ru/db/v8316doc#bookmark:cs:TI000000024
2. AlexSTAL 125 23.12.19 08:35 Сейчас в теме
(1) Спасибо! Имелось ввиду для одной ИБ
3. Medvedik 14.11.23 08:01 Сейчас в теме
Работает только в среде Windows?
4. AlexSTAL 125 14.11.23 08:06 Сейчас в теме
(3) Да, не указал, использует COMОбъект("ADODB.Connection")
Но я думаю легко переписать на Внешние источники данных. ODBC драйвер SQLite есть для Linux
Оставьте свое сообщение