Ни для кого не секрет, что для эффективного использования возможностей встроенного журнала регистрации требуется приложить немало усилий.
Я не спорю, что тема избита, но тем не менее... Хотел предложить для Вас мое решение.
Задача: Легкий способ ежедневно анализировать журнал регистрации.
Для реализации не стал я использовать Elasticsearch. Возможно, это и удобный способ, но мне не понравилось по ряду причин.
Меня устраивает, когда журнал с ошибками приходит на электронную почту ответственным за поддержку и открывается в excel.
А также, когда лог-базу можно открыть как внешний источник данных, например, совсем в другой базе, где таких источников, как правило, несколько.
Файлы
ВНИМАНИЕ:
Файлы из Базы знаний - это исходный код разработки.
Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы.
Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных.
Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.
Вы можете заказать платную доработку или адаптацию этой разработки под вашу конфигурацию на «Бирже заказов».
0% комиссии — оплата напрямую исполнителю;
Исполнители любого масштаба — от отдельных специалистов до команд под проект;
Прямой обмен контактами между заказчиком и исполнителем;
Безопасная сделка — при необходимости;
Рейтинги, кейсы и прозрачная система откликов.
Итак. Внешняя обработка умеет:
Выгрузить журнал регистрации в файл (*.lgd), сжимая его в zip-архив. Это дает возможность открыть файл для его анализа в базе.
Сформировать общий файл (*.csv) с ошибками и послать на заданные адресаты
Сформировать файл (*.csv) с ошибками отдельно для фоновых заданий и послать на заданные адресаты в том же письме (см.п2)
Выгрузить данные в SQL таблицу
Обрезать действующий журнал регистрации
Обрезать данные в SQL таблице
Выгрузить журнал регистрации в XML файл
Обработка имеет следующие особенности:
Выгружает в файл только значимые события
Работать как регламентное задание по расписанию
Регламентирует свои действия в действующий журнал регистрации
Имеет форму для запуска в интерактивном режиме
Код для создания таблицы в Вашей SQL базе прилагается в модуле обработке. Также Вам необходимо задать там все вводные данные, такие как адреса серверов, логины пароли и др.
Код полностью открыт для изменений.
Не использует БСП.
Обработка тестировалась на платформе 1С:Предприятие 8.3 (8.3.10.2667) Управление холдингом, редакция 1.3 (1.3.10.9).
Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.
История изменений реквизитов и табличных частей справочников, документов, независимых регистров сведений, возможность отката изменения, восстановление удаленных объектов, сбор статистики использования базы 1С. Альтернативный журнал регистрации.
Долго отлаживали интеграции через сообщения, журнал регистрации и чужие прокси. На проде это не взлетело. Собрали простой инструмент внутри платформы — смотришь запрос/ответ, повторяешь, выгружаешь curl.
Журнал регистрации на нагруженной базе перестаёт открываться: файлы растут на гигабайты в день, просмотр виснет, история недоступна. Рассказываю, как мы вынесли журнал трёх продуктивных баз в ClickHouse: 35 млрд событий, поиск всех ошибок за сутки — 0,11 секунды, привычная форма журнала для пользователей и падение числа ошибок в проде в 23 раза за полгода. Архитектура, схема таблицы, грабли интеграции и все цифры с прода.
Полнотекстовый поиск в миллионах записей журнала регистрации 1С может занимать минуты или даже часы, а стандартные инструменты не позволяют эффективно выполнять агрегации и анализировать данные на больших объемах. Расскажем о том, как с помощью ClickHouse обеспечить практически мгновенный разбор инцидентов, настроить мониторинг и автоматическую реакцию на события журнала регистрации.
В материале рассматривается сравнение двух инструментов для работы с журналом регистрации 1С: утилиты ibcmd и платформы Vector. Описаны их функциональные возможности, тестирование производительности и практическое применение для преобразования логов в формат JSON.
Поговорим про логирование в приложениях на базе 1С, рассмотрим проблемы, которые возникают при сборе информации из этих систем, и обсудим практический опыт применения внутренних и внешних инструментов для анализа логов.
