Докер образ для быстрого запуска анализатора журналов PostgreSQL

29.12.17

Разработка - Инструментарий разработчика

Журналы работы очень полезный инструмент, и их может быть очень много. Их можно  записывать в /dev/null или вообще отключить, но лучше не стоит так делать, ведь в них можно отыскать массу полезной информации о работе СУБД.

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
(только для физ. лиц)
Докер образ для быстрого запуска анализатора журналов PostgreSQL:
.zip 10,63Kb
0 1 850 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

Для обработки журналов ребята из французской компании dalibo делают инструмент под названием pgbadger. Фактически это perl-скрипт который парсит лог postgresql и формирует на его основе отчет в виде html страницы с графиками и историей.

В документации есть указание на необходимые настройки которые нужно сделать для приведения журнала в исходный формат.

Далее на файл журнала или на каталог предлагается “натравить” скрипт и получить отчет. Далее полученный файл либо просто открывать в браузере, либо настраивать web сервер для его отображения.

После того как вся эта конструкция (Установка pgbadger, настройка cron, установка web сервера) была настроена вручную пару раз стало понятно что это совсем не “быстрый старт”. 

Для упрощения и ускорения развертывания был подготовлен docker образ в котором собраны вместе собственно сам pgbadger, веб сервер nginx, cron для выполнения анализа по расписанию.

Как пользоваться:

0. Как правило мы рекомендуем запускать любые инструменты анализа на отдельном хосте, т.к. анализ журналов может быть достаточно затратной операцией, особенно по процессорному времени, особенно если журналы большие. С позволения читателя вопрос передачи журналов на данный момент я оставлю за рамками данной статьи т.к. выбор конкретного инструмента - вопрос открытый (ключевые слова для гугления rsyslog, filebeat, rsync, fluetnd).

  1. Настроить ведение журналов в инстансе Postgres.
  2. Настроить передачу журналов и их архивацию на хосте где будет происходить анализ.
  3. При старте контейнера из образа ему нужно подключить каталог с журналами в качестве тома данных (пример смотри в описании).
  4. Дождаться выполнения регламентного задания по анализу, либо запустить анализ вручную.
  5. Перейти на страницу сгенерированного отчета.

Что внутри:

  1. Pgbadger версии 9.2
  2. Скрипт запуска pgbadger для обработки журналов. В текущей реализации образа в качестве исходных файлов в каталоге должны быть сжатые (*.tar.gz) журналы PostgreSQL. 
  3. Системный планировщик заданий - Cron. На пятой минуте каждого часа автоматически запускается анализ журналов, пропуская тот журнал который пишется в текущий момент. Ручной запуск возможен через docker exec. По окончании анализа обработанный файл перемещается в поддиректорию, а отчет складывается в рабочую директорию веб сервера.
  4. Веб-сервер - nginx - для отображения отчета Pgbadger.
  5. "Запускатель" всех сервисов Supervisord.
  6. Изменяемых параметров работы сервисов в контейнере сейчас нет, от слова совсем. Все “захардкожено”. А именно: 
    1. анализ выполняется в 4 потока
    2. в тихом режиме
    3. инкрементально (т.е. делается главная страница с календарем и ссылками на отчеты по дням и по неделям)
    4. В календаре первый день недели понедельник
    5. Часовой пояс для графиков GMT+3

 

Планы развития:

  1. Конфигурирование через переменные окружения
  2. Работа с журналами нескольких серверов (отдельные каталоги для исходных данных и для отчетов)

Образ и исходники доступны публично на hub.docker.com и github

Дисклеймер: ишузы в репозитории отключены. “Ждем ваших pull-requesto-ов” ©
 

postgres docker pgbadger логи

См. также

Инструментарий разработчика Роли и права Запросы СКД Программист Руководитель проекта 1С v8.3 Управляемые формы Запросы Система компоновки данных Платные (руб)

Инструменты для разработчиков 1С 8.3: Infostart Toolkit. Автоматизация и ускорение разработки на управляемых формах. Легкость работы с 1С.

15500 руб.

02.09.2020    196380    1085    409    

1006

SALE! 15%

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

8400 7140 руб.

20.08.2024    32663    199    104    

188

Пакетная печать Печатные формы Инструментарий разработчика Программист 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

22200 руб.

06.10.2023    22794    62    19    

90

Инструменты администратора БД Инструментарий разработчика Роли и права Программист 1С v8.3 1C:Бухгалтерия Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

15000 руб.

10.11.2023    15553    66    33    

84

Инструментарий разработчика Программист 1С v8.3 Платные (руб)

Инструмент для написания и отладки кода в режиме «1С:Предприятие». Представляет собой консоль кода с возможностью пошаговой отладки, просмотра значений переменных любых типов, использования процедур и функций, просмотра стека вызовов, вычисления произвольных выражений на встроенном языке в контексте точки останова, синтаксического контроля и остановки по ошибке. В консоли используется удобный редактор кода с подсветкой, контекстной подсказкой, возможностью вызова конструкторов запроса и форматной строки.

9360 руб.

17.05.2024    32987    112    48    

155

Инструментарий разработчика Программист 8.3.14 Россия Платные (руб)

Расширение для конфигурации “Конвертация данных 3”. Добавляет подсветку синтаксиса, детальную контекстную подсказку, глобальный поиск по коду.

20000 руб.

07.10.2021    20168    8    32    

44

Инструментарий разработчика Программист 1С v8.3 1C:Бухгалтерия Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018    106351    248    100    

313
Оставьте свое сообщение