Для обработки журналов ребята из французской компании dalibo делают инструмент под названием pgbadger. Фактически это perl-скрипт который парсит лог postgresql и формирует на его основе отчет в виде html страницы с графиками и историей.
В документации есть указание на необходимые настройки которые нужно сделать для приведения журнала в исходный формат.
Далее на файл журнала или на каталог предлагается “натравить” скрипт и получить отчет. Далее полученный файл либо просто открывать в браузере, либо настраивать web сервер для его отображения.
После того как вся эта конструкция (Установка pgbadger, настройка cron, установка web сервера) была настроена вручную пару раз стало понятно что это совсем не “быстрый старт”.
Для упрощения и ускорения развертывания был подготовлен docker образ в котором собраны вместе собственно сам pgbadger, веб сервер nginx, cron для выполнения анализа по расписанию.
Как пользоваться:
0. Как правило мы рекомендуем запускать любые инструменты анализа на отдельном хосте, т.к. анализ журналов может быть достаточно затратной операцией, особенно по процессорному времени, особенно если журналы большие. С позволения читателя вопрос передачи журналов на данный момент я оставлю за рамками данной статьи т.к. выбор конкретного инструмента - вопрос открытый (ключевые слова для гугления rsyslog, filebeat, rsync, fluetnd).
- Настроить ведение журналов в инстансе Postgres.
- Настроить передачу журналов и их архивацию на хосте где будет происходить анализ.
- При старте контейнера из образа ему нужно подключить каталог с журналами в качестве тома данных (пример смотри в описании).
- Дождаться выполнения регламентного задания по анализу, либо запустить анализ вручную.
- Перейти на страницу сгенерированного отчета.
Что внутри:
- Pgbadger версии 9.2
- Скрипт запуска pgbadger для обработки журналов. В текущей реализации образа в качестве исходных файлов в каталоге должны быть сжатые (*.tar.gz) журналы PostgreSQL.
- Системный планировщик заданий - Cron. На пятой минуте каждого часа автоматически запускается анализ журналов, пропуская тот журнал который пишется в текущий момент. Ручной запуск возможен через docker exec. По окончании анализа обработанный файл перемещается в поддиректорию, а отчет складывается в рабочую директорию веб сервера.
- Веб-сервер - nginx - для отображения отчета Pgbadger.
- "Запускатель" всех сервисов Supervisord.
- Изменяемых параметров работы сервисов в контейнере сейчас нет, от слова совсем. Все “захардкожено”. А именно:
- анализ выполняется в 4 потока
- в тихом режиме
- инкрементально (т.е. делается главная страница с календарем и ссылками на отчеты по дням и по неделям)
- В календаре первый день недели понедельник
- Часовой пояс для графиков GMT+3
Планы развития:
- Конфигурирование через переменные окружения
- Работа с журналами нескольких серверов (отдельные каталоги для исходных данных и для отчетов)
Образ и исходники доступны публично на hub.docker.com и github
Дисклеймер: ишузы в репозитории отключены. “Ждем ваших pull-requesto-ов” ©
Вступайте в нашу телеграмм-группу Инфостарт