Докер образ для быстрого запуска анализатора журналов PostgreSQL

Публикация № 722646 Дата создания: 29.12.17 13:56

Администрирование - Администрирование данных 1С - Сервисные утилиты

postgres docker pgbadger логи

Журналы работы очень полезный инструмент, и их может быть очень много. Их можно  записывать в /dev/null или вообще отключить, но лучше не стоит так делать, ведь в них можно отыскать массу полезной информации о работе СУБД.

Для обработки журналов ребята из французской компании dalibo делают инструмент под названием pgbadger. Фактически это perl-скрипт который парсит лог postgresql и формирует на его основе отчет в виде html страницы с графиками и историей.

В документации есть указание на необходимые настройки которые нужно сделать для приведения журнала в исходный формат.

Далее на файл журнала или на каталог предлагается “натравить” скрипт и получить отчет. Далее полученный файл либо просто открывать в браузере, либо настраивать web сервер для его отображения.

После того как вся эта конструкция (Установка pgbadger, настройка cron, установка web сервера) была настроена вручную пару раз стало понятно что это совсем не “быстрый старт”. 

Для упрощения и ускорения развертывания был подготовлен docker образ в котором собраны вместе собственно сам pgbadger, веб сервер nginx, cron для выполнения анализа по расписанию.

Как пользоваться:

0. Как правило мы рекомендуем запускать любые инструменты анализа на отдельном хосте, т.к. анализ журналов может быть достаточно затратной операцией, особенно по процессорному времени, особенно если журналы большие. С позволения читателя вопрос передачи журналов на данный момент я оставлю за рамками данной статьи т.к. выбор конкретного инструмента - вопрос открытый (ключевые слова для гугления rsyslog, filebeat, rsync, fluetnd).

  1. Настроить ведение журналов в инстансе Postgres.
  2. Настроить передачу журналов и их архивацию на хосте где будет происходить анализ.
  3. При старте контейнера из образа ему нужно подключить каталог с журналами в качестве тома данных (пример смотри в описании).
  4. Дождаться выполнения регламентного задания по анализу, либо запустить анализ вручную.
  5. Перейти на страницу сгенерированного отчета.

Что внутри:

  1. Pgbadger версии 9.2
  2. Скрипт запуска pgbadger для обработки журналов. В текущей реализации образа в качестве исходных файлов в каталоге должны быть сжатые (*.tar.gz) журналы PostgreSQL. 
  3. Системный планировщик заданий - Cron. На пятой минуте каждого часа автоматически запускается анализ журналов, пропуская тот журнал который пишется в текущий момент. Ручной запуск возможен через docker exec. По окончании анализа обработанный файл перемещается в поддиректорию, а отчет складывается в рабочую директорию веб сервера.
  4. Веб-сервер - nginx - для отображения отчета Pgbadger.
  5. "Запускатель" всех сервисов Supervisord.
  6. Изменяемых параметров работы сервисов в контейнере сейчас нет, от слова совсем. Все “захардкожено”. А именно: 
    1. анализ выполняется в 4 потока
    2. в тихом режиме
    3. инкрементально (т.е. делается главная страница с календарем и ссылками на отчеты по дням и по неделям)
    4. В календаре первый день недели понедельник
    5. Часовой пояс для графиков GMT+3

 

Планы развития:

  1. Конфигурирование через переменные окружения
  2. Работа с журналами нескольких серверов (отдельные каталоги для исходных данных и для отчетов)

Образ и исходники доступны публично на hub.docker.com и github

Дисклеймер: ишузы в репозитории отключены. “Ждем ваших pull-requesto-ов” ©
 

Скачать файлы

Наименование Файл Версия Размер
Докер образ для быстрого запуска анализатора журналов PostgreSQL:

.zip 10,63Kb
0
.zip 10,63Kb Скачать

Специальные предложения

Оставьте свое сообщение

См. также

Удаление и/или копирование сохраненных в 1С настроек (например настроек печати табличных форм) Промо

Универсальные обработки Сервисные утилиты v8 Абонемент ($m)

Иногда нужно удалить сохраненную в 1С "покореженную" настройку или скопировать "удачную" другому пользователю...

1 стартмани

01.09.2012    62947    1367    AnryMc    46    

Powershell: Анализ технологического журнала. Топ-25 вызовов.

Технологический журнал v8 Абонемент ($m)

Использование Powershell для анализа технологического журнала 1с. Пример получения топ-25 вызовов

1 стартмани

16.06.2021    2936    0    Dimashiro    15    

Локальное управление мышью по HTTP-сервису

Сервисные утилиты Периферийные устройства Абонемент ($m)

Приложение для управления мышью. Для управления из программ используется интерфейс HTTP (веб-сервер встроен в приложение). В купе с Windows Script Host's возможно полное освобождение пользователя от рутинных операций.

1 стартмани

14.06.2021    816    1    9539356    1    

Утилита, имитирующая присутствие за компьютером

Сервисные утилиты Абонемент ($m)

С переходом на удаленную работу стала актуальной работа в нескольких RDP сессиях одновременно. Если админы толковые, то они наверняка настроили автоматическую блокировку при отсутствии действий пользователя и заблокировали возможность ее отключения. При удаленной работе это неактуально и неудобно. Недаром в магазине windows 10 продается аналогичная утилита. Воспроизводит движение мыши и нажатие клавиш. Предотвращает включение заставки и/или блокировки экрана.

2 стартмани

30.05.2021    1150    2    capitan    6    

Блин, мы забыли включить регламентные задания… Промо

Сервисные утилиты v8 Абонемент ($m)

Привет, Инфостарт! Сегодня расскажу, как я решил проблему с выключенными регламентными заданиями в рабочих базах. Желая исключить человеческий фактор и минимизировать количество ошибок, я написал небольшую конфигурацию.  В конфигурации два регламентных задания. Первое периодически подключается к кластеру и сохраняет текущие параметры: имя, Сервер БД, базу СУДБ, блокировки входа и регламентных заданий и т.д. Второе задание периодически проверяет эти параметры на ошибки.

1 стартмани

08.04.2019    22529    19    slozhenikin_com    37    

Экспорт технологического журнала. Набор инструментов (приложения + исходный код)

Технологический журнал Абонемент ($m)

Набор инструментов для экспорта данных технологического журнала во внешнее хранилище на базе ClickHouse для Windows и Linux. Готовое приложение и исходный код.

10 стартмани

09.05.2021    4379    8    YPermitin    32    

Парсер технологического журнала (golang + redis + elasticsearch)

Технологический журнал v8 1cv8.cf Абонемент ($m)

На просторах интернета, в том числе на данном ресурсе содержится разнообразное количество инструментов, позволяющих читать, трансформировать логи технологического журнала. Инструмент, который я описываю в данной статье, - является альтернативным вариантом, реализованным на стеке технологий Goroutines (golang) + Redis + Elasticsearch.

1 стартмани

07.01.2021    5576    3    Shmell    14    

В8АнПак - onepack - Новый распаковщик конфигураций

Сервисные утилиты Абонемент ($m)

Инструмент для работы с файлами 1С v8 (cf, cfu, cfe, epf, erf, hbk)

5 стартмани

14.12.2020    6905    34    SerVer1C    63    

Очистка кэша 1С 8 (8.0, 8.1, 8.2, 8.3). Грамотная чистка кэша 1С с сохранением настроек. Промо

Чистка базы Сервисные утилиты Администрирование данных 1С v8 1cv8.cf Россия Абонемент ($m)

Эффективное средство для устранения ошибок, возникающих в локальном кэше 1С на клиенте, которым легко сможет воспользоваться пользователь с любым уровнем знаний. Wsf-скрипт, созданный на стандартном языке автоматизации Windows - "WSH JScript", очищает кэш 1С просто, быстро и безопасно. Кроме варианта, очищающего кэш текущего пользователя, имеется также вариант для чистки кэша 1С всех пользователей терминального-сервера.

1 стартмани

04.11.2018    49341    484    Eugen-S    34    

Чтение файлов с FTP

Прочие инструменты разработчика Сервисные утилиты Файловые протоколы обмена, FTP Россия Абонемент ($m)

Внешний EXE-файл, который при запуске переносит файлы из указанной папки FTP на локальный диск

1 стартмани

09.09.2020    3088    3    ah7777777    8    

Мастер создания копии информационной базы для отчетности

Производительность и оптимизация (HighLoad) Администрирование СУБД v8 1cv8.cf Абонемент ($m)

Прототип инструмента для подготовки реплики в режиме только для чтения к использованию. Позволяет использовать "read-only" реплики как обычные информационные базы 1С.

10 стартмани

28.08.2020    7979    5    YPermitin    12    

Детализированный анализ свободного места на диске просто как "РАЗ-ДВА!"

Сервисные утилиты Абонемент ($m)

Программа Circle Size разработана специально для точного и детального анализа дискового пространства и успешного избавления от ненужных файлов.

2 стартмани

16.04.2020    3355    1    solbol    2    

Менеджер буфера обмена с поддержкой 1С - ClipAngel 1.98 Промо

Сервисные утилиты Прочие инструменты разработчика Абонемент ($m)

Этот помощник запоминает все, что вы копируете в буфер обмена, и позволяет легко и быстро найти в истории нужную информацию и вставить ее в любое окно.

1 стартмани

17.01.2017    38128    74    tormozit    234    

Создание *.dt файла из рабочей базы на сервере 1С без завершения работы пользователей

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Предлагаемая обработка создает *.dt файл (выгрузку ИБ) из рабочей базы на сервере 1С:Предприятие 8.3 без завершения работы пользователей.

1 стартмани

19.01.2020    16816    95    Sedaiko    20    

Транслятор запросов 1С в SQL

Производительность и оптимизация (HighLoad) Администрирование СУБД v8 v8::Запросы 1cv8.cf Абонемент ($m)

Инструмент для трансляции запросов платформы 1С в SQL, а также их диагностики.

10 стартмани

07.01.2020    23594    182    YPermitin    89    

Очистка кэша и удаление временных файлов и пустых папок

Сервисные утилиты Абонемент ($m)

Чистка кэша, удаление временных файлов 1С, Windows, и прочих программ, с сохранением текущих настроек пользователя в 1С.

1 стартмани

26.12.2019    5270    8    vik070777    5    

Легкое и гибкое управление списком доступных баз 1С у пользователей Промо

Стартеры 1С Сервисные утилиты Администрирование СУБД v8 1cv8.cf Россия Абонемент ($m)

Когда в локальной сети много пользователей, а еще большое количество различных баз и при этом каждому нужны свои, то администрирование этого зоопарка превращается в АД! Этот комплекс позволяет централизованно управлять списком доступных баз в разрезе пользователей. За пару кликов можно добавить или убрать базу у всех пользователей.

7 стартмани

05.12.2018    19659    21    RomikR    9    

Работа с базами данных 1С в SQL Server Management Studio (Расширение для SSMS)

Администрирование СУБД Производительность и оптимизация (HighLoad) Администрирование данных 1С Структура метаданных v8 Абонемент ($m)

Расширение позволяет просматривать связи объектов метаданных и таблиц БД, сгруппированные данные (по группам метаданных) об используемом дисковом пространстве и выполнять трансляцию SQL текста запроса в термины 1С. И бонусом - при наведении курсора мыши на таблицу или поле показывает назначение объекта в терминах 1С.

10 стартмани

27.11.2019    15530    44    akpaevj    46    

Командный интерпретатор для 1С

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Инструмент для выполнения команд CMD / PowerShell из 1С.

2 стартмани

15.11.2019    16138    31    YPermitin    41    

Быстрая реструктуризация базы данных

Производительность и оптимизация (HighLoad) Конфигурирование 1С v8 v8::УФ 1cv8.cf Россия Абонемент ($m)

Внешняя обработка для быстрой реструктуризации клиент-серверной базы данных. Способ ускорения реструктуризации - замена таблиц большого объема пустыми копиями перед проведением обновления БД и возврат к исходным таблицам после обновления с предварительной корректировкой их структуры. Полностью автоматизировано создание и выполнение всех требуемых скриптов SQL. Представлены версии обработки для обычных форм (1С:Предприятие 8.2 (8.2.19.130)) и управляемого приложения (1С:Предприятие 8.3 (8.3.9.1818)).

1 стартмани

05.11.2019    19672    84    dmitrydemenew    38    

Многопоточная обработка данных Промо

Производительность и оптимизация (HighLoad) Администрирование данных 1С v8 v8::УФ 1cv8.cf Абонемент ($m)

Конфигурация "Универсальные механизмы: пакеты данных". Набор инструментов для быстрой организации отказоустойчивой многопоточной обработки данных.

1 стартмани

23.11.2018    27425    97    _ASZ_    17    

Утилита, предназначенная для просмотра, изменения, добавления, удаления и извлечения ресурсов в исполняемых (.EXE, .DLL и др.) и ресурсных файлах (.RES) ОС Windows. для формирования своего отдельного DLL файла

Сервисные утилиты Абонемент ($m)

Иногда в разработке конфигурации мы используем DLL библиотеки с драйверами или приложения для весовых терминалов к примеру, но они представлены не в той форме, которая подходит непосредственно для нашего приложения, либо запрашивает диалоги, которые не очень нужны, для их исправления и изменения и предназначена данная утилита.

10 стартмани

05.11.2019    9504    6    vik070777    14    

Закрытие незавершенных сеансов

Сервисные утилиты Администрирование СУБД v8 1cv8.cf Россия Абонемент ($m)

Как удалять потерянные сеансы пользователей, чтобы они не мешали работе. Обработка протестирована на платформе версии 8.3.13.1644.

1 стартмани

20.09.2019    23956    87    AnatolPopov    12    

Свойства объектов 1С в MS SQL (и сравнение баз и расширений)

Статистика базы данных v8 v8::СКД 1cv8.cf Абонемент ($m)

Подключаемый отчет на системе компоновки данных по типам объектов 1С показывает: 1) Совокупности таблиц SQL для хранения объекта 1С и их предназначение; 2) Число объектов данного типа; 3) Размеры хранения данных и индексов в MB (мегабайтах); 4) Сравнение данных двух баз

1 стартмани

15.07.2019    22091    511    sapervodichka    11    

Статистика базы данных с отбором по подсистемам (кол-во и открытие списков: документов, справочников, регистров) и анализ наличия основных реквизитов: универсальная обработка (два файла - обычный и управляемый режим) Промо

Статистика базы данных v8 v8::УФ 1cv8.cf Россия Абонемент ($m)

Универсальная обработка для статистики базы данных (документы, справочники, регистры, отчеты) с отбором по подсистемам и с анализом наличия основных реквизитов (организации, контрагенты, договора, номенклатура, сотрудники, физлица, валюта). Возможность просмотра списка документов или справочников или регистров при активизации в колонке "Документы, справочники, регистры, отчеты" в текущей строке. Полезная обработка для консультации пользователей, где искать метаданные в каком интерфейсе, т.к. подсистема указывает в каком интерфейсе находятся метаданные (документы, справочники, регистры, отчеты).

1 стартмани

20.02.2017    20690    56    strelec13    11    

CLR декодер для MS SQL Server

Сервисные утилиты Разработка внешних компонент Абонемент ($m)

Библиотека для расшифровки кракозябр в базе данных.

1 стартмани

05.07.2019    7612    0    hellion    0    

Мониторинг файловых баз (Zabbix - 1CD)

Zabbix Абонемент ($m)

Шаблон с autodiscovery Zabbix для мониторинга файловых баз 1С. Мониторится размер БД, количество таблиц, версия БД.

1 стартмани

21.05.2019    6205    2    shibanovan    0    

Bash-скрипт для установки 1С:Предприятие 8.3 и СУБД PostgreSQL на сервер CentOS 7

Сервисные утилиты v8 Россия Абонемент ($m)

Данный скрипт позволяет полностью установить сервер 1С и СУБД PostgreSQL на одном хосте. Потом это же скрипт можно использовать для обновление платформы и дистрибутивов установки

1 стартмани

07.04.2019    18755    48    Sedaiko    31    

Мониторинг здоровья MS SQL Server Промо

Производительность и оптимизация (HighLoad) Абонемент ($m)

Описывается очередной изобретенный "велосипед" для мониторинга здоровья MS SQL Server, который мы используем в glassdoor.com - втором крупнейшем в США сайте для соискателей работы.

1 стартмани

23.10.2018    10239    10    Aleksey.Bochkov    2    

Методика оптимизации программного кода 1С: проведение документов

Обработка документов Производительность и оптимизация (HighLoad) Инструментарий разработчика v8 v8::УФ Абонемент ($m)

Описание простого метода анализа производительности программного кода 1С, способов его оптимизации и оценки результатов в виде числовых показателей прироста производительности. Не требует сторонних программных продуктов, используются только типовые возможности платформ 1С. Методика проверена на линейке платформ начиная с 1С:Предприятие 8.2 (обычные формы, управляемые формы). Позволяет ускорить проведение проблемных документов в 3 и более раз, провести проверку корректности формирования проводок оптимизированным кодом и подтвердить результаты оптимизации реальными замерами производительности в режиме предприятия. К публикации приложены демонстрационные базы для режимов обычного и управляемого приложения на платформе 1С:Предприятие 8.3 (8.3.9.2033).

1 стартмани

19.03.2019    29359    21    dmitrydemenew    85    

Windows сервис генерации pdf417-штрихкодов. Обработка для печати марок алкогольной продукции ДУМ

Сервисные утилиты Россия Акцизы Абонемент ($m)

Служба windows для генерации штрихкодов pdf417 в виде отдельных файлов JPEG. Делал для 1С:Далион Управление Магазином.

1 стартмани

18.02.2019    6652    1    user597086_dir_box    13    

LicDataDecoder - расшифровка файла программной лицензии 1С

Сервисные утилиты v8 1cv8.cf Россия Абонемент ($m)

Представляю вашему вниманию утилиту, предназначенную для работы с файлами программных лицензий 1С (*.lic).

1 стартмани

10.02.2019    45928    401    GeraltSnow    62    

SQL сервер 2008: обслуживание, анализ производительности Промо

Производительность и оптимизация (HighLoad) Абонемент ($m)

Полезные скрипты и запросы для SQL 2008: обслуживание, анализ производительности. Файл со всеми скриптами во вложении.

1 стартмани

23.10.2014    75373    96    jan27    63    

Удобная консоль регламентных и фоновых заданий

Универсальные обработки Сервисные утилиты Администрирование данных 1С v8 v8::УФ 1cv8.cf Абонемент ($m)

Аналог обработки БСП "РегламентныеИФоновыеЗадания". Не требует наличия библиотек, может использоваться в качестве внешней обработки. В отличие от обработки БСП предоставляет больше информации о свойствах регламентных и фоновых заданий, а также об ошибках и сообщениях для пользователей, возникших во время их выполнения. Позволяет управлять регламентными (создание, удаление, настройка расписания, ручной запуск) и фоновыми (прерывание) заданиями.

1 стартмани

06.02.2019    19689    196    Alxby    20    

Мониторинг windows серверов на раз, два с помощью prometheus и grafana

Сервисные утилиты Абонемент ($m)

Вдохновленный статьей про сбор, хранение и визуализации показателей с помощью prometheus и grafana подготовил готовый docker-compose файл для быстрой настройки и запуска мониторинга windows серверов.

1 стартмани

08.01.2019    16546    9    metmetmet    20    

Универсальный монитор лицензий 1С

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Хотите узнать, какие программные лицензии установлены на сервере и все их технические подробности? А может быть, вам нужна информация по использованию всех видов лицензий кластера? Нет ничего проще, читай далее, чтобы быть в курсе!

3 стартмани

03.01.2019    43703    406    Xershi    79    

Установка баз данных из Проводника Промо

Сервисные утилиты Администрирование данных 1С Стартеры 1С Абонемент ($m)

Взяли выгрузку базы у клиента? Прислали по почте файл конфигурации? Хотите развернуть базу данных двойным щелчком на файле *.dt или *.cf? Database Manager - то что вам нужно!

2 стартмани

28.10.2013    37986    102    Evil Beaver    30    

Решение проблемы быстродействия в ERP на рабочем примере

Производительность и оптимизация (HighLoad) v8 ERP2 Абонемент ($m)

Рассмотрим практический пример оптимизации, определим последовательность действий и воспользуемся специализированными инструментами.

3 стартмани

18.12.2018    22661    161    ivanov660    24    

Чистка кэша 1С (теперь в .exe)

Сервисные утилиты v8 Абонемент ($m)

Попробуйте поискать в интернете "Очистить кэш 1С". Практически везде вы наткнетесь на всякие батники, ps-скрипты, рекомендации зайти и удалить вручную, поставить /ClearCache для баз на УФ и т.д. В подавляющем большинстве случаев предлагается бездумно удалить все содержимое \Roaming\1C\1cv8\ и \Local\1C\1cv8\, но это как переустановить Windows, чтобы почистить Temp.

1 стартмани

18.11.2018    19822    107    riposte    42    

Мониторинг показателей систем 1С 8.3 с помощью Zabbix

Внешние источники данных Zabbix v8 1cv8.cf Абонемент ($m)

Опишу свой опыт мониторинга наших систем 1С с помощью Zabbix и ту пользу, которую можно извлечь из этого.

1 стартмани

05.10.2018    51103    69    akimych    49    

Регламентные операции с индексами в MS SQL Server (Скрипты для SQL-Server - Часть 2) Промо

Производительность и оптимизация (HighLoad) Абонемент ($m)

В данном вебинаре я расскажу о том, что такое индексы, зачем они нужны, какие регламентные операции необходимо выполнять с индексами, а также будут приведены соответствующие скрипты (для MS SQL-Server) для обслуживания индексов баз данных.

1 стартмани

22.03.2018    34003    29    Tavalik    9    

Обнаружено нарушение целостности системы

Сервисные утилиты v8 1cv8.cf Россия Абонемент ($m)

Ошибка «Обнаружено нарушение целостности системы», причины и варианты устранения ошибки.

1 стартмани

03.10.2018    199942    991    Palmer1976    69    

Монитор активности сеансов пользователей в виде графиков в клиент-серверном варианте

Статистика базы данных v8 1cv8.cf Абонемент ($m)

Сбор статистики активности сеансов посредством подключения к агенту сервера и отображение в режиме реального времени в виде графиков за указанный интервал времени

1 стартмани

25.09.2018    11933    62    rullin    23    

CopyCopy - Копирование любого файла по расписанию

Сервисные утилиты Абонемент ($m)

Программа копирует файл в равный промежуток времени указанный пользователем.

1 стартмани

28.08.2018    7708    2    FIERYLIONS    0    

Еще немного полезных SQL-скриптов (Скрипты для SQL-Server - Часть 3) Промо

Производительность и оптимизация (HighLoad) Абонемент ($m)

Представляю вашему вниманию заключительный вебинар из цикла вебинаров по скриптам для MS SQL-сервера.

1 стартмани

29.03.2018    31329    14    Tavalik    6    

1C + Arduino + сканер отпечатков пальцев + RFID считыватель

Терминал сбора данных Сервисные утилиты Учет рабочего времени Учет рабочего времени NFC, RFID v8 1cv8.cf Абонемент ($m)

Связываем 1C, Arduino, сканер отпечатков пальцев и RFID считыватель для системы учёта рабочего времени или пропускной системы.

1 стартмани

21.08.2018    28508    15    DGorgoN    39    

РусскийФокс и ClickerMann заносят данные в 1С

Сервисные утилиты Практика программирования Россия Абонемент ($m)

Новый объектно-ориентированный русскоязычный 1С-подобный язык программирования РусскийФокс. . РусскийФокс создает сценарии для Clickermann. Сценарий заполняет справочник в 1С.

1 стартмани

21.07.2018    13284    1    andreosh    20    

Скачиваем релизы с сайта users.v8.1c.ru Промо

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Обработка позволяет настроить список релизов, доступных пользователю, на сайте users.v8.1c.ru, проверять - вышли ли новые обновления и, если вышли, скачивать их и раскладывать по папочкам. Требует установки curl и openssl

10 стартмани

18.08.2014    44366    25    Demonobond    31