Докер образ для быстрого запуска анализатора журналов PostgreSQL

Публикация № 722646

Администрирование - Администрирование данных 1С - Сервисные утилиты

postgres docker pgbadger логи

Журналы работы очень полезный инструмент, и их может быть очень много. Их можно  записывать в /dev/null или вообще отключить, но лучше не стоит так делать, ведь в них можно отыскать массу полезной информации о работе СУБД.

Для обработки журналов ребята из французской компании dalibo делают инструмент под названием pgbadger. Фактически это perl-скрипт который парсит лог postgresql и формирует на его основе отчет в виде html страницы с графиками и историей.

В документации есть указание на необходимые настройки которые нужно сделать для приведения журнала в исходный формат.

Далее на файл журнала или на каталог предлагается “натравить” скрипт и получить отчет. Далее полученный файл либо просто открывать в браузере, либо настраивать web сервер для его отображения.

После того как вся эта конструкция (Установка pgbadger, настройка cron, установка web сервера) была настроена вручную пару раз стало понятно что это совсем не “быстрый старт”. 

Для упрощения и ускорения развертывания был подготовлен docker образ в котором собраны вместе собственно сам pgbadger, веб сервер nginx, cron для выполнения анализа по расписанию.

Как пользоваться:

0. Как правило мы рекомендуем запускать любые инструменты анализа на отдельном хосте, т.к. анализ журналов может быть достаточно затратной операцией, особенно по процессорному времени, особенно если журналы большие. С позволения читателя вопрос передачи журналов на данный момент я оставлю за рамками данной статьи т.к. выбор конкретного инструмента - вопрос открытый (ключевые слова для гугления rsyslog, filebeat, rsync, fluetnd).

  1. Настроить ведение журналов в инстансе Postgres.
  2. Настроить передачу журналов и их архивацию на хосте где будет происходить анализ.
  3. При старте контейнера из образа ему нужно подключить каталог с журналами в качестве тома данных (пример смотри в описании).
  4. Дождаться выполнения регламентного задания по анализу, либо запустить анализ вручную.
  5. Перейти на страницу сгенерированного отчета.

Что внутри:

  1. Pgbadger версии 9.2
  2. Скрипт запуска pgbadger для обработки журналов. В текущей реализации образа в качестве исходных файлов в каталоге должны быть сжатые (*.tar.gz) журналы PostgreSQL. 
  3. Системный планировщик заданий - Cron. На пятой минуте каждого часа автоматически запускается анализ журналов, пропуская тот журнал который пишется в текущий момент. Ручной запуск возможен через docker exec. По окончании анализа обработанный файл перемещается в поддиректорию, а отчет складывается в рабочую директорию веб сервера.
  4. Веб-сервер - nginx - для отображения отчета Pgbadger.
  5. "Запускатель" всех сервисов Supervisord.
  6. Изменяемых параметров работы сервисов в контейнере сейчас нет, от слова совсем. Все “захардкожено”. А именно: 
    1. анализ выполняется в 4 потока
    2. в тихом режиме
    3. инкрементально (т.е. делается главная страница с календарем и ссылками на отчеты по дням и по неделям)
    4. В календаре первый день недели понедельник
    5. Часовой пояс для графиков GMT+3

 

Планы развития:

  1. Конфигурирование через переменные окружения
  2. Работа с журналами нескольких серверов (отдельные каталоги для исходных данных и для отчетов)

Образ и исходники доступны публично на hub.docker.com и github

Дисклеймер: ишузы в репозитории отключены. “Ждем ваших pull-requesto-ов” ©
 

Скачать файлы

Наименование Файл Версия Размер
Докер образ для быстрого запуска анализатора журналов PostgreSQL:

.zip 10,63Kb
29.12.17
0
.zip 10,63Kb Скачать

Специальные предложения

Оставьте свое сообщение

См. также

Блин, мы забыли включить регламентные задания… Промо

Сервисные утилиты v8 Абонемент ($m)

Привет, Инфостарт! Сегодня расскажу, как я решил проблему с выключенными регламентными заданиями в рабочих базах. Желая исключить человеческий фактор и минимизировать количество ошибок, я написал небольшую конфигурацию.  В конфигурации два регламентных задания. Первое периодически подключается к кластеру и сохраняет текущие параметры: имя, Сервер БД, базу СУДБ, блокировки входа и регламентных заданий и т.д. Второе задание периодически проверяет эти параметры на ошибки.

1 стартмани

08.04.2019    18106    15    slozhenikin_com    37    

Чтение файлов с FTP

Прочие инструменты разработчика Сервисные утилиты Файловые протоколы обмена, FTP Россия Абонемент ($m)

Внешний EXE-файл, который при запуске переносит файлы из указанной папки FTP на локальный диск

1 стартмани

09.09.2020    1092    3    ah7777777    8    

Детализированный анализ свободного места на диске просто как "РАЗ-ДВА!"

Сервисные утилиты Абонемент ($m)

Программа Circle Size разработана специально для точного и детального анализа дискового пространства и успешного избавления от ненужных файлов.

2 стартмани

16.04.2020    1761    1    solbol    2    

Транслятор запросов 1С в SQL

Производительность и оптимизация (HighLoad) Администрирование СУБД v8 v8::Запросы 1cv8.cf Абонемент ($m)

Инструмент для трансляции запросов платформы 1С в SQL, а также их диагностики.

10 стартмани

07.01.2020    15004    126    YPermitin    89    

Очистка кэша 1С 8 (8.0, 8.1, 8.2, 8.3). Грамотная чистка кэша 1С с сохранением настроек. Промо

Чистка базы Сервисные утилиты Администрирование данных 1С v8 1cv8.cf Россия Абонемент ($m)

Эффективное средство для устранения ошибок, возникающих в локальном кэше 1С на клиенте, которым легко сможет воспользоваться пользователь с любым уровнем знаний. Wsf-скрипт, созданный на стандартном языке автоматизации Windows - "WSH JScript", очищает кэш 1С просто, быстро и безопасно. Кроме варианта, очищающего кэш текущего пользователя, имеется также вариант для чистки кэша 1С всех пользователей терминального-сервера.

1 стартмани

04.11.2018    39152    402    Eugen-S    34    

Очистка кэша и удаление временных файлов и пустых папок

Сервисные утилиты Абонемент ($m)

Чистка кэша, удаление временных файлов 1С, Windows, и прочих программ, с сохранением текущих настроек пользователя в 1С.

1 стартмани

26.12.2019    3428    7    vik070777    3    

Работа с базами данных 1С в SQL Server Management Studio (Расширение для SSMS)

Администрирование СУБД Производительность и оптимизация (HighLoad) Администрирование данных 1С Структура метаданных v8 Абонемент ($m)

Расширение позволяет просматривать связи объектов метаданных и таблиц БД, сгруппированные данные (по группам метаданных) об используемом дисковом пространстве и выполнять трансляцию SQL текста запроса в термины 1С. И бонусом - при наведении курсора мыши на таблицу или поле показывает назначение объекта в терминах 1С.

10 стартмани

27.11.2019    12490    42    akpaevj    46    

Утилита, предназначенная для просмотра, изменения, добавления, удаления и извлечения ресурсов в исполняемых (.EXE, .DLL и др.) и ресурсных файлах (.RES) ОС Windows. для формирования своего отдельного DLL файла

Сервисные утилиты Абонемент ($m)

Иногда в разработке конфигурации мы используем DLL библиотеки с драйверами или приложения для весовых терминалов к примеру, но они представлены не в той форме, которая подходит непосредственно для нашего приложения, либо запрашивает диалоги, которые не очень нужны, для их исправления и изменения и предназначена данная утилита.

10 стартмани

05.11.2019    6751    5    vik070777    14    

Менеджер буфера обмена с поддержкой 1С - ClipAngel 1.91 Промо

Сервисные утилиты Прочие инструменты разработчика Абонемент ($m)

Этот помощник запоминает все, что вы копируете в буфер обмена, и позволяет легко и быстро найти в истории нужную информацию и вставить ее в любое окно.

1 стартмани

17.01.2017    34960    74    tormozit    229    

CLR декодер для MS SQL Server

Сервисные утилиты Разработка внешних компонент Абонемент ($m)

Библиотека для расшифровки кракозябр в базе данных.

1 стартмани

05.07.2019    5949    0    hellion    0    

Мониторинг файловых баз (Zabbix - 1CD)

Сервисные утилиты Абонемент ($m)

Шаблон с autodiscovery Zabbix для мониторинга файловых баз 1С. Мониторится размер БД, количество таблиц, версия БД.

1 стартмани

21.05.2019    4770    1    shibanovan    0    

Методика оптимизации программного кода 1С: проведение документов

Обработка документов Производительность и оптимизация (HighLoad) Инструментарий разработчика v8 v8::УФ Абонемент ($m)

Описание простого метода анализа производительности программного кода 1С, способов его оптимизации и оценки результатов в виде числовых показателей прироста производительности. Не требует сторонних программных продуктов, используются только типовые возможности платформ 1С. Методика проверена на линейке платформ начиная с 1С:Предприятие 8.2 (обычные формы, управляемые формы). Позволяет ускорить проведение проблемных документов в 3 и более раз, провести проверку корректности формирования проводок оптимизированным кодом и подтвердить результаты оптимизации реальными замерами производительности в режиме предприятия. К публикации приложены демонстрационные базы для режимов обычного и управляемого приложения на платформе 1С:Предприятие 8.3 (8.3.9.2033).

1 стартмани

19.03.2019    24989    18    dmitrydemenew    83    

Легкое и гибкое управление списком доступных баз 1С у пользователей Промо

Стартеры 1С Сервисные утилиты Администрирование СУБД v8 1cv8.cf Россия Абонемент ($m)

Когда в локальной сети много пользователей, а еще большое количество различных баз и при этом каждому нужны свои, то администрирование этого зоопарка превращается в АД! Этот комплекс позволяет централизованно управлять списком доступных баз в разрезе пользователей. За пару кликов можно добавить или убрать базу у всех пользователей.

7 стартмани

05.12.2018    16353    18    RomikR    9    

Windows сервис генерации pdf417-штрихкодов. Обработка для печати марок алкогольной продукции ДУМ

Сервисные утилиты Россия Акцизы Абонемент ($m)

Служба windows для генерации штрихкодов pdf417 в виде отдельных файлов JPEG. Делал для 1С:Далион Управление Магазином.

1 стартмани

18.02.2019    5344    1    user597086_dir_box    13    

LicDataDecoder - расшифровка файла программной лицензии 1С

Сервисные утилиты v8 1cv8.cf Россия Абонемент ($m)

Представляю вашему вниманию утилиту, предназначенную для работы с файлами программных лицензий 1С (*.lic).

1 стартмани

10.02.2019    32687    283    GeraltSnow    60    

Мониторинг windows серверов на раз, два с помощью prometheus и grafana

Сервисные утилиты Абонемент ($m)

Вдохновленный статьей про сбор, хранение и визуализации показателей с помощью prometheus и grafana подготовил готовый docker-compose файл для быстрой настройки и запуска мониторинга windows серверов.

1 стартмани

08.01.2019    12788    9    metmetmet    20    

Многопоточная обработка данных Промо

Производительность и оптимизация (HighLoad) Администрирование данных 1С v8 v8::УФ 1cv8.cf Абонемент ($m)

Конфигурация "Универсальные механизмы: пакеты данных". Набор инструментов для быстрой организации отказоустойчивой многопоточной обработки данных.

1 стартмани

23.11.2018    21969    66    _ASZ_    15    

Мониторинг здоровья MS SQL Server

Производительность и оптимизация (HighLoad) Абонемент ($m)

Описывается очередной изобретенный "велосипед" для мониторинга здоровья MS SQL Server, который мы используем в glassdoor.com - втором крупнейшем в США сайте для соискателей работы.

1 стартмани

23.10.2018    9018    10    Aleksey.Bochkov    2    

Мониторинг показателей систем 1С 8.3 с помощью Zabbix

Внешние источники данных Zabbix v8 1cv8.cf Абонемент ($m)

Опишу свой опыт мониторинга наших систем 1С с помощью Zabbix и ту пользу, которую можно извлечить из этого.

1 стартмани

05.10.2018    41450    58    akimych    48    

CopyCopy - Копирование любого файла по расписанию

Сервисные утилиты Абонемент ($m)

Программа копирует файл в равный промежуток времени указанный пользователем.

1 стартмани

28.08.2018    6444    2    fierylions    0    

Статистика базы данных с отбором по подсистемам (кол-во и открытие списков: документов, справочников, регистров) и анализ наличия основных реквизитов: универсальная обработка (два файла - обычный и управляемый режим) Промо

Статистика базы данных v8 v8::УФ 1cv8.cf Россия Абонемент ($m)

Универсальная обработка для статистики базы данных (документы, справочники, регистры, отчеты) с отбором по подсистемам и с анализом наличия основных реквизитов (организации, контрагенты, договора, номенклатура, сотрудники, физлица, валюта). Возможность просмотра списка документов или справочников или регистров при активизации в колонке "Документы, справочники, регистры, отчеты" в текущей строке. Полезная обработка для консультации пользователей, где искать метаданные в каком интерфейсе, т.к. подсистема указывает в каком интерфейсе находятся метаданные (документы, справочники, регистры, отчеты).

1 стартмани

20.02.2017    18338    50    strelec13    11    

РусскийФокс и ClickerMann заносят данные в 1С

Сервисные утилиты Практика программирования Россия Абонемент ($m)

Новый объектно-ориентированный русскоязычный 1С-подобный язык программирования РусскийФокс. . РусскийФокс создает сценарии для Clickermann. Сценарий заполняет справочник в 1С.

1 стартмани

21.07.2018    11335    1    andreosh    20    

Switcheroo_1C - Быстрое переключение между окнами 1С

Сервисные утилиты Абонемент ($m)

Утилита позволяющая переключаться между окнами 1С, аналог Alt+Tab только учитываются 1С приложения.

1 стартмани

18.06.2018    7460    1    WizaXxX    0    

Очистка Кэша 1С

Сервисные утилиты Абонемент ($m)

Очистка кэша 1С, для любой операционной системы семейства Windows.

1 стартмани

28.05.2018    9491    17    IceEvgen    3    

SQL сервер 2008: обслуживание, анализ производительности Промо

Производительность и оптимизация (HighLoad) Абонемент ($m)

Полезные скрипты и запросы для SQL 2008: обслуживание, анализ производительности. Файл со всеми скриптами во вложении.

1 стартмани

23.10.2014    70210    44    jan27    63    

Еще немного полезных SQL-скриптов (Скрипты для SQL-Server - Часть 3)

Производительность и оптимизация (HighLoad) Абонемент ($m)

Представляю вашему вниманию заключительный вебинар из цикла вебинаров по скриптам для MS SQL-сервера.

1 стартмани

29.03.2018    27626    12    Tavalik    6    

Регистрация компонент 1С и запуск консоли кластера серверов

Сервисные утилиты Россия Абонемент ($m)

Выводит список установленных платформ 1С, позволяет зарегистрировать V8x.COMConnector, V8x.Application, V8x.ServerAbout и запустить консоль кластера серверов 1С для выбранной версии. Показывает текущие версии зарегистрированных компонент 1С (требуется .NET Framework 4.0 и права администратора).

1 стартмани

22.03.2018    12782    40    ROL32    34    

Регламентные операции с индексами в MS SQL Server (Скрипты для SQL-Server - Часть 2)

Производительность и оптимизация (HighLoad) Абонемент ($m)

В данном вебинаре я расскажу о том, что такое индексы, зачем они нужны, какие регламентные операции необходимо выполнять с индексами, а также будут приведены соответствующие скрипты (для MS SQL-Server) для обслуживания индексов баз данных.

1 стартмани

22.03.2018    29363    26    Tavalik    9    

Установка баз данных из Проводника Промо

Сервисные утилиты Администрирование данных 1С Стартеры 1С Абонемент ($m)

Взяли выгрузку базы у клиента? Прислали по почте файл конфигурации? Хотите развернуть базу данных двойным щелчком на файле *.dt или *.cf? Database Manager - то что вам нужно!

2 стартмани

28.10.2013    35869    15    Evil Beaver    30    

Резервное копирование файлов nw_am.exe

Сервисные утилиты Архивирование (backup) Россия Абонемент ($m)

Резервное копирование файлов. Интерфейса нет, всё делается через 2 файла настройки. Очень маленькая и незаметная программа, которая работает даже на слабых компьютерах. Тестировалась на Window XP, Window 7 и Windows 10. Проверялось антивирусами Avast и Avira, за вирус не приняли. Язык разработки Pure Basic (надстройка над FASM-ом). Код закрыт, т.к. не думаю. что кому-то будет интересно разбирать синтаксис малознакомой среды разработки. Копирование производится в папки по дате и времени.

1 стартмани

26.02.2018    8725    0    strange2007    1    

Com to Keyboard - имитация ввода с клавиатуры сигнала, поступающего из Com порта

Сервисные утилиты Абонемент ($m)

Утилита позволяет имитировать ввод с клавиатуры сигнала, поступающего из Com порта. Иногда при использовании оборудования (Сканер и Картридер и т.д.) возникают проблемы с его подключением к системе учета. В таком случае просто не обойтись без дополнительных утилит, позволяющих решить поставленные задачи.

3 стартмани

11.12.2017    9240    7    mvdimas    1    

Быстрое удаление неиспользуемых версий 1С:Предприятие 8, кэша метаданных и информационных баз

Сервисные утилиты v8 Абонемент ($m)

При обновлении платформы 1С:Предприятие 8 предыдущие версии не удаляются. Со временем количество неиспользуемых версий платформы растет. Они занимают место на диске. Для решения этой проблемы предназначена программа OneCleaner. Она позволяет быстро удалить неиспользуемые версии платформы, а также почистить кэш метаданных и удалить ненужные информационные базы данных.

1 стартмани

14.11.2017    22326    89    bonv    15    

Скачиваем релизы с сайта users.v8.1c.ru Промо

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Обработка позволяет настроить список релизов, доступных пользователю, на сайте users.v8.1c.ru, проверять - вышли ли новые обновления и, если вышли, скачивать их и раскладывать по папочкам. Требует установки curl и openssl

10 стартмани

18.08.2014    39948    25    Demonobond    31    

Закрываем всплывающие сообщения платформы

Сервисные утилиты v8::УФ Абонемент ($m)

Принудительное закрывание сообщений платформы 8.3.10.

1 стартмани

10.11.2017    13207    13    RomaH    8    

RDP: Библиотека файлов

Сервисные утилиты Россия Абонемент ($m)

Программа запускается в system tray. В контекстное меню программы загружается список файлов с расширением "*.rdb". Открывает соединение с удаленным рабочем столом.

1 стартмани

27.10.2017    8166    9    arcadics    5    

Следим за производительностью системы. APDEX, PowerShell, PRTG

Производительность и оптимизация (HighLoad) Абонемент ($m)

Продолжаю делиться своими кастомными сенсорами для системы мониторинга PRTG.

1 стартмани

26.10.2017    12887    6    ddens    0    

V8 Viewer. Открытие и сравнение внешних обработок в Проводнике + исходники Промо

Сервисные утилиты Инструментарий разработчика Универсальные обработки v8 1cv8.cf Абонемент ($m)

Вы хотите получить возможность быстро посмотреть содержимое внешнего отчета или обработки? А сравнить ее с другой? И все это без запуска 1С:Предприятия, только из оболочки ОС? Тогда мы идем к вам! :) В конце заметки - ссылка на исходники.

2 стартмани

06.03.2013    67022    124    Evil Beaver    157    

Графическая оболочка для консольной утилиты cnvdbfl.exe

Сервисные утилиты v8 Абонемент ($m)

Графическая оболочка для консольной утилиты cnvdbfl.exe предназначенной для преобразования размера внутренней страницы файла базы 1С.

1 стартмани

25.10.2017    39932    267    frkbvfnjh    43    

ОСкрипты для деплоя и копирования базы данных

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Набор оскриптов для деплоя базы 1С через хранилище и копирование через sql-бекап одной базы в другую

1 стартмани

02.05.2017    24209    34    Stepa86    27    

Автокликер для 1С

Сервисные утилиты v8 1cv8.cf Абонемент ($m)

Внешняя обработка, запускаемая в обычном (неуправляемом) режиме для автоматизации действий пользователя (кликер). ActiveX компонента, используемая в обработке, получает события от клавиатуры и мыши по всей области экрана в любом приложении и транслирует их в 1С, получает информацию о процессах, текущем активном приложении, выбранном языке в текущем приложении, умеет сохранять снимки произвольной области экрана, активных окон, буфера обмена, а также, в режиме воспроизведения умеет активировать описанные выше события. Все методы и свойства компоненты доступны при непосредственной интеграции в 1С. Примеры обращения к компоненте представлены в открытом коде обработки.

1 стартмани

03.04.2017    31632    75    slava_1c    49    

Программы перекодировки символов для ККТ онлайн «Элвес-МФ», «АТОЛ 90Ф» и «Меркурий-115Ф»

Сервисные утилиты ККМ Кассовые операции Кассовые операции Россия Абонемент ($m)

Программы перекодировки символов для ККТ онлайн «Элвес-МФ», «АТОЛ 90Ф» и «Меркурий-115Ф» - предназначены для сокращения времени ввода символьной информации в поля таблиц ККТ. Если касса не подключена к компьютеру, тогда текстовая информация в неё вводится через цифровую клавиатуру. Программа перекодировки символов переводит символы текста в цифровой код, предназначенный к вводу в ККТ, позволяет экономить время на поиске соответствующих значений символов в таблице кодов символов (стр. 42 руководства ККТ Элвес-МФ), (стр. 68 руководства ККТ АТОЛ 90Ф) (стр. 68 руководства ККТ АТОЛ 90Ф) или (Приложение 2 руководства ККТ «Меркурий-115Ф»). Пользователь программы может выбрать способ вывода перекодированных символов в строку или в столбик.

1 стартмани

10.03.2017    42808    5    w22u    5    

1:Tools - наш инструмент для обслуживания 1С

Сервисные утилиты Абонемент ($m)

Уважаемые коллеги. Разрешите представить вам первый выпуск нашего инструмента для обслуживания 1С. Пока набор функций невелик, но со временем будет расти. Сегодня в него входят очистка кеша и восстановление запуска баз после аварийного завершения.

1 стартмани

05.02.2017    28102    55    oldcopy    78    

Статистика использования ключей HASP (PRTG via PowerShell)

Сервисные утилиты Абонемент ($m)

Когда наступит момент нехватки ключей HASP? А может уже пора бежать в магазин за новыми ключами?

1 стартмани

03.12.2016    11843    19    ddens    0    

Восстановление работоспособности ключа криптозащиты с ошибкой CKR_FUNCTION_FAILED (FIX для автоматической настройки)

Сервисные утилиты Администрирование данных 1С Розничная и сетевая торговля (FMCG) Россия Абонемент ($m)

Для облегчения процесса мною было собрано два установочника, один для x32 систем, другой для x64, дабы облегчить процесс перенастройки. Просто скачиваете и "Запускаете от имени Администратора". Все остальное происходит автоматически.  

1 стартмани

25.11.2016    24561    60    user635667    11