Разбор технологического журнала без боли и страданий

12.12.22

Технологический журнал - мощный инструмент логирования, используемый для анализа проблем производительности 1С. Но он обладает одним огромным недостатком, в "сыром виде" он почти не поддается адекватному анализу из-за своей структуры. Существует довольно много способов "разобрать" технологический журнал, но все опробованные способы обладают теми или иными недостатками. Предлагаю вам мой вариант "велосипеда" для разбора ТЖ и хранения разобранного в различных форматах.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		По подписке [?]	Купить один файл
Разбор технологического журнала_docker .zip 15,43Kb 13	13	Скачать (1 SM)	Купить за 1 850 руб.
Разбор технологического журнала_версия для windows .zip 15,15Kb 35	35	Скачать (2 SM)	Купить за 2 150 руб.

Критерии выбора

Когда я подошел к задаче разбора технологического журнала, я выделил для себя рад критериев:

Масштабируемость
Количество логов растет с ростом базы, а значит должен быть довольно гибкий механизм масштабирования разбора логов
Отказоустойчивость
Гибкость
Хочется иметь возможность без боли и страданий добавлять или изменять текущие механизмы экспорта журнала.
Скорость работы
В ситуации, когда объем генерируемых логов в час со всеми ограничениями достигает десятков гигабайт - скорость обработки этих логов становится критичным фактором.

Проблемы существующих решений

Дак что же использовать для решения подобных проблем? На самом деле - решений на ИС масса. и Bash-скрипты, и экспортеры всех мастей на всех возможных языках, и тд и тп. Зачем нужен свой велосипед?

Почти ни одно из этих решений не позволяло использовать в качестве хранилища разобранного Clickhouse
Экономия места, а так же скорость его работы - делают его практически незаменимым в задаче хранения логов.
Те же, что давали такую возможность не подходили для дальнейшего развития т.к. там использовался совсем "не мой" стек технологий.

Vector

В итоге в качестве экспортера был выбран Vector Это продукт с открытым исходным кодом и большим зоопарком возможностей для обработки логов. в чем плюсы этого решения:

Скорость
Написанный на Rust вектор перемалывает логи в невероятных объемах
Стабильность.
Гибкость настройки
ТЖ - мягко скажем не самая удобная для разбора конструкция... Вектор позволяет аккуратно работать с ним фильтруя ложные срабатывания
Масштабируемость
При необходимости обработка ТЖ может вестись в несколько потоков
Удобство настройки и использования
Экспортер может легко работать как в Windows, так и в linux средах, а так же очень удобно и комфортно разворачивается в Docker-контейнере
Количество вариантов хранилища для логов
Вектор имеет уже описанные коннекторы с Clickhouse, Elasticserch, а так же еще с 3мя десятками популярных хранилищ.

Инструкция по установке

Проще всего использовать решение в Docker-контейнере

Скачиваем архив
Создаем таблицы в Clickhouse при помощи скриптов из папки sql-scripts
Переименовываем файлы Docker-compose.yaml.example и TechJournal.env.examle убирая ".example"
Заполняем настройки подключения к базе и фильтр событий в файле techJournal.env
В файле docker-compose указываете путь к папке с логами
и все. docker-compose up -d и вы собираете логи ТЖ в базу clickhouse

Инструкция для работы в windows

Установите Vector c официального сайта.
Скачиваем архив для Windows
Создаем таблицы в Clickhouse при помощи скриптов из папки sql-scripts
В файле executor.cmd задаем настройки сборщика
запускаем executor.cmd

Структура проекта

Все довольно просто:

Весь конфиг находится в папке ./config
В папке transforms хранятся отдельные обработчики для каждого из событий, они так и называются
Для того чтобы изменить процедуру анализа события, достаточно отредактировать файл с соответствующей трансформацией.
Для того чтобы добавить событие к обработке необходимо изменить конфигурационный файл добавив туда область с обработкой конкретного события, а так же создать обработчик в папке transforms

Что работает из коробки

Анализ исключительных ситуаций EXCP, QERR и EXCPCNTX
Анализ ожиданий на управляемых блокировках
Анализ событий SDBL и DBMSSQL

Что в планах на ближайшее будущее

Уже сейчас тестируется разбор Call и Scall
Далее в планах обработка событий реструктуризации базы данных(Restructuring, workflow, analysis)
Далее Утечки памяти.
Остальные события будут добавляться по требованию(потребности)
Создание механизмов мониторинга и анализа ТЖ(дашборды, графики предсоставленные запросы)
Реализация расширения для 1с, с традиционным анализом ТЖ, но с использованием в качестве источника данных clickhouse
Проработка механизма устаревания данных в базе clickhouse

В заключении

Мне кажется, что это один из самых гибких и эффективных вариантов анализа ТЖ, которые есть в наличии.
Проект подходит для промышленного использования. У этого проекта полностью открытый исходный код, так что есть простор для кастомизации.

Тестировалось на платформе 8.3.20.2180

Проект доступен на github
Буду рад помощи и указанию на неточности обработки

UPDATE 16.12

Добавилась обработка и сбор событий call и Scall, теперь можно вытаскивать самые долгие вызовы.
Исправление минорных дефектов

Технологический журнал Логи Анализ

+91 –

См. также

Почему на Postgres запросы выполняются дольше при включении plansql в технологическом журнале?

HighLoad оптимизация Запросы Технологический журнал Программист Платформа 1С v8.3 Бесплатно (free)

Рассмотрим логику выполнения запросов платформой 1С к СУБД при включенной настройке ТЖ.

27.11.2024 582 Tantor 10

Кейс: TCP Provider: An existing connection was forcibly closed by the remote host

HighLoad оптимизация Технологический журнал Сервера Системный администратор Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 Россия Бесплатно (free)

Неожиданные результаты расследования ошибки "TCP Provider: An existing connection was forcibly closed by the remote host".

29.10.2024 912 PerlAmutor 1

Длительные вызовы - CALL, SCALL

HighLoad оптимизация Технологический журнал Системный администратор Программист Бесплатно (free)

Обсудим поиск и разбор причин длительных серверных вызовов CALL, SCALL.

24.06.2024 5802 ivanov660 12

Примеры настроек технологического журнала

Технологический журнал Программист Платформа 1С v8.3 Бесплатно (free)

Шпаргалка по настройке технологического журнала.

27.04.2024 15154 kuzyara 6

119

Магия преобразований Vector, часть 2: технологический журнал

Технологический журнал Мониторинг Системный администратор Программист Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

15.11.2023 1785 8 AlexSTAL 0

Магия преобразований: ЖР, ТЖ, RAS/RAC, логи - универсальное решение Vector

Мониторинг Журнал регистрации Технологический журнал Системный администратор Программист Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

13.11.2023 5152 11 AlexSTAL 0

«Монитор» – простой анализ производительности

Администрирование СУБД Технологический журнал Системный администратор Бесплатно (free)

Для расследования проблем производительности недостаточно просто проанализировать технологический журнал. Нужен парсинг контекста событий, его сопоставление с информацией из Extended Events и логов, агрегация огромного количества информации.

21.09.2023 7650 Andreynikus 14

Экспорт технологического журнала 1с в Elastic с помощью Logstash

Технологический журнал Системный администратор Программист Платформа 1С v8.3 Абонемент ($m)

Целью данного решения является организация хранения и анализа данных из технологического журнала 1С с использованием стека Elasticsearch + Logstash + Kibana.

5 стартмани

18.09.2023 5487 huxuxuya 6

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. maXon777 129 13.12.22 10:35 Сейчас в теме

Спасибо за то что делитесь опытом! А можно пару скринов для того, чтобы понять, что дает на выходе Вектор?

2. xKEEPERx 3 13.12.22 10:38 Сейчас в теме

А Журнал регистрации можно таким же образом настроить?

5. JohnyDeath 302 13.12.22 12:39 Сейчас в теме

(2) https://github.com/akpaevj/OneSTools.EventLog

8. xKEEPERx 3 13.12.22 13:08 Сейчас в теме

(5) Я к сожалению пока не понял, как это запустить)))
Буду пробовать)

3. Segate 267 13.12.22 10:40 Сейчас в теме

(1) не совсем понял вопрос. Вектор на выходе даёт записи в таблицах Clickhouse.

(2) да, можно. Даже статья на инфостарте есть на эту тему, поищите.
Чуть позже, добавлю сюда разбор и до тоже, чтобы все было в одном месте

4. John_d 5911 13.12.22 11:26 Сейчас в теме

(3) Интересно увидеть скриншоты результата разбора в таблицах Clickhouse

6. JohnyDeath 302 13.12.22 12:41 Сейчас в теме

(0) не смотрели в сторону https://github.com/akpaevj/OneSTools.TechLog ?

13. akpaevj 210 12.01.23 14:06 Сейчас в теме

(6) Оно нерабочее и скоро уйдет в архив. На подходе инструмент, который работает из коробки без кучи конфигурационных файлов и кода со стороны пользователя

7. Segate 267 13.12.22 12:42 Сейчас в теме

(6) Смотрел, но как я и говорил, стек .net - совсем не мой. А работать "из коробки" я это приложение заставить не смог

9. user1858942 13.12.22 15:09 Сейчас в теме

Вот такую ошибку получал.
contains(EXCP,EXCPCNTX,TLOCK,TTIMEOUT,SDBL,QERR, to_string!(.Event))
^^^^
│
undefined variable
did you mean "null"?

В vector.toml поправил condition = '''contains("${EVENT_LIST}", to_string!(.Event))''' заработало.
Докер запускается на windows. Что-то делал не так или ошибка?

10. Segate 267 13.12.22 15:12 Сейчас в теме

(9)видимо зависит от среды запуска. Проверю

11. aple313 3 19.12.22 12:12 Сейчас в теме

Не понял из статьи Live режим реализован или пока в планах?

12. Segate 267 19.12.22 14:23 Сейчас в теме

(11) сбор осуществляется в режиме реального времени, но ТК это происходит не из памяти, а из файлов минимальная задержка(пара минут) все таки есть

14. Habist1 18.01.23 17:32 Сейчас в теме

запускаю версию для windows:

C:\Windows\system32>"C:\Program Files\Vector\bin\vector" --config "C:\Program Files\Vector\config\vector.toml"
2023-01-18T14:31:16.169033Z INFO vector::app: Internal log rate limit configured. internal_log_rate_secs=10
2023-01-18T14:31:16.169326Z INFO vector::app: Log level is enabled. level="vector=info,codec=info,vrl=info,file_source=info,tower_limit=trace,rdkafka=info,buffers=info,lapin=info,kube=info"
2023-01-18T14:31:16.169861Z INFO vector::app: Loading configs. paths=["C:\\Program Files\\Vector\\config\\vector.toml"]
2023-01-18T14:31:17.094496Z INFO vector::topology::running: Running healthchecks.
2023-01-18T14:31:17.095785Z INFO source{component_kind="source" component_id=input_logs component_type=file component_name=input_logs}: vector::sources::file: Starting file server. include=["J:\\1C_logs\\clickhouse\\\\**\\\\*.log"] exclude=[]
2023-01-18T14:31:17.096063Z INFO vector: Vector has started. debug="false" version="0.26.0" arch="x86_64" revision="c6b5bc2 2022-12-05"
2023-01-18T14:31:17.096175Z INFO vector::app: API is disabled, enable by setting `api.enabled` to `true` and use commands like `vector top`.
2023-01-18T14:31:17.097439Z INFO source{component_kind="source" component_id=input_logs component_type=file component_name=input_logs}:file_server: file_source::checkpointer: Loaded checkpoint data.
2023-01-18T14:31:17.110726Z WARN http: vector::internal_events::http_client: HTTP error. error=connection closed before message completed error_type="request_failed" stage="processing" internal_log_rate_limit=true
2023-01-18T14:31:17.110899Z ERROR vector::topology::builder: msg="Healthcheck: Failed Reason." error=Failed to make HTTP(S) request: connection closed before message completed component_kind="sink" component_type="clickhouse" component_id=cl_QERR component_name=cl_QERR

15. Segate 267 18.01.23 18:10 Сейчас в теме

(14) судя по логу, у вас кликхаус не доступен

16. Habist1 18.01.23 19:48 Сейчас в теме

клик с этого сервера точно доступен, ЖР туда выгружаем, а для вектора может какие еще настройки нужны?
(15)

17. Segate 267 19.01.23 15:11 Сейчас в теме

(16) Казалось бы никаких, но лог говорит о невозможности достучаться из процесса вектора в кликхаус. Проверьте все параметры подключения...

18. Habist1 19.01.23 15:48 Сейчас в теме

(17) все по сто раз проверил, вместо имени сервера ip пробовал, не помогает...

19. ComboBoy 15 18.04.23 11:38 Сейчас в теме

Спецом скачал чтобы взять скрипты вектора на разбор ТЖ. Ты отлично постарался - снимаю шляпу, мое почтение!

20. Segate 267 18.04.23 11:39 Сейчас в теме

(19) Спасибо! Скрипты, если что лежать на гитхабе в открытом доступе )

21. ComboBoy 15 18.04.23 11:43 Сейчас в теме

(20) Ну вообще огнище! поставил звезду, склонировал реп

22. AlexSTAL 125 26.04.23 16:24 Сейчас в теме

(0) Егор, а можете мне в личку написать, а то стартмани нет на счету

23. Segate 267 26.04.23 16:29 Сейчас в теме

(22) в статье есть ссылка на репозиторий, он абсолютно свободен для всех.

24. AlexSTAL 125 26.04.23 17:00 Сейчас в теме

(23) не, мне стартани не для скачивания не хватает, а что бы личное сообщение отправить )

25. alexji 22.06.23 21:04 Сейчас в теме

Жив ли проект?

26. Segate 267 22.06.23 21:56 Сейчас в теме

(25) да, вполне, какие-то пожелания?

28. Mr_xxXxx 14.11.24 14:59 Сейчас в теме

Как запустить без Doker ?

29. Segate 267 14.11.24 15:28 Сейчас в теме

(28) Берем репо(папку конфиг), ставим вектор - и прокидываем файл конфига vector.toml

30. Mr_xxXxx 14.11.24 18:36 Сейчас в теме

Спасибо за ответ но при запуске получаю ошибку

vector --config /etc/vector/vector.toml 2024-11-14T15:29:40.712199Z INFO vector::app: Log level is enabled. level="info" 2024-11-14T15:29:40.714152Z INFO vector::app: Loading configs. paths=["/etc/vector/vector.toml
2024-11-14T15:29:40.883778Z WARN transform{component_kind="transform" component_id=CALL component_type=remap}: vector::transforms::remap: VRL compilation warning. warnings= warning[E900]: unused variable `CallWait` ┌─ :16:1 │ 16 │ CallWait, err = parse_regex(.Content, r'callWait=(?P<CallWait>\d)', numeric_groups: false) │ ^^^^^^^^ help: use the result of this expression or remove it │ = this expression has no side-effects = see language documentation at https://vrl.dev = try your code in the VRL REPL, learn more at https://vrl.dev/examples warning[E900]: unused variable `err` ┌─ :2:9 │ 2 │ CallID, err = parse_regex(.Content, r'CallID=(?P<CallID>\d)', numeric_groups: false) │ ^^^ help: use the result of this expression or remove it │ = this expression has no side-effects = see language documentation at https://vrl.dev = try your code in the VRL REPL, learn more at https://vrl.dev/examples 2024-11-14T15:29:41.026268Z WARN transform{component_kind="transform" component_id=SCALL component_type=remap}: vector::transforms::remap: VRL compilation warning. warnings= warning[E900]: unused variable `err` ┌─ :2:9 │ 2 │ CallID, err = parse_regex(.Content, r'CallID=(?P<CallID>\d*)', numeric_groups: false) │ ^^^ help: use the result of this expression or remove it │ = this expression has no side-effects = see language documentation at https://vrl.dev = try your code in the VRL REPL, learn more at https://vrl.dev/examples 2024-11-14T15:29:41.132243Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `EXCP` reported as used 2024-11-14T15:29:41.132294Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `EXCPCNTX` reported as used 2024-11-14T15:29:41.132319Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `TLOCK` reported as used 2024-11-14T15:29:41.132337Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `TTIMEOUT` reported as used 2024-11-14T15:29:41.132358Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `SDBL` reported as used 2024-11-14T15:29:41.132376Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `QERR` reported as used 2024-11-14T15:29:41.132390Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `CALL` reported as used 2024-11-14T15:29:41.132406Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `SCALL` reported as used 2024-11-14T15:29:41.139914Z WARN transform{component_kind="transform" component_id=remap_logs component_type=remap}: vector::transforms::remap: VRL compilation warning. warnings= warning[E900]: unused variable `DateTimeErr` ┌─ :7:7 │ 7 │ date, DateTimeErr = parse_regex(.file,r'(?P<Date>(\d)+).log', numeric_groups: false) │ ^^^^^^^^^^^ help: use the result of this expression or remove it │ = this expression has no side-effects = see language documentation at https://vrl.dev = try your code in the VRL REPL, learn more at https://vrl.dev/examples warning[E900]: unused variable `errEventTimestamp` ┌─ :9:15 │ 9 │ .DateTime, errEventTimestamp = format_timestamp(parse_timestamp!((to_string(date.Date) + to_string(.DateTime)), "%y%m%d%H%M:%S.%6f"), "%F %T%.6f") │ ^^^^^^^^^^^^^^^^^ help: use the result of this expression or remove it │ = this expression has no side-effects = see language documentation at https://vrl.dev = try your code in the VRL REPL, learn more at https://vrl.dev/examples 2024-11-14T15:29:41.539952Z ERROR vector::topology::builder: Configuration error. error=Transform "filter_EVENT_LIST": error[E701]: call to undefined variable ┌─ :1:10 │ 1 │ contains(EXCP,EXCPCNTX,TLOCK,TTIMEOUT,SDBL,QERR,CALL,SCALL, to_string!(.Event)) │ ^^^^ │ │ │ undefined variable │ did you mean "null"? │ = see language documentation at https://vrl.dev = try your code in the VRL REPL, learn more at https://vrl.dev/examples]Скрытый текст

vector --config /etc/vector/vector.toml
2024-11-14T15:29:40.712199Z INFO vector::app: Log level is enabled. level="info"
2024-11-14T15:29:40.714152Z INFO vector::app: Loading configs. paths=["/etc/vector/vector.toml

2024-11-14T15:29:40.883778Z WARN transform{component_kind="transform" component_id=CALL component_type=remap}: vector::transforms::remap: VRL compilation warning. warnings=
warning[E900]: unused variable `CallWait`
┌─ :16:1
│
16 │ CallWait, err = parse_regex(.Content, r'callWait=(?P<CallWait>\d*)', numeric_groups: false)
│ ^^^^^^^^ help: use the result of this expression or remove it
│
= this expression has no side-effects
= see language documentation at https://vrl.dev
= try your code in the VRL REPL, learn more at https://vrl.dev/examples

warning[E900]: unused variable `err`
┌─ :2:9
│
2 │ CallID, err = parse_regex(.Content, r'CallID=(?P<CallID>\d*)', numeric_groups: false)
│ ^^^ help: use the result of this expression or remove it
│
= this expression has no side-effects
= see language documentation at https://vrl.dev
= try your code in the VRL REPL, learn more at https://vrl.dev/examples

2024-11-14T15:29:41.026268Z WARN transform{component_kind="transform" component_id=SCALL component_type=remap}: vector::transforms::remap: VRL compilation warning. warnings=
warning[E900]: unused variable `err`
┌─ :2:9
│
2 │ CallID, err = parse_regex(.Content, r'CallID=(?P<CallID>\d*)', numeric_groups: false)
│ ^^^ help: use the result of this expression or remove it
│
= this expression has no side-effects
= see language documentation at https://vrl.dev
= try your code in the VRL REPL, learn more at https://vrl.dev/examples

2024-11-14T15:29:41.132243Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `EXCP` reported as used
2024-11-14T15:29:41.132294Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `EXCPCNTX` reported as used
2024-11-14T15:29:41.132319Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `TLOCK` reported as used
2024-11-14T15:29:41.132337Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `TTIMEOUT` reported as used
2024-11-14T15:29:41.132358Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `SDBL` reported as used
2024-11-14T15:29:41.132376Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `QERR` reported as used
2024-11-14T15:29:41.132390Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `CALL` reported as used
2024-11-14T15:29:41.132406Z WARN transform{component_kind="transform" component_id=filter_EVENT_LIST component_type=filter}: vrl::compiler::unused_expression_checker: unexpected identifier `SCALL` reported as used
2024-11-14T15:29:41.139914Z WARN transform{component_kind="transform" component_id=remap_logs component_type=remap}: vector::transforms::remap: VRL compilation warning. warnings=
warning[E900]: unused variable `DateTimeErr`
┌─ :7:7
│
7 │ date, DateTimeErr = parse_regex(.file,r'(?P<Date>(\d)+).log', numeric_groups: false)
│ ^^^^^^^^^^^ help: use the result of this expression or remove it
│
= this expression has no side-effects
= see language documentation at https://vrl.dev
= try your code in the VRL REPL, learn more at https://vrl.dev/examples

warning[E900]: unused variable `errEventTimestamp`
┌─ :9:15
│
9 │ .DateTime, errEventTimestamp = format_timestamp(parse_timestamp!((to_string(date.Date) + to_string(.DateTime)), "%y%m%d%H%M:%S.%6f"), "%F %T%.6f")
│ ^^^^^^^^^^^^^^^^^ help: use the result of this expression or remove it
│
= this expression has no side-effects
= see language documentation at https://vrl.dev
= try your code in the VRL REPL, learn more at https://vrl.dev/examples

2024-11-14T15:29:41.539952Z ERROR vector::topology::builder: Configuration error. error=Transform "filter_EVENT_LIST":
error[E701]: call to undefined variable
┌─ :1:10
│
1 │ contains(EXCP,EXCPCNTX,TLOCK,TTIMEOUT,SDBL,QERR,CALL,SCALL, to_string!(.Event))
│ ^^^^
│ │
│ undefined variable
│ did you mean "null"?
│
= see language documentation at https://vrl.dev
= try your code in the VRL REPL, learn more at https://vrl.dev/examples]Скрытый текст

31. Mr_xxXxx 14.11.24 19:47 Сейчас в теме

Получилось запустить, но получаем такие предупреждения

2024-11-14T16:11:07.248556Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Found line that exceeds max_line_bytes; discarding. internal_log_rate_limit=true 2024-11-14T16:11:07.812579Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.
is being suppressed to avoid flooding. 2024-11-14T16:12:35.154093Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] has been suppressed 23 times. 2024-11-14T16:12:35.154136Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Found line that exceeds max_line_bytes; discarding. internal_log_rate_limit=true 2024-11-14T16:12:35.155863Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] is being suppressed to avoid flooding. 2024-11-14T16:12:49.542977Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] has been suppressed 55 times. 2024-11-14T16:12:49.543016Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Found line that exceeds max_line_bytes; discarding. internal_log_rate_limit=true 2024-11-14T16:12:49.544438Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] is being suppressed to avoid flooding. 2024-11-14T16:13:45.465633Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] has been suppressed 48 times. 2024-11-14T16:13:45.465685Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Found line that exceeds max_line_bytes; discarding. internal_log_rate_limit=true 2024-11-14T16:13:45.467537Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] is being suppressed to avoid flooding.]Скрытый текст

2024-11-14T16:11:07.248556Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Found line that exceeds max_line_bytes; discarding. internal_log_rate_limit=true
2024-11-14T16:11:07.812579Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.

is being suppressed to avoid flooding.
2024-11-14T16:12:35.154093Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] has been suppressed 23 times.
2024-11-14T16:12:35.154136Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Found line that exceeds max_line_bytes; discarding. internal_log_rate_limit=true
2024-11-14T16:12:35.155863Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] is being suppressed to avoid flooding.
2024-11-14T16:12:49.542977Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] has been suppressed 55 times.
2024-11-14T16:12:49.543016Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Found line that exceeds max_line_bytes; discarding. internal_log_rate_limit=true
2024-11-14T16:12:49.544438Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] is being suppressed to avoid flooding.
2024-11-14T16:13:45.465633Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] has been suppressed 48 times.
2024-11-14T16:13:45.465685Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Found line that exceeds max_line_bytes; discarding. internal_log_rate_limit=true
2024-11-14T16:13:45.467537Z WARN source{component_kind="source" component_id=input_logs component_type=file}:file_server: file_source::buffer: Internal log [Found line that exceeds max_line_bytes; discarding.] is being suppressed to avoid flooding.]Скрытый текст

32. Segate 267 14.11.24 20:15 Сейчас в теме

(31) там есть ограничение на размер записи, чтобы отсекать запросы по 1+ Гб)

Может в этом дело.
Или, возможно, если вы используете Винду, то multiline некорректно отрабатывает

33. Mr_xxXxx 14.11.24 21:24 Сейчас в теме

(32) Запускал на Linux. Ещё один вопрос собираю полный ТЖ, в качестве СУБД Postgres в разбор включён DBMSSQL как понял он там парсит по dbpid и sql но в таблицу данные не подают. Куда смотреть?

34. Segate 267 14.11.24 21:44 Сейчас в теме

(33) sdbl парсится вот здесь https://github.com/Segate-ekb/vector/blob/main/config%2Ftransforms%2FSDBL.vrl

А трансляция в пг не писалась, т.к у нас mssql

Можно взять вот этот файлик за основу и сделать под пг трансформер.

Ну и прислать пр, конечно же)

Ну или напишите мне в личку в понедельник-вторник, чтоб я не забыл... И я сделаю

35. Mr_xxXxx 16.11.24 12:59 Сейчас в теме

(34) Спасибо за скрипты и помощь. Вроде сделал так, как вы подсказали, но есть пара вопросов по файлу Предупреждения: 1. Почему-то получаю сообщения WARN как исправить? 2. Как сместить время обработки? Vector пишет по UTC, а мне хотелось бы получить по МСК.

Прикрепленные файлы:

vector.toml
DBPOSTGRS.vrl
Предупреждения.txt

36. Segate 267 16.11.24 13:35 Сейчас в теме

(35) Вам нужно просто посмотреть на текст ошибки, и проверить, как ошибочные сообщения валятся в клик.

Возможно что-то с принимающей таблицей. Возможно какие-то сообщения - очень большие по объему и не влазят в лимиты? )

что касается unused variable - надо их или убрать, или обработать )

Оставьте свое сообщение

E-mail:

Автор:

(Segate)

Рейтинг: 267

Для получения уведомлений о новых публикациях автора подключите телеграм бот: Инфостарт бот

Публикация:

№ 1773131

Создание 12.12.22 16:00

Обновление 12.12.22 16:00

Статистика:

Просмотры 10560

Загрузки 48

Рейтинг 91

Комментарии 35

Характеристики:

Код открыт Да

Рубрики Технологический журнал

Кому Системный администратор ,
Программист

Тип файла Архив с данными

Платформа Не имеет значения

Конфигурация Не имеет значения

Операционная система Не имеет значения

Страна Не имеет значения

Отрасль Не имеет значения

Налоги Не имеет значения

Вид учета Не имеет значения

Доступ к файлу Абонемент ($m)