Чтение логов технологического журнала

12.09.13

Обработка позволяет читать логи технологического журнала и формировать на основании данных отчет.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		По подписке [?]	Купить один файл
Чтение логов технологического журнала (8.1) .erf 15,80Kb 1677	1677	Скачать (1 SM)	Купить за 1 850 руб.
Чтение логов технологического журнала (8.2) .erf 19,25Kb 468	468	Скачать (1 SM)	Купить за 1 850 руб.

Так как парсеров логов технологического журнала найти не смог - пришлось писать обработку самому.

Для формирования отчета используется схема компоновки данных - соответственно настраивайте выходную форму как захочется.

Обновление 13.09.2012:

Переделал код в одну строку. Прирост к скорости чтения до 30%.

Обновление 28.09.2012:

Алгоритм обработки полностью переписан. Старая версия обработки оставлена на всякий пожарный.
Значительно увеличена скорость чтения данных.
Убран индикатор чтения строк. Вместо него добавлено количество обработанных файлов в статус формы.
Убран заголовок отчета
Зафиксированы максимальная высота и ширина ячеек.
Расширен список считываемых событий.
Период чтения данных расширен до секунд.
Добавлен флаг "НеСбрасыватьНастройкиСКД". Если он установлен - при чтении файла не сбрасываются настройки компановки, установленные пользователем. При выключенном состоянии в отчет попадают только непустые события.

Обновление 13.09.2012:

Удалил старую версию обработки (многие путались и скакачивали ее).
Обновил скриншот.
Для ленивых добавил версию под 8.2.

+297 –

См. также

Расследование ошибки "TCP Provider: An existing connection was forcibly closed by the remote host" и неожиданные результаты

HighLoad оптимизация Технологический журнал Сервера Системный администратор Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 Россия Бесплатно (free)

Неожиданные результаты расследования ошибки "TCP Provider: An existing connection was forcibly closed by the remote host".

29.10.2024 480 PerlAmutor 1

Поиск и анализ длительных вызовов - CALL, SCALL

HighLoad оптимизация Технологический журнал Системный администратор Программист Бесплатно (free)

Обсудим поиск и разбор причин длительных серверных вызовов CALL, SCALL.

24.06.2024 5134 ivanov660 12

Примеры настроек технологического журнала

Технологический журнал Программист Платформа 1С v8.3 Бесплатно (free)

Шпаргалка по настройке технологического журнала.

27.04.2024 11320 kuzyara 5

116

Магия преобразований Vector, часть 2: технологический журнал

Технологический журнал Мониторинг Системный администратор Программист Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

15.11.2023 1562 8 AlexSTAL 0

Магия преобразований: ЖР, ТЖ, RAS/RAC, логи - универсальное решение Vector

Мониторинг Журнал регистрации Технологический журнал Системный администратор Программист Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

13.11.2023 4714 9 AlexSTAL 0

«Монитор» – простой анализ производительности

Администрирование СУБД Технологический журнал Системный администратор Бесплатно (free)

Для расследования проблем производительности недостаточно просто проанализировать технологический журнал. Нужен парсинг контекста событий, его сопоставление с информацией из Extended Events и логов, агрегация огромного количества информации.

21.09.2023 7249 Andreynikus 14

Экспорт технологического журнала 1С в Elastic с помощью Logstash

Технологический журнал Системный администратор Программист Платформа 1С v8.3 Абонемент ($m)

Целью данного решения является организация хранения и анализа данных из технологического журнала 1С с использованием стека Elasticsearch + Logstash + Kibana.

5 стартмани

18.09.2023 5080 huxuxuya 6

История расследования (с бонусами) взаимоблокировок на таблице итогов регистра бухгалтерии

HighLoad оптимизация Технологический журнал Системный администратор Программист Платформа 1С v8.3 Россия Бесплатно (free)

Мой первый опыт расследования взаимоблокировок на таблице итогов регистра бухгалтерии на новом месте работы.

22.05.2023 3199 AlexSTAL 2

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. Serj1C 483 24.04.09 14:01 Сейчас в теме

Долго грузится и вываливается на 100%

Код
{Форма.ФормаОтчета(40)}: Преобразование значения к типу Дата не может быть выполнено СтрокаТаблДанных.Дата=Дата(ДатаФайлаСтр+Сред(ТекСтрока,1,2)+Сред(ТекСтрока,4,2)); Показать полностью

Код

{Форма.ФормаОтчета(40)}: Преобразование значения к типу Дата не может быть выполнено
   СтрокаТаблДанных.Дата=Дата(ДатаФайлаСтр+Сред(ТекСтрока,1,2)+Сред(ТекСтрока,4,2));

Показать полностью

2. Широкий 693 24.04.09 14:31 Сейчас в теме

Поправил

3. German 413 25.04.09 10:10 Сейчас в теме

>Так как парсеров логов технологического журнала найти не смог
Плохо смотрели http://main.1c-ei.ru/Articles/trassirovka

4. Широкий 693 27.04.09 09:22 Сейчас в теме

Вроде разные вещи: трассировка запросов используя ТЖ и трассировка ТЖ для формирования отчетов..

5. неадекват 29.04.09 03:31 Сейчас в теме

Точно и понятно, своевременно, спасибо. Как-бы научить читать все логи из "корневой" папки для логов?

6. Широкий 693 29.04.09 09:00 Сейчас в теме

Не понял... она вроде это умеет

7. azhdan 29.04.09 10:43 Сейчас в теме

а Логи сервера (процесса rphost) должна обработка читать?

8. Широкий 693 29.04.09 10:46 Сейчас в теме

Должна читать все логи ТЖ.. к конкретике привязки нет

9. Широкий 693 29.04.09 10:47 Сейчас в теме

azhdan или я вопроса не понял

10. Широкий 693 30.04.09 10:46 Сейчас в теме

Поправил ошибку совместного доступа к файлам лога

11. max44 30.04.09 12:21 Сейчас в теме

{Форма.ФормаОтчета(83)}: Поле объекта не обнаружено
СтрокаТаблДанных[ВернутьИмяКолонкиТаблДанных(НаименованиеПараметра)]=ЗначениеПараметра;

12. Широкий 693 30.04.09 12:45 Сейчас в теме

Скинь мне пример лога

13. max44 30.04.09 14:06 Сейчас в теме

(12) как его переслать? почту? выкладывать в общий дуступ не хочу...

14. DionisioSPb 30.04.09 16:39 Сейчас в теме

В процедуре ПрочитатьДанныеФайлов() замените условие
Если Сред(Строка,3,1)=":" Тогда
на
Если Сред(Строка,3,1)=":" И Сред(Строка,6,1)="." Тогда

так как в некоторых случаях текст, например запросов, может содержать символ двоеточия.

15. Широкий 693 30.04.09 16:44 Сейчас в теме

Да нет - тут все верно - так начинается строка лога (это минуты и секунды события)

16. Широкий 693 30.04.09 18:43 Сейчас в теме

max44, поправил - проверяй
DionisioSPb, на всякий случай вставил твою проверку

17. sashocq 193 10.07.09 12:57 Сейчас в теме

Не пашет :-(
Могу выслать логи на почту.

18. Широкий 693 13.07.09 14:21 Сейчас в теме

Обновил обработку

19. tormozit 7229 05.08.09 15:58 Сейчас в теме

Вот бы их на лету почитать от клиентского приложения.

20. Широкий 693 05.08.09 16:03 Сейчас в теме

А разве не может?

34. sashocq 193 26.01.10 16:59 Сейчас в теме

{Форма.ФормаОтчета(20)}: Ошибка при вызове метода контекста (Добавить): Неверное имя колонки
ТаблДанныхКолонки.Добавить(ИмяКолонки,Новый ОписаниеТипов("Строка",,Новый КвалификаторыСтроки(1000, ДопустимаяДлина.Переменная)),ПредставлениеКолонки);
по причине:
Неверное имя колонки

Могу прислать логи на мыло

36. Широкий 693 27.01.10 09:25 Сейчас в теме

(34) Мое мыло в личку кинул

37. Широкий 693 31.01.10 18:45 Сейчас в теме

Обновил обработку.
(34) Проверяй

38. artbear 1563 01.02.10 08:10 Сейчас в теме

(37) Что обновил? опиши

39. Широкий 693 01.02.10 10:34 Сейчас в теме

(38)
1. Переделал общий принцип парсинга строк. К сожелению новый алгоритм немного медленнее старого, но ,по-крайней мере, избавляет от ошибок чтения.
2. Ухожу от идеи обобщения значений параметров от разных событий в одно (они практически все пересекаются)
3. Добавил осмысленную расшифровку параметров.

Список известных мне параметров теперь находится в макете обработки. Если при парсинге параметр в макете не найден - он воспринимается как значение какого то другого параметра. Поэтому, кому не лень - просмотрите макет на выявление лишних или недостающий параметров и сообщите сюда. Я буду редактировать список.

40. sashocq 193 17.02.10 11:46 Сейчас в теме

(38) Да, все читает нормально, спасибо :-)
Только вот еще что (в прошлый раз забыл написать): почему у тебя нет такого важного поля, как длительность?
В поей простецкой обработке она получалась так:

Длительность = Число(Сред(ТекСтрока, 7, 4));

Получается значение в десятитысячных долях секунды

41. Широкий 693 17.02.10 11:50 Сейчас в теме

(40) Ааа.. так это длительность .. а я то думал - что это за параметр :))
Если не трудно.. кинь мне лог на почту.. я поправлю

21. tormozit 7229 05.08.09 17:35 Сейчас в теме

текущие файлы заблокированы.

22. Широкий 693 05.08.09 17:37 Сейчас в теме

точно последней версией пробовал?

23. tormozit 7229 05.08.09 17:57 Сейчас в теме

Да без ВК тут точно не решится. А может и вообще не решится. Дело в том, что у технологера есть потоковый буфер. И отсюда самые свежие данные (а именно они мне и нужны) не могут быть получены.

24. tormozit 7229 05.08.09 17:58 Сейчас в теме

Таким способом текущие файлы не копируются:
КопироватьФайл(ИмяФайла,ИмяВременногоФайла);

25. tormozit 7229 05.08.09 17:59 Сейчас в теме

А вот через ~30 сек после отключения ТЖ, они освобождаются и все доступно.

26. tormozit 7229 05.08.09 18:05 Сейчас в теме

Мечта у меня такая. В консоли запросов быстро поиметь SDBL и SQL/DBENG/... варианты выполненного запроса.

27. Широкий 693 05.08.09 18:10 Сейчас в теме

А проводником скопировать файлы можно?

29. tormozit 7229 05.08.09 18:24 Сейчас в теме

(27) Нельзя.

28. Широкий 693 05.08.09 18:19 Сейчас в теме

Пробую прямо на живой базе читать логи - нормально отрабатывает.. Может прав нет?

30. tormozit 7229 05.08.09 18:26 Сейчас в теме

Собственно я не могу решить задачу: выполнить по кнопке запрос и быстро вывести его выполненную SDBL версию.

31. Широкий 693 05.08.09 18:28 Сейчас в теме

Блин .. ну вот я на сервак закинул конфиг - данные идут, обработка медленно но читает..
Может у тебя конфиг какой то хитрый.. запости - я на нем проверю

32. sashocq 193 26.01.10 16:46 Сейчас в теме

Добавить бы еще индикатор загрузки. А то вот загружает сейчас что-то - и непонятно, долго ли еще, или может, повис вообще

33. Широкий 693 26.01.10 16:50 Сейчас в теме

(32) Индикатор внизу формы есть

35. sashocq 193 27.01.10 09:19 Сейчас в теме

(33) Да, я его потом увидел. Просто сначала она дооолго что-то еще делала перед показом индикатора.

42. Широкий 693 17.02.10 12:28 Сейчас в теме

Добавил длительность

44. myniko 03.03.10 12:24 Сейчас в теме

(42) Помарочка. Длительность идёт сразу после даты. В обработке же - <уровень>.

mm:ss.tttt-d, <наименование>, <уровень>, <ключевые свойства>
· mm — номер минуты в текущем часе;
· ss — номер секунды в текущей минуте;
· tttt — номер десятитысячной доли текущей секунды;
· d — длительность события в десятитысячных секунды;
· <наименование> — наименование события;
· <уровень> — уровень события в стеке текущего потока;

43. Трактор 1254 19.02.10 16:29 Сейчас в теме

Как-то не с первой попытки отображается отчёт. Поставил отбор - сразу увидел. Чудеса.

45. Широкий 693 04.03.10 11:10 Сейчас в теме

Исправил параметры уровень и длительность (в сек).

Параметр "tttt" — номер десятитысячной доли текущей секунды, добавлять не стал (думаю он не нужен)

46. sashocq 193 31.03.10 13:59 Сейчас в теме

Все замечательно! Только номер десятитысячной доли текущей секунды помог бы при сортировке - для правильного отображения последовательности событий. Можно его добавить отдельным полем.

47. Широкий 693 06.04.10 13:13 Сейчас в теме

Обновил обработку.
Добавил доли секунды и сортировку по-умолчанию

48. trancer 15.04.10 09:36 Сейчас в теме

Спасибо!

49. Господин ПЖ 11.11.10 11:54 Сейчас в теме

Что может быть с обработкой? Открываю под 8.1.15.4 - 1С с грохотом падает. даже не попадая в точку останова ПриОткрытии

50. Широкий 693 11.11.10 12:05 Сейчас в теме

Попробуй платформу переустановить.
Или по-крайней мере попробовать на другой машине.
Похоже на проблему инициализации СКД

51. Господин ПЖ 11.11.10 12:13 Сейчас в теме

Пробовал, тоже самое.

52. Господин ПЖ 11.11.10 12:14 Сейчас в теме

Что в схеме СКД должно быть? У меня кроме источника в виде табл. значений ничего нет. Ни полей ни прочих цацек.

53. Широкий 693 11.11.10 12:15 Сейчас в теме

Может права? На другой конфигурации пробовал?

54. Господин ПЖ 11.11.10 12:18 Сейчас в теме

пробовал... такое впечатление что "внутренности" битые после выкачки. Права есть, read only не стоит

55. Широкий 693 11.11.10 12:21 Сейчас в теме

Только что скачал, попробовал - все нормально.
У тебя 8.1.15.4 или все-таки 8.1.15.14?

56. Господин ПЖ 11.11.10 12:25 Сейчас в теме

8.1.15.14 конечно

57. Господин ПЖ 11.11.10 12:30 Сейчас в теме

на мыло из профиля можешь от себя скинуть?

58. Широкий 693 11.11.10 12:36 Сейчас в теме

Я твое мыло не вижу.
Только это ничего не поменяет. Я уже писал что только что скачивал с сайта обработку и проверил ее

59. Господин ПЖ 11.11.10 12:46 Сейчас в теме

Ладно, буду шаманить дальше в чем проблема. Спасибо что откликнулся.

60. Широкий 693 24.11.10 17:22 Сейчас в теме

Обновил обработку.
Дополнил отчет несколькими дополнительными колонками из лога (колонки "Поток является источником блокировки","Поток является жертвой блокировки" и т.д.)

61. Bitnikov 394 29.11.10 12:12 Сейчас в теме

Широкий,
доработал твою обработку на фильтр по периоду на момент чтения файлов ТЖ.
Т.к. обычно нужно смотреть логи, например, за последний час. Понятно что можно было задать фильтр уже после прочтения в настройках СКД, но если логов очень много, то на это тратится время, поэтому удобней установить фильтр при чтении.
А так, спасибо за обработку!
Сэкономил кучу времени на написании чего то подобного.

Если понравится фильтр - может обновить свой дистрибутив)

Прикрепленные файлы:

ЧтениеЛоговТехнологическогоЖурнала.erf

131. user700035_6550355 34 06.12.18 12:27 Сейчас в теме

(61) нормально работает, только Длительность(сек) нужно еще на 100 поделить чтобы получились секунды

62. Yashazz 4790 15.12.10 11:42 Сейчас в теме

Была б к блоку справка - было б хорошо.

63. Широкий 693 13.01.11 12:52 Сейчас в теме

Bitnikov пишет:

Широкий,

доработал твою обработку на фильтр по периоду на момент чтения файлов ТЖ.

Т.к. обычно нужно смотреть логи, например, за последний час. Понятно что можно было задать фильтр уже после прочтения в настройках СКД, но если логов очень много, то на это тратится время, поэтому удобней установить фильтр при чтении.

А так, спасибо за обработку!

Сэкономил кучу времени на написании чего то подобного.

Если понравится фильтр - может обновить свой дистрибутив)

Показать

Пытался открыть твою. обработку - выбивает ошибку при выполнении файловой операции.
Она случаем не под 8.2?

64. cool.vlad4 2 13.01.11 12:59 Сейчас в теме

(63) нет не 8.2 скачал под 8.2 просит конвертировать

65. Bitnikov 394 13.01.11 13:03 Сейчас в теме

Широкий, cool.vlad4 - под 8.1 (релиз 8.1.15.14)
Только что скачал ее для теста с сайта (моего комментария) по ссылке Скачать - открывается без всяких проблем.

66. Широкий 693 13.01.11 14:04 Сейчас в теме

Обновил обработку - добавил бантик от Bitnikov
Так как файлы лога хранятся с периодичностью в час - выбор периода так же ограничил до выбора целого часа

67. Bitnikov 394 13.01.11 16:23 Сейчас в теме

Широкий, в моем бантике можно было читать логи и за последние 10 минут... Не обязательно кратно 1-му часу.
Дело конечно Ваше, но ИМХО зря сразу делать такое ограничение.

68. aspirator23 339 16.01.11 06:32 Сейчас в теме

(67) Почему то не читает. Указываю интервал. Пишет копирование во временный каталог. Нажимаю сформировать - пустой журнал. 8.1.15
(66) Автор, если не сложно, сделай пожалуйста, возможность установки интервала более тонкую, до минут(десятков минут). Час это очень много, на больших журналах вываливается километровая портянка. Понимаю что это можно затем отбором фильтровать. Но если есть основной фильтр туда уже не с руки лазить. И мелкая просьба - выбор периода лучше разместить в одной строке с выбором каталога. Для больших журналов на небольших мониторах каждая строчка свободного места нужна.Фраза Печатная форма - тоже отъедает полезную площадь. Как и любые заголовки в самой печатной форме. Кто пользуется тот и так знает что это.
Кроме того обнаружил такую особенность. При чтении большого журнала - 500000 строк, бодро начинает читать, затем замедляется и на 180000 строке останавливается. Проверил на последней и предпоследней версии обработки. Старая версия redlog читает нормально весь журнал. Места на диске много, памяти с большим запасом. Запускал обработку на сервере 1с. Один из процессоров сервера уходит в 100% при этом, там и остается.

70. Широкий 693 16.01.11 11:46 Сейчас в теме

aspirator23 пишет:

(67) Почему то не читает. Указываю интервал. Пишет копирование во временный каталог. Нажимаю сформировать - пустой журнал. 8.1.15

Если журнал пустой - то тут либо на самом деле ничего нет, либо фильтры поставлены неправильно.

(66) Автор, если не сложно, сделай пожалуйста, возможность установки интервала более тонкую, до минут(десятков минут). Час это очень много, на больших журналах вываливается километровая портянка. Понимаю что это можно затем отбором фильтровать. Но если есть основной фильтр туда уже не с руки лазить.

На самом деле идеология другая - набор файлов читаем только один раз, а потом отборами фильтруем необходимую выводимую информацию.
Ты же предлагаешь каждый раз эти файлы читать - я считаю это не корректным.
Если напрягает, что при выборе периода сразу формируется отчет - отрежь это сам в коде. Код я не закрывал - переделывайте под себя.

И мелкая просьба - выбор периода лучше разместить в одной строке с выбором каталога. Для больших журналов на небольших мониторах каждая строчка свободного места нужна.Фраза Печатная форма - тоже отъедает полезную площадь. Как и любые заголовки в самой печатной форме. Кто пользуется тот и так знает что это.

Удивлен что до сих пор кто то юзает мелкие мониторы :)
Поправил обработку - добавил на командную панель кнопку "Панель чтения" - она регулирует видимость настроек.

Кроме того обнаружил такую особенность. При чтении большого журнала - 500000 строк, бодро начинает читать, затем замедляется и на 180000 строке останавливается. Проверил на последней и предпоследней версии обработки. Старая версия redlog читает нормально весь журнал. Места на диске много, памяти с большим запасом. Запускал обработку на сервере 1с. Один из процессоров сервера уходит в 100% при этом, там и остается.

Насчет замедления чтения - тут скорее всего кончается оперативка и начинает свопирование в виртуалку. Я бы не рекомендовал такие большие объемы считывать - для анализа сложно и комп насилуешь.

71. aspirator23 339 16.01.11 14:49 Сейчас в теме

(70) спасибо за доработку. Большие выборки приходится делать тогда когда нужно посмотреть за неделю аварийные завершения. В журнал кроме аварий пишется и CONN, он занимает больше всего места. А первичное чтение читает всех поголовно в том числе и CONN. Поэтому и получается 500000 строк. Проблема зависания обработки не связана с памятью. Обработка запускается на сервере. Общей памяти на сервере с большим запасом. При работе обработки потребление память на сервере не растет. На сервере запущено несколько rphost. На всех них память распределена примерно равномерно и она очень невелика - 200мб на момент измерений. Свободного места на диске С тоже достаточно. Многократно больше файла подкачки. Как и писал один из процессоров уходит в 100% и там и остается. Приходится снимать аварийно. Посмотрел код - подозрение на вот этот цикл. Еще не проверял, но возможно он из него на каком-то файле не выходит. Строка 131-152. Конкретно 132-133 строки.

		Пока Истина Цикл
			Строка=ЧтениеТекста.ПрочитатьСтроку();
			Если Строка=Неопределено Тогда
				Прервать;
			КонецЕсли; 
			
			КоличествоОбработано=КоличествоОбработано+1;
			.......................................
		КонецЦикла;

Показать

Посмотрел старую версию там ты для чтения файл используешь FileSystemObject. Старая версия не виснет.

74. artbear 1563 17.01.11 08:25 Сейчас в теме

(71) Да, при работе с большими текстовыми данными FileSystemObject надежнее будет, он давно проверен.

72. Широкий 693 16.01.11 21:54 Сейчас в теме

aspirator23 пишет:

(70) спасибо за доработку. Большие выборки приходится делать тогда когда нужно посмотреть за неделю аварийные завершения. В журнал кроме аварий пишется и CONN, он занимает больше всего места. А первичное чтение читает всех поголовно в том числе и CONN. Поэтому и получается 500000 строк. Проблема зависания обработки не связана с памятью. Обработка запускается на сервере. Общей памяти на сервере с большим запасом. При работе обработки потребление память на сервере не растет. На сервере запущено несколько rphost. На всех них память распределена примерно равномерно и она очень невелика - 200мб на момент измерений. Свободного места на диске С тоже достаточно. Многократно больше файла подкачки. Как и писал один из процессоров уходит в 100% и там и остается. Приходится снимать аварийно. Посмотрел код - подозрение на вот этот цикл. Еще не проверял, но возможно он из него на каком-то файле не выходит. Строка 131-152. Конкретно 132-133 строки.

Хочешь сказать , что встроенный 1с объект по чтению из потока глючит?

73. aspirator23 339 17.01.11 07:28 Сейчас в теме

(72) Посмотрел в отладчике. Виснет, точнее не виснет а очень долго обрабатывает в процедуре
ДобавитьДанныеВТаблицуДанных(СтрокаДанных,ДатаФайлаСтр)
в нее передается строка вида
08:39.3911-0,EXCPCNTX,0,ClientComputerName......
которая имеет огромный размер. В ней идет описание какого-то сумасшедшего запроса, длина которого более 200 тыс.слов
В процедуре входим в цикл(строка 76)

Для НомерСтроки=1 По МногострочнаяЧастьКолСтрок Цикл
.........

И вот тут-то и происходит долгая обработка. В конце концов она его обрабатывает и идет дальше.
Так что претензии которые раньше высказывал в (71) снимаются.
Возможное решение этой проблемы - обрезать строки. Добавить в настройки флаг "Отражать строки сокращенно" и резать по нему длинные строки до каких-то разумных пределов, например 200-500. В отчете все равно такой "сверхзапрос" невозможно просмотреть.
Может для полного счастья отражать в отчете что данная строка отражена сокращенно.
Могу прислать этот лог, если есть желание с ним "побороться".

77. Широкий 693 17.01.11 10:06 Сейчас в теме

(73) Мне необходимо полностью пропарсить строку, какого бы размера она не была. Если я буду резать строку, то могу пропустить некоторые параметры.
А в отчет данные же попадают усеченные до 1000 символов

78. aspirator23 339 17.01.11 10:56 Сейчас в теме

(77) Абыдна :(

79. Широкий 693 17.01.11 11:32 Сейчас в теме

(78) Можно сделать вообще крутяк.. С каждого файла будет читаться первые 500 символов..
Глядишь и чтение ускорится и висеть не будет, и портянка будет мааааленькая :).

80. aspirator23 339 19.01.11 21:10 Сейчас в теме

(79) Возможно убрать заголовок в выходной форме, а вместо этого зафиксировать шапку отчета: когда пролистываешь вниз огромное количество строк, начинаешь забывать название колонок? Поднимаюсь наверх, кладу палец и опять вниз :) .

69. Широкий 693 16.01.11 11:13 Сейчас в теме

Bitnikov пишет:

Широкий, в моем бантике можно было читать логи и за последние 10 минут... Не обязательно кратно 1-му часу.

Дело конечно Ваше, но ИМХО зря сразу делать такое ограничение.

Расскажи, каким же образом? То, что ты сделал период с точностью до сек ничего не меняет :)
Файлы лога хранятся с периодичностью один час.
Чтобы сделать большую точностью, надо уже анализировать не имя файла, а его содержимое - т.е. строки.
А это по ресурсоемкости примерно то же, что и считать один файл без анализа строк но при формировании поставить фильтр на время.

75. Bitnikov 394 17.01.11 09:32 Сейчас в теме

Широкий пишет:
Расскажи, каким же образом? То, что ты сделал период с точностью до сек ничего не меняет
Файлы лога хранятся с периодичностью один час.
Чтобы сделать большую точностью, надо уже анализировать не имя файла, а его содержимое - т.е. строки.
А это по ресурсоемкости примерно то же, что и считать один файл без анализа строк но при формировании поставить фильтр на время.

Сделал фильтр при чтении каждой строки, анализирующий период с точностью до секунды.
Если период не подходит - строка не добавляется в таблицу СКД.

76. Широкий 693 17.01.11 10:03 Сейчас в теме

Bitnikov пишет:
Сделал фильтр при чтении каждой строки, анализирующий период с точностью до секунды. Если период не подходит - строка не добавляется в таблицу СКД.

В твоей обработке этого нет.
И как я описал это раньше - делать это считаю не разумным

81. Широкий 693 19.01.11 21:50 Сейчас в теме

aspirator23,
Заголовок можно убрать в настройках построителя.
А фиксацию сделать нельзя.. к сожалению.. Это же СКД - там можно сделать одновременный вывод и 5 таблиц сразу

82. aspirator23 339 21.01.11 12:59 Сейчас в теме

(81) насчет заголовка знаю. А вот насчет фиксации, думал это возможно в СКД. Спасибо

83. aspirator23 339 02.03.11 08:06 Сейчас в теме

(81) Столкнулся с проблемой чтения больших логов.
Включен Полный технологический журнал. Логи за сутки 24ГБ.
Возникает проблема чтения их.
Первая - долго читает, но это как-то еще можно оправдать.
Вторая - при попытке сформировать отчет - падает с нехваткой памяти.
Пример:
Выбрал интервал один час, прочитал файлы. Память съел 2ГБ.
Указал фильтр - без CONN. Задал фильтр выборки интервала событий - всего 15 минут.
Запустил отчет Сформировать. Память доросла до 3.8Гб и "упала" программа с "нехваткой памяти".
Запускал на сервере (64-разряда) где памяти 16Гб и доступно было 12ГБ. Возможно есть ограничение на размер выделяемой памяти на процесс на сервере, либо это проблема приложения 1с.
Как победить эту проблему? Как читать большие логи?

84. Широкий 693 02.03.11 09:23 Сейчас в теме

(83) Ниче так.. 24 гига :)
Считанные данные хранятся в памяти - поэтому такой объем и прочитать и вывести не получится.
В твоем случае надо делать свою базу - туда кидать данные.. А потом запросами получать нужное.
Структуру базы можно глянуть проанализировав обработку

85. aspirator23 339 02.03.11 10:57 Сейчас в теме

(84) А если хотя бы добавить возможность обработки больших данных кусками: наполнять ТЗ до определенного размера, сбросить их в промежуточный файл, а затем следующий кусок..?

Широкий пишет:
(83)
В твоем случае надо делать свою базу - туда кидать данные.. А потом запросами получать нужное.

Возможно в обработке добавить возможность сохранения данных в SQL базу? Потребность в использовании технологических журналов как правило возникает именно на больших базах, с большими логами.

91. Широкий 693 09.11.11 12:34 Сейчас в теме

Пуд пишет:

Привет автор! Обработка хорошая, но на больших ТЖ повисает и отрубается. Когда уже 1С станет нормально обрабатывать нехватку памяти....

Читай посты с (83) по (86)

86. Широкий 693 02.03.11 11:06 Сейчас в теме

aspirator23 пишет:
А если хотя бы добавить возможность обработки больших данных кусками: наполнять ТЗ до определенного размера, сбросить их в промежуточный файл, а затем следующий кусок..?

У тебя и так данные в логах сидят.. ты тупо прочитать не можешь.

aspirator23 пишет:
Возможно в обработке добавить возможность сохранения данных в SQL базу?

Почему именно скуль? Чем отдельная конфигурация на 1с не подходит.

aspirator23 пишет:
Потребность в использовании технологических журналов как правило возникает именно на больших базах, с большими логами.

Не надо про большие базы..
У нас документооборот 3-5 тыс документов/день. И у меня ни разу не возникало потребностей анализировать кусок лога даже на 50 мегов. Ты просто задолбаешься их читать.

Или делай корректную настройку logcfg.xml - чтобы только нужные события попадали или делай отдельную базу и грузи туда

87. aspirator23 339 02.03.11 11:48 Сейчас в теме

(86) Убедил, пойду logcfg.xml править.

88. al2ko 72 29.09.11 10:48 Сейчас в теме

Простая и удобная обработка. Спасибо.

89. fggf 17.10.11 06:54 Сейчас в теме

вообще крутяк, крутяк крутяков, крутяк крутецкий, просто крутитецкий:)мне нужны бонусы, чтобы слить одну гребанную обработку, поэтому я пишу тут всякую хрень, сорри поцики

90. Пуд 09.11.11 12:30 Сейчас в теме

Привет автор! Обработка хорошая, но на больших ТЖ повисает и отрубается. Когда уже 1С станет нормально обрабатывать нехватку памяти....

92. ILIAS 5 09.01.12 10:58 Сейчас в теме

А не планируется перевод обработки на 8.2 УФ ?

94. Seeker 11.01.12 09:40 Сейчас в теме

(92) в 8.2 можно запустить в толстом клиенте в обычном приложении

95. ILIAS 5 11.01.12 11:38 Сейчас в теме

(94) - всё правильно, но хотелось-бы запускать обработку и в режиме управляемого приложения.

96. GreenFox 28.03.12 00:10 Сейчас в теме

(95) Вы хотите применять обработки подобного рода через WEB-морду?

93. Широкий 693 09.01.12 11:05 Сейчас в теме

Обычные формы разве недоступны?

97. пользователь 20.04.12 08:24

Сообщение было скрыто модератором.

...

98. lees 20.04.12 13:02 Сейчас в теме

Нашему администратору пригодилась

Оставьте свое сообщение

E-mail:

Автор:

Роман Зиновьев (Широкий)

Рейтинг: 693

Для получения уведомлений о новых публикациях автора подключите телеграм бот: Инфостарт бот

Публикация:

№ 19753

Создание 24.04.09 12:32

Обновление 12.09.13 11:34

Статистика:

Просмотры 48793

Загрузки 2145

Рейтинг 297

Комментарии 127

Характеристики:

Код открыт Не указано

Рубрики Технологический журнал

Кому Системный администратор ,
Программист

Тип файла Внешний отчет (ert,erf)

Платформа Платформа 1С v8.3

Конфигурация Не имеет значения

Операционная система Windows

Страна Россия

Отрасль Не имеет значения

Налоги Не имеет значения

Вид учета Не имеет значения

Доступ к файлу Абонемент ($m)