Быстрый способ удаления записей из журнала регистрации 1С

06.08.20

База данных - Чистка данных

Возникают ситуации, когда необходимо выборочно удалить из журнала регистрации определенные записи. Например, размер файлов журнала неконтролируемо вырос из-за неправильно сконфигурированного регламентного задания. С помощью Perl журнал можно очистить от лишних записей всего одной строкой.

Без лишних слов привожу эту строку:

$ perl -w -i.bak -pe 'BEGIN {$/="},\r"} s/^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$//' ./*.lgp

Кажется сложным только на первый взгляд. Давайте опишем назначение элементов этой команды. Для того, чтобы было проще понять описание, ниже приведён фрагмент журнал регистрации. В разборе его формата мне помогла эта статья: infostart.ru/1c/articles/182061/

 
 Журнал регистрации

 

  • perl -w Вызов интерпретатора Perl. С ключём -w он будет выводить предупреждения. Если Perl на вашем компьютере ещё не установлен, рекомендую установить Git Bash;
  • -i.bak Ключ -i[расширение] указывает на то что файлы, переданные в качестве аргумента командной строки, будут отредактированы. Если задать любое расширение (в нашем случае .bak), то после редактирования файлов на диске останутся их резервные копии с этим расширением;
  • -pe С ключём -p Perl генерирует простую программу: while (<>) { print; }. А то, что следует после ключа -e, эту программу дополняет. Фактически Perl исполнит следующий скрипт:
$/="},\r"
while (<>) {
   s/^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$//;
   print;
}

Здесь требуются некоторые пояснения. В первой строке мы устанавливаем значение специальной переменной $/, которая хранит разделитель записей. В цикле while (<>) Perl читает переданные файлы построчно. По умолчанию разделителем записей является символ новой строки. Если мы посмотрим на формат журнала регистрации (выше), то увидим, что разделителем записей является комбинация символов },\r (где \r - возврат каретки), поэтому мы переопределяем $/.

Добавлю, что Perl имеет специальную опцию командной строки для установки разделителя записей: -0. Но, к сожалению, с помощью этой опции можно установить в качестве разделителя только один символ, поэтому нам приходится делать это в коде: BEGIN {$/="},\r"}.

Идём далее. Оператор s/[шаблон]/[замена]/ ищет совпадение с шаблоном и заменяет его. В нашем случае, если очередная запись совпадает с шаблоном ^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$ , то эта запись исключается (заменяется пустой строкой).

Теперь разберём регулярное выражение:

Наша запись в журнале регистрации начинается с символа новой строки и фигурной скобки: ^\n\{ . Далее идет последовательность любых символов, включая символ новой строки: [\d\D]+? . Читаем любые символы до тех пор, пока не находим ,6,2,2,. Это идентификаторы, соответственно, пользователя, компьютера и приложения (см. разбор формата журнала). Далее идут два других числовых идентификатора, значения которых нас не интересуют. После них в записи к удалению мы ожидаем увидеть "I" (важность события журнала - "Информация"), пустой комментарий к событию и идентификатор метаданных, который может принимать значения 109 или 0. Заканчивается запись последовательностью любых символов, фигурной скобкой, запятой и возвратом каретки: [\d\D]+\},\r$.

Вам потребуется отредактировать это регулярное выражение так, чтобы с ним совпадали записи, которые нужно удалить вам. Регулярное выражение должно быть достаточно строгим, чтобы исключить удаление лишних записей.

У команды, приведенной в начале статьи, есть один недостаток. Если мы посмотрим на журнал регистрации, то увидим, что первая и последняя записи отличаются от остальных. Первая запись включает заголовок файла (1CV8LOG(ver 2.0)...), а последняя не заканчивается запятой. Эти записи не соответствуют регулярному выражению, а поэтому не будут удалены, даже если подходят по остальным параметрам. Если мы удалим эти записи, то нарушим формат файла журнала регистрации.

Если необходимо, чтобы были удалены абсолютно все заданные записи, даже если они находятся на первой или последней позициях в файле, придётся быть более многословным:

#!/usr/bin/perl -w
# Удаление записей из журнала регистрации

use strict; 

$^I = ".bak"; # С бэкапом файлов
#$^I = "";    # ... или без него

$/ = "},\r";

my $hdr; # Заголовок файла

while (<>) {
	my $m = /[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+/;

	if ($. == 1 && $m) { # Совпадение в первой записи, будет нужно вернуть заголовок
		/[^{]*/;
		$hdr = $&;
	} elsif (!$m) {
		chomp;
		if (defined $hdr) {
			print $hdr . substr($_, 1); # Добавляем заголовок, удаляем пустую строку
			undef $hdr;
		} else {
			print $. == 1 ? $_ : $/ . $_;
		}
	} elsif (eof && $m) { # Последняя скобка в файле без запятой
		print "}";
	}
	
	close ARGV if eof; # Чтобы сбросить счетчик '$.'
}

Сохраняем этот скрипт в файл (например, clnlgp.plx), делаем файл исполняемым и выполняем, передавая в качестве аргумента маску файлов журнала регистрации:

$ chmod +x clnlgp.plx
$ clnlgp.plx D:/_1cv8log/*.lgp

 

журнал perl

См. также

SALE! 15%

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP и т.д.). Поддерживаются управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя.

8400 7140 руб.

20.08.2024    7768    55    22    

66

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

3582 руб.

16.03.2015    171499    209    81    

244

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 29.06.2023, версия 4.2)

9600 руб.

22.02.2013    138400    258    144    

429

Журнал регистрации Мониторинг Системный администратор Программист Бизнес-аналитик Руководитель проекта Платформа 1С v8.3 Платные (руб)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

9000 руб.

28.08.2019    33924    22    21    

74

Чистка данных Программист Пользователь Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019    25856    58    16    

74

Журнал регистрации Системный администратор Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Конфигурация LogiCH эффективно решает проблему хранения и анализа записей журналов регистрации. Разработка использует столбцовую СУБД ClickHouse, одну из самых быстрых Big Data OLAP СУБД. Любой анализ журнала можно выполнить в одном отчете, в котором доступны все возможности СКД с учетом ограничений RLS. Количество подключаемых баз не ограничено и не влияет на скорость построения анализа.

5000 руб.

28.11.2018    20729    16    6    

41

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Программист Бухгалтер Пользователь Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

2400 руб.

09.04.2019    29052    43    14    

45

Чистка данных Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

2400 руб.

23.08.2021    9930    19    3    

25
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Dzenn 894 09.08.20 10:16 Сейчас в теме
После увиденного, могу только надеяться, что мне никогда не придётся работать с Perl'ом ;-)
2. Sedaiko 590 09.08.20 12:26 Сейчас в теме
(1) Вас скорее напугал не perl, а регулярные выражения.
3. Dzenn 894 09.08.20 19:10 Сейчас в теме
(2) ну, регулярка тут тоже огонь, да )
4. PerlAmutor 155 25.09.20 11:14 Сейчас в теме
Надеюсь, когда нибудь в регулярные выражения вдохнут новую жизнь и их убогий синтаксис станет человеческим, декларативным и понятным.
Желаю того же и языкам запросов SQL.
5. Sergik_D 23 05.02.21 13:00 Сейчас в теме
Кирилл, здравствуйте. У меня есть потребность очистить журнал для сокращения его объема. Может есть желание взять эту задачу?
6. DataReducer 306 05.02.21 15:03 Сейчас в теме
(5) Сергей, здравствуйте! К сожалению, нет свободного времени.
7. AndyMat 18.08.21 11:42 Сейчас в теме
Всем привет,
Внесу свои 5 копеек, может, кому пригодится:
Приведенный автором пример работал некорректно, разрушая структуру журнала, взлетело с {$/="\n},\r"} в качестве разделителя записей, т.е. явное указание, что "}," должен находиться в начале строки.
Допускаю, что какие-то опции перла виноваты, либо его версия...
creatermc; +1 Ответить
Оставьте свое сообщение