Быстрый способ удаления записей из журнала регистрации 1С

06.08.20

База данных - Чистка данных

Возникают ситуации, когда необходимо выборочно удалить из журнала регистрации определенные записи. Например, размер файлов журнала неконтролируемо вырос из-за неправильно сконфигурированного регламентного задания. С помощью Perl журнал можно очистить от лишних записей всего одной строкой.

Без лишних слов привожу эту строку:

$ perl -w -i.bak -pe 'BEGIN {$/="},\r"} s/^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$//' ./*.lgp

Кажется сложным только на первый взгляд. Давайте опишем назначение элементов этой команды. Для того, чтобы было проще понять описание, ниже приведён фрагмент журнал регистрации. В разборе его формата мне помогла эта статья: infostart.ru/1c/articles/182061/

 
 Журнал регистрации

 

  • perl -w Вызов интерпретатора Perl. С ключём -w он будет выводить предупреждения. Если Perl на вашем компьютере ещё не установлен, рекомендую установить Git Bash;
  • -i.bak Ключ -i[расширение] указывает на то что файлы, переданные в качестве аргумента командной строки, будут отредактированы. Если задать любое расширение (в нашем случае .bak), то после редактирования файлов на диске останутся их резервные копии с этим расширением;
  • -pe С ключём -p Perl генерирует простую программу: while (<>) { print; }. А то, что следует после ключа -e, эту программу дополняет. Фактически Perl исполнит следующий скрипт:
$/="},\r"
while (<>) {
   s/^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$//;
   print;
}

Здесь требуются некоторые пояснения. В первой строке мы устанавливаем значение специальной переменной $/, которая хранит разделитель записей. В цикле while (<>) Perl читает переданные файлы построчно. По умолчанию разделителем записей является символ новой строки. Если мы посмотрим на формат журнала регистрации (выше), то увидим, что разделителем записей является комбинация символов },\r (где \r - возврат каретки), поэтому мы переопределяем $/.

Добавлю, что Perl имеет специальную опцию командной строки для установки разделителя записей: -0. Но, к сожалению, с помощью этой опции можно установить в качестве разделителя только один символ, поэтому нам приходится делать это в коде: BEGIN {$/="},\r"}.

Идём далее. Оператор s/[шаблон]/[замена]/ ищет совпадение с шаблоном и заменяет его. В нашем случае, если очередная запись совпадает с шаблоном ^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$ , то эта запись исключается (заменяется пустой строкой).

Теперь разберём регулярное выражение:

Наша запись в журнале регистрации начинается с символа новой строки и фигурной скобки: ^\n\{ . Далее идет последовательность любых символов, включая символ новой строки: [\d\D]+? . Читаем любые символы до тех пор, пока не находим ,6,2,2,. Это идентификаторы, соответственно, пользователя, компьютера и приложения (см. разбор формата журнала). Далее идут два других числовых идентификатора, значения которых нас не интересуют. После них в записи к удалению мы ожидаем увидеть "I" (важность события журнала - "Информация"), пустой комментарий к событию и идентификатор метаданных, который может принимать значения 109 или 0. Заканчивается запись последовательностью любых символов, фигурной скобкой, запятой и возвратом каретки: [\d\D]+\},\r$.

Вам потребуется отредактировать это регулярное выражение так, чтобы с ним совпадали записи, которые нужно удалить вам. Регулярное выражение должно быть достаточно строгим, чтобы исключить удаление лишних записей.

У команды, приведенной в начале статьи, есть один недостаток. Если мы посмотрим на журнал регистрации, то увидим, что первая и последняя записи отличаются от остальных. Первая запись включает заголовок файла (1CV8LOG(ver 2.0)...), а последняя не заканчивается запятой. Эти записи не соответствуют регулярному выражению, а поэтому не будут удалены, даже если подходят по остальным параметрам. Если мы удалим эти записи, то нарушим формат файла журнала регистрации.

Если необходимо, чтобы были удалены абсолютно все заданные записи, даже если они находятся на первой или последней позициях в файле, придётся быть более многословным:

#!/usr/bin/perl -w
# Удаление записей из журнала регистрации

use strict; 

$^I = ".bak"; # С бэкапом файлов
#$^I = "";    # ... или без него

$/ = "},\r";

my $hdr; # Заголовок файла

while (<>) {
	my $m = /[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+/;

	if ($. == 1 && $m) { # Совпадение в первой записи, будет нужно вернуть заголовок
		/[^{]*/;
		$hdr = $&;
	} elsif (!$m) {
		chomp;
		if (defined $hdr) {
			print $hdr . substr($_, 1); # Добавляем заголовок, удаляем пустую строку
			undef $hdr;
		} else {
			print $. == 1 ? $_ : $/ . $_;
		}
	} elsif (eof && $m) { # Последняя скобка в файле без запятой
		print "}";
	}
	
	close ARGV if eof; # Чтобы сбросить счетчик '$.'
}

Сохраняем этот скрипт в файл (например, clnlgp.plx), делаем файл исполняемым и выполняем, передавая в качестве аргумента маску файлов журнала регистрации:

$ chmod +x clnlgp.plx
$ clnlgp.plx D:/_1cv8log/*.lgp

 

Вступайте в нашу телеграмм-группу Инфостарт

журнал perl

Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы, интерфейс 8.5. Может выполнять свертку одновременно в несколько потоков, а также без непосредственного участия пользователя. Решение в Реестре отечественного ПО.

24900 руб.

20.08.2024    75520    381    170    

326

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Update 2026: добавили многопоточное удаление данных по организациям. Ускорение х6 по сравнению с однопоточным алгоритмом! Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3, УНФ, Розница 3.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

12139 руб.

16.03.2015    281761    264    84    

296

SALE! 15%

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 1.6 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 26.02.2026, версия 4.5, 4.6.0)

14640 12444 руб.

22.02.2013    147913    293    155    

461

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Программист Бухгалтер Пользователь 1С:Предприятие 8 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

5084 руб.

09.04.2019    32279    50    15    

53

Чистка данных Инструменты администратора БД Администрирование 1С 8.3 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Решение представляет собой набор из 6 обработок для 1С по удалению организаций и справочников из базы по фильтрам, документов по фильтрам, универсальное сжатие данных, очистка битых движений регистратора, удаление устаревших регистров сведений, удаление устаревших документов "Электронное письмо входящее" и "Электронное письмо исходящее"

23999 руб.

20.02.2026    1720    1    0    

4

Чистка данных Инструменты администратора БД Программист Пользователь 1С 8.3 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Библиотека стандартных подсистем Абонемент ($m)

Хочешь выборочно удалить одну организацию, тестовую номенклатуру или «мусорного» контрагента, любую ссылку - без ручного поиска ссылок и часовых разборок зависимостей? Этот инструмент сам строит дерево связей, каскадно чистит с "глубоким поиском" документы, справочники, пвх, любые ссылки, регистры, движения в так же делает резервную копию и за пару минут оставляет базу чистой и полностью работоспособной (Управляемые формы, обычный интерфейс)

1 стартмани

03.02.2026    3612    128    war41k    0    

30

Мониторинг Журнал регистрации Технологический журнал Системный администратор Программист Абонемент ($m)

Как легко и быстро с помощью специализированных решений собирать, парсить и передавать логи и метрики.

1 стартмани

13.11.2023    9993    15    AlexSTAL    0    

48
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Dzenn 934 09.08.20 10:16 Сейчас в теме
После увиденного, могу только надеяться, что мне никогда не придётся работать с Perl'ом ;-)
2. Sedaiko 603 09.08.20 12:26 Сейчас в теме
(1) Вас скорее напугал не perl, а регулярные выражения.
3. Dzenn 934 09.08.20 19:10 Сейчас в теме
(2) ну, регулярка тут тоже огонь, да )
4. PerlAmutor 162 25.09.20 11:14 Сейчас в теме
Надеюсь, когда нибудь в регулярные выражения вдохнут новую жизнь и их убогий синтаксис станет человеческим, декларативным и понятным.
Желаю того же и языкам запросов SQL.
5. Sergik_D 23 05.02.21 13:00 Сейчас в теме
Кирилл, здравствуйте. У меня есть потребность очистить журнал для сокращения его объема. Может есть желание взять эту задачу?
6. DataReducer 311 05.02.21 15:03 Сейчас в теме
(5) Сергей, здравствуйте! К сожалению, нет свободного времени.
7. AndyMat 18.08.21 11:42 Сейчас в теме
Всем привет,
Внесу свои 5 копеек, может, кому пригодится:
Приведенный автором пример работал некорректно, разрушая структуру журнала, взлетело с {$/="\n},\r"} в качестве разделителя записей, т.е. явное указание, что "}," должен находиться в начале строки.
Допускаю, что какие-то опции перла виноваты, либо его версия...
creatermc; +1 Ответить
Для отправки сообщения требуется регистрация/авторизация