Быстрый способ удаления записей из журнала регистрации 1С

06.08.20

База данных - Чистка данных

Возникают ситуации, когда необходимо выборочно удалить из журнала регистрации определенные записи. Например, размер файлов журнала неконтролируемо вырос из-за неправильно сконфигурированного регламентного задания. С помощью Perl журнал можно очистить от лишних записей всего одной строкой.

Без лишних слов привожу эту строку:

$ perl -w -i.bak -pe 'BEGIN {$/="},\r"} s/^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$//' ./*.lgp

Кажется сложным только на первый взгляд. Давайте опишем назначение элементов этой команды. Для того, чтобы было проще понять описание, ниже приведён фрагмент журнал регистрации. В разборе его формата мне помогла эта статья: infostart.ru/1c/articles/182061/

 
 Журнал регистрации

 

  • perl -w Вызов интерпретатора Perl. С ключём -w он будет выводить предупреждения. Если Perl на вашем компьютере ещё не установлен, рекомендую установить Git Bash;
  • -i.bak Ключ -i[расширение] указывает на то что файлы, переданные в качестве аргумента командной строки, будут отредактированы. Если задать любое расширение (в нашем случае .bak), то после редактирования файлов на диске останутся их резервные копии с этим расширением;
  • -pe С ключём -p Perl генерирует простую программу: while (<>) { print; }. А то, что следует после ключа -e, эту программу дополняет. Фактически Perl исполнит следующий скрипт:
$/="},\r"
while (<>) {
   s/^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$//;
   print;
}

Здесь требуются некоторые пояснения. В первой строке мы устанавливаем значение специальной переменной $/, которая хранит разделитель записей. В цикле while (<>) Perl читает переданные файлы построчно. По умолчанию разделителем записей является символ новой строки. Если мы посмотрим на формат журнала регистрации (выше), то увидим, что разделителем записей является комбинация символов },\r (где \r - возврат каретки), поэтому мы переопределяем $/.

Добавлю, что Perl имеет специальную опцию командной строки для установки разделителя записей: -0. Но, к сожалению, с помощью этой опции можно установить в качестве разделителя только один символ, поэтому нам приходится делать это в коде: BEGIN {$/="},\r"}.

Идём далее. Оператор s/[шаблон]/[замена]/ ищет совпадение с шаблоном и заменяет его. В нашем случае, если очередная запись совпадает с шаблоном ^\n\{[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+\},\r$ , то эта запись исключается (заменяется пустой строкой).

Теперь разберём регулярное выражение:

Наша запись в журнале регистрации начинается с символа новой строки и фигурной скобки: ^\n\{ . Далее идет последовательность любых символов, включая символ новой строки: [\d\D]+? . Читаем любые символы до тех пор, пока не находим ,6,2,2,. Это идентификаторы, соответственно, пользователя, компьютера и приложения (см. разбор формата журнала). Далее идут два других числовых идентификатора, значения которых нас не интересуют. После них в записи к удалению мы ожидаем увидеть "I" (важность события журнала - "Информация"), пустой комментарий к событию и идентификатор метаданных, который может принимать значения 109 или 0. Заканчивается запись последовательностью любых символов, фигурной скобкой, запятой и возвратом каретки: [\d\D]+\},\r$.

Вам потребуется отредактировать это регулярное выражение так, чтобы с ним совпадали записи, которые нужно удалить вам. Регулярное выражение должно быть достаточно строгим, чтобы исключить удаление лишних записей.

У команды, приведенной в начале статьи, есть один недостаток. Если мы посмотрим на журнал регистрации, то увидим, что первая и последняя записи отличаются от остальных. Первая запись включает заголовок файла (1CV8LOG(ver 2.0)...), а последняя не заканчивается запятой. Эти записи не соответствуют регулярному выражению, а поэтому не будут удалены, даже если подходят по остальным параметрам. Если мы удалим эти записи, то нарушим формат файла журнала регистрации.

Если необходимо, чтобы были удалены абсолютно все заданные записи, даже если они находятся на первой или последней позициях в файле, придётся быть более многословным:

#!/usr/bin/perl -w
# Удаление записей из журнала регистрации

use strict; 

$^I = ".bak"; # С бэкапом файлов
#$^I = "";    # ... или без него

$/ = "},\r";

my $hdr; # Заголовок файла

while (<>) {
	my $m = /[\d\D]+?,6,2,2,\d+,\d,I,"",(?:109|0),[\d\D]+/;

	if ($. == 1 && $m) { # Совпадение в первой записи, будет нужно вернуть заголовок
		/[^{]*/;
		$hdr = $&;
	} elsif (!$m) {
		chomp;
		if (defined $hdr) {
			print $hdr . substr($_, 1); # Добавляем заголовок, удаляем пустую строку
			undef $hdr;
		} else {
			print $. == 1 ? $_ : $/ . $_;
		}
	} elsif (eof && $m) { # Последняя скобка в файле без запятой
		print "}";
	}
	
	close ARGV if eof; # Чтобы сбросить счетчик '$.'
}

Сохраняем этот скрипт в файл (например, clnlgp.plx), делаем файл исполняемым и выполняем, передавая в качестве аргумента маску файлов журнала регистрации:

$ chmod +x clnlgp.plx
$ clnlgp.plx D:/_1cv8log/*.lgp

 

журнал perl

См. также

Удаление данных с отбором и построением дерева ссылок в базах 1С 8.1-8.3 УТ 10.3./11, БП 2/3, ЗУП 2.5/3, КА 1.1/2, УНФ 1.6/3.0

Чистка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 04.10.2023, версия 4.2)

9600 руб.

22.02.2013    135904    248    144    

418

Универсальное выборочное удаление данных из базы 1С (любые конфигурации на упр.формах: БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и т.д.)

Чистка данных Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно выборочно удалить данные из базы 1С. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019    24307    46    16    

58

Журнал изменений с восстановлением состояния ссылочных объектов и архивацией по HTTP / COM (расширение + конфигурация, 8.3.14+, ЛЮБАЯ конфигурация)

Архивирование (backup) Журнал регистрации Поиск данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 11 Платные (руб)

База данных «сама» меняет данные в документах/справочниках? Тогда данный журнал изменений для Вас! Практически не влияет на скорость записи объектов за счет быстрого алгоритма! Скорость работы почти в 2 раза выше типового механизма "История изменений"! Позволяет следить за изменениями и удалением в любых ссылочных объектах конфигурации, с возможностью архивации по HTTP(!) или COM, и сверткой данных. А так же, может восстановить состояние реквизитов (значения) до момента изменения или удаления объекта из базы. Есть ДЕМО-база где можно самостоятельно протестировать часть функционала! Работает на любых платформах выше 8.3.14+ и любых конфигурациях! Версия 3.1 от 24.08.2023!

19200 руб.

15.05.2017    42515    10    24    

38

Версионирование объектов для Альфа-авто, ред 4 и 5.

Оптовая торговля Розничная торговля Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Автомобили, автосервисы Управленческий учет Платные (руб)

Подсистема версионирования объектов для конфигураций Рарус: Альфа-авто на базе типовой подсистемы от 1С. Позволяет хранить историю изменений документов и справочников, кто, что, когда и какие данные изменял, а так же вернуться к предыдущим версиям объекта.

4800 руб.

03.09.2016    42252    33    24    

37

SALE! 10%

Выборочное удаление организаций из баз (управляемые формы), с удалением всех ссылающихся на эти организации данных

Чистка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Позволяет удалить организации из любых программ на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

3980 3582 руб.

16.03.2015    113688    181    75    

217

LogManager - Внешний журнал регистрации в SQL

Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Журнал регистрации платформы 1С в SQL. Общая база хранения всех журналов. Через com-подключение регламентным заданием периодически догружает журналы регистраций из рабочих баз. Предоставляет настраиваемый доступ к журналам по правам подразделений. Формирует отчеты по пользователям и данным.

10000 руб.

23.05.2014    55463    52    16    

47

Мониторинг баз и серверов 1С

Журнал регистрации Мониторинг Платформа 1С v8.3 Платные (руб)

В сферу обязанностей при работе с клиентами входит контроль работы баз данных и серверов 1С. Нужно понимать что происходит в базах, есть ли ошибки, зависания у пользователей и фоновых задач, блокировки или какое-то необычное поведение системы, получение информации о причинах возникновения проблем и их оперативное устранение и т.д. В качестве источников информации использую консоль кластеров 1С, технологический журнал 1С, журналы регистрации базы 1С. Для автоматизации части операций мониторинга и анализа создал инструмент на основе 1С.

9000 руб.

28.08.2019    30945    14    21    

66

Замена Номенклатуры+Характеристики

Чистка данных Логистика, склад и ТМЦ Платформа 1С v8.3 План видов характеристик 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Настраиваемая обработка, позволяющая заменить пару: Номенклатура+Характеристика в документах, их движениях и независимых регистрах сведений. Без перепроведения. Поможет, если вы по каким-то причинам решили отказаться от характеристик

3600 руб.

04.08.2015    41105    88    70    

49
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Dzenn 870 09.08.20 10:16 Сейчас в теме
После увиденного, могу только надеяться, что мне никогда не придётся работать с Perl'ом ;-)
2. Sedaiko 572 09.08.20 12:26 Сейчас в теме
(1) Вас скорее напугал не perl, а регулярные выражения.
3. Dzenn 870 09.08.20 19:10 Сейчас в теме
(2) ну, регулярка тут тоже огонь, да )
4. PerlAmutor 129 25.09.20 11:14 Сейчас в теме
Надеюсь, когда нибудь в регулярные выражения вдохнут новую жизнь и их убогий синтаксис станет человеческим, декларативным и понятным.
Желаю того же и языкам запросов SQL.
5. Sergik_D 20 05.02.21 13:00 Сейчас в теме
Кирилл, здравствуйте. У меня есть потребность очистить журнал для сокращения его объема. Может есть желание взять эту задачу?
6. DataReducer 302 05.02.21 15:03 Сейчас в теме
(5) Сергей, здравствуйте! К сожалению, нет свободного времени.
7. AndyMat 18.08.21 11:42 Сейчас в теме
Всем привет,
Внесу свои 5 копеек, может, кому пригодится:
Приведенный автором пример работал некорректно, разрушая структуру журнала, взлетело с {$/="\n},\r"} в качестве разделителя записей, т.е. явное указание, что "}," должен находиться в начале строки.
Допускаю, что какие-то опции перла виноваты, либо его версия...
creatermc; +1 Ответить
Оставьте свое сообщение