Удаление записей регистров и пересчет итогов в условиях нехватки места на диске

17.04.19

База данных - Чистка данных

При обследовании базы нередко видишь незакрывающиеся регистры накопления с момента начала работы системы. Всегда есть два варианта: первый - закрываем  ежемесячно регистр в ноль и настраиваем бизнес процесс так, чтобы этот регистр правильно использовался, второй вариант - этот регистр не использовался и не будет использоваться в данной конфигурации. Второму варианту я и хочу посвятить данную статью.

При обследовании базы нередко видишь незакрывающиеся регистры накопления с момента начала работы системы. Всегда есть два варианта: первый - закрываем  ежемесячно регистр в ноль и настраиваем бизнес процесс так, чтобы этот регистр правильно использовался, второй вариант - этот регистр не использовался и не будет использоваться в данной конфигурации. Второму варианту я и хочу посвятить данную статью.

Конечно, многие скажут "А что тут делать, убей все записи в регистре и все хорошо", но тут возникает другое условие, это нехватка места на диске для проведения данной операции, т.к. при удалении всех записей в регистре и пересчете итогов лог раздувается до небывалых размеров.

Сразу же рождается решение, удалять записи регистра порциями, что я изначально и делал:

 
Запрос = Новый Запрос("ВЫБРАТЬ РАЗЛИЧНЫЕ ПЕРВЫЕ 100
             |НДСПредъявленный.Регистратор
             |ИЗ
             |РегистрНакопления.НДСПредъявленный КАК НДСПредъявленный");

Выборка = Запрос.Выполнить().Выбрать();
Пока Выборка.Следующий() Цикл
                НаборЗаписей=РегистрыНакопления.НДСПредъявленный.СоздатьНаборЗаписей();
                НаборЗаписей.Отбор.Регистратор.Установить(Выборка.Регистратор);
                НаборЗаписей.Записать();
КонецЦикла;

 

После каждой порции удаленных записей необходимо смотреть на лог, а вдруг сильно увеличился. Берем и зацикливаем данную процедуру , смотрим на размер лога, как только достиг определенного размера останавливаем выполнение,  делаем шринк лога.  И так пока не удалим все записи.

Очистив записи, нужно пересчитать итоги, а объем таблицы итогов обычно в разы больше, чем размер очищенного  регистра. При использовании стандартного механизма пересчета итогов, опять возникает  проблема нехватки места на диске.

Для этого я реализовал следующую процедуру:              

ДатаИтогов1 = РегистрыНакопления.НДСПредъявленный.ПолучитьПериодРассчитанныхИтогов();
ПланируемаяДатаИтогов = ДобавитьМесяц(ДатаИтогов1,-1);                          
РегистрыНакопления.НДСПредъявленный.УстановитьПериодРассчитанныхИтогов(ПланируемаяДатаИтогов);

Данная процедура уменьшает период рассчитанных итогов на 1 месяц, тем самым порционно уменьшает количество записей в таблице итогов. Ну и здесь так же, как и с регистром, зацикливаем и ждем увеличения размера лога до определенного размера.

Но на этом я не успокоился, как говорится "Лень - двигатель прогресса", мне не хотелось сидеть и смотреть за логом, увеличился он или нет, поэтому было принято решение, что лог будет чистится автоматически при достижении определенного размера.

 Для этого я написал простенькую функцию, которая после очистки очередной порции подсчитывает размер лога и сравнивает его с заданным значением, и если размер лога вырос подключается к базе (MSSQL) и выполняет команду

dbcc shrinkfile (DB_log) --Очистка лога.

 

После такой реализации можно спокойно запускать полученную обработку и идти домой, зная что место на диске не кончится.

Вышеописанная реализация хорошо подходит для регистров с небольшим количеством записей, как и говорилось выше. Но если записей несколько миллионов, то это долго.  

Для увеличения скорости удаления записей, я узнал название таблицы в базе MSSQL, зашел в базу и очистил данную таблицу, следующей командой 

TRUNCATE TABLE _AccumRg1923

, где "_AccumRg1923" мой регистр. После чего я вызвал вышеописанную обработку и почистил итоги.

 

Сразу же скажу, что не стоит очищать таблицу итогов таким способом. После применения данного метода для таблицы итогов, у меня начали вылетать ошибки при проведении документов.

Ну и в конце статьи хочу сказать про функции УстановитьИспользованиеИтогов() , УстановитьИспользованиеТекущихИтогов(). Ими стоит пользоваться, когда ты точно уверен, что размер лога не заполнит весь объем свободного пространства на диске.

 

P.S.: Это моя первая статья,  прошу не судить строго.

Удаление записей регистров пересчет итогов недостаточно места на диске

См. также

Инструментарий разработчика Чистка данных Свертка базы DevOps и автоматизация разработки Платформа 1С v8.3 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях. Поддерживаются управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя.

6900 руб.

20.08.2024    2593    13    4    

24

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

3582 руб.

16.03.2015    148866    196    77    

232

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 29.06.2023, версия 4.2)

9600 руб.

22.02.2013    137925    254    144    

425

Чистка данных Программист Пользователь Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019    25510    56    16    

71

Чистка данных Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Данные обработки помогут Вам быстро и просто выполнить перезапись любых ссылочных объектов, а также провести/снять с проведения документы с возможностью выбора регистров и произвольными отборами, в Ваших базах 1С на платформах 8.1-8.3. Обработка позволят найти документы с движениями или без них. Все это дает Вам мощный инструмент для работы. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А также обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! Данные обработки входят в ТОП-100 продаж, что является залогом популярности, надежности в работе, и признанием других покупателей.

7200 руб.

17.09.2013    804371    56    51    

93

Чистка данных Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

2400 руб.

23.08.2021    9743    18    3    

24

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Программист Бухгалтер Пользователь Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

2400 руб.

09.04.2019    28850    41    14    

43
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. fishca 1257 17.04.19 10:26 Сейчас в теме
Знание сила! Особенная сила заключается в знании чем отличается
- TRUNCATE TABLE и delete from table на уровне sql server
2. fishca 1257 17.04.19 10:28 Сейчас в теме
Про итоговые таблицы еще надо не забыть.
3. ice-net 19 17.04.19 11:22 Сейчас в теме
А еще можно подписками на события очищать наборы перед записью в регистр, если он не нужен, что бы не чистить каждый раз.
Или если редактирование конфигурации позволяет (или расширения) переписать процедуры формирования движений, что бы не тратить ресурсы впустую.
4. Константин С. 672 17.04.19 11:47 Сейчас в теме
в условиях нехватки места на диске

может проблема в этом? Тем более на рабочей системе.
5. KiLLius 17.04.19 15:56 Сейчас в теме
А о каком логе идёт речь?
6. semensemenbi4 1 18.04.19 02:51 Сейчас в теме
(5) Журнал транзакций - The Transaction Log
7. KiLLius 18.04.19 08:04 Сейчас в теме
(6) А на время чистки записей, можно же перевести базу в тип восстановления sipmpe и тогда журнал транзакций совсем не будет расти. Просто я регулярно нечто похожим занимаюсь, и делаю именно так.
Дмитрий74Чел; +1 Ответить
8. semensemenbi4 1 19.04.19 08:30 Сейчас в теме
(7) На время выполнения одной транзакции в режиме восстановления simple журнал пишется, чтобы в случае чего восстановится. Когда в одной операции делается очистка регистра у которого размер больше чем объем свободной памяти, то возникает ошибка "Недостаточно места на диске".
Aleskey_K; +1 Ответить
9. sultbec 10 21.08.21 22:39 Сейчас в теме
Почему автор не идет по пути отключения создания новых записей? т.е. если регистр не используется то и записывать в него ничего не надо.
Оставьте свое сообщение