Очистка периодических регистров посредством T-SQL (удаление записей, кроме среза последних)

03.07.18

База данных - Чистка данных

Обработка для ленивых. Составит вместо Вас запрос для SQL, который удалит все не актуальные записи (т.е все, кроме среза последних)

Скачать файлы

Наименование Файл Версия Размер
Очистка периодических регистров
.epf 10,17Kb
24
.epf 10,17Kb 24 Скачать

Не впервой надо было "чистить" базы данных разных клиентов от избыточных и не нужных данных. Апогеем разгребания шлаков, лично для меня, стала база в несколько сотен ГБ. Соответственно работать с такими массивами с помощью приложения 1с, в принципе невозможно. 

Чаще всего "захламляются" незакрытые регистры остатков с индексами, и вторая по популярности проблема - это цены... А точнее нагромождение давно не используемых цен. О чем мы и будем говорить далее.

В первую очередь скажу – работа с базой данных вне интерфейса 1с не рекомендуется, даже запрещается. Так что, если что-то поломаем, пока чиним - в поддержке 1с нам не помогут.

Далее по самой обработке пару слов. Тестировал на 8.3.6.

В список выбора попадают только периодические регистры (с регистратором или без).

При выборе регистра - отображаются поля, и их роль в запросе. По умолчанию группировка идет по измерениям, поле максимума - период. И походу строятся запросы для SQL

  • общее к-во строк
  • количество к удалению
  • количество строк среза
  • запрос на кастрацию нашей базы.
  • запрос кастрации по 10000 строк в одной итерации
  • 4 последовательных запроса для манипуляций с переносом среза

Добавил эти запросы для наглядного понимания уровня хлама, и рациональность использования данного способа (удаление 3-х строк и перестроение индексов ради них - такое себе занятие)

Допустим всего записей 50кк, второй запрос говорит, что обработка удалит 48кк... Т.е. в базе всего 2 миллиона строк актуальных данных... Однозначно мусор в утиль!!!

После данной операции настоятельно рекомендую переформировать индексы изменяемых таблиц. Можно вручную (быстрее), либо запустить пересчет индексов всей базы через "Тестирование и исправление" в конфигураторе.

UPDATE. 03.07.2018. Добавил второй вариант очистки по принципу копирования среза в темп. таблицу. Важно. Перед копированием убедитесь о наличии свободного дискового пространства для копирования таблицы и журнала. Данный подход более эффективен, если количество строк среза составляет менее 40% всей таблицы. Иначе использование не оправдывает риски (truncate, в случае проблем с временной таблицей, мы не сможем отменить)

ВАЖНО. Обработку соединения с базой через АДО не делал намеренно. Зачастую данные операции относительно долгосрочные. Лучше их выполнять без «посредника». Не будет проблем с таймаутом или секундной задержке ответа от сервера, которые приведут к ошибке АДО-соединения и откате изменений. Так что Ctrl+C -> Ctrl+V, товарищи.

очистка регистр сведений цены удалить срез последних

См. также

Удаление данных с отбором и построением дерева ссылок в базах 1С 8.1-8.3 УТ 10.3./11, БП 2/3, ЗУП 2.5/3, КА 1.1/2, УНФ 1.6/3.0

Чистка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 04.10.2023, версия 4.2)

9600 руб.

22.02.2013    135931    248    144    

418

Универсальное выборочное удаление данных из базы 1С (любые конфигурации на упр.формах: БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и т.д.)

Чистка данных Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно выборочно удалить данные из базы 1С. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019    24312    46    16    

58

SALE! 10%

Выборочное удаление организаций из баз (управляемые формы), с удалением всех ссылающихся на эти организации данных

Чистка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Позволяет удалить организации из любых программ на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

3980 3582 руб.

16.03.2015    113715    181    75    

217

Замена Номенклатуры+Характеристики

Чистка данных Логистика, склад и ТМЦ Платформа 1С v8.3 План видов характеристик 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Настраиваемая обработка, позволяющая заменить пару: Номенклатура+Характеристика в документах, их движениях и независимых регистрах сведений. Без перепроведения. Поможет, если вы по каким-то причинам решили отказаться от характеристик

3600 руб.

04.08.2015    41114    88    70    

49

Удаление битых ссылок 1С в базе без монопольного режима

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

2400 руб.

23.08.2021    9260    15    3    

20

Очистка дублей в синхронизированных базах (УТ, БП, РТ, УНФ)

Чистка данных Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Решение по удалению дублей позволяет определить связанные элементы в двух синхронизированных базах в качестве оригиналов и избежать необходимости ручного сравнения объектов в базах перед синхронизацией.

3960 руб.

27.06.2018    18808    10    3    

15

Очистка регистров сведений от записей по помеченным на удаление элементам

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

в современных конфигурациях стало очень много регистров сведений, хранящих вспомогательную и периодическую информацию и администраторы информационных систем стали сталкиваться с проблемой удаления помеченных на удаление объектов, так как ссылки на них хранятся в многочисленных регистрах сведений. Помочь почистить базу от ненужных записей предназначенная данная внешняя обработка на управляемой форме, которая ищет записи во всех регистрах сведений по помеченным на удаление объектах и очищает по ним записи их после использования данной обработки дальше можно смело пользоваться типовой обработкой удаление помеченных на удаление и проблем с удалением не возникнет! Удачи всем!

1200 руб.

21.01.2022    7125    5    6    

9

Очистка кэша 1С. Исполнитель

Чистка данных Инструментарий разработчика Платформа 1С v8.3 Абонемент ($m)

Очередная вариативная очистка кэша 1С с помощью Исполнителя 3.0.2.2.

1 стартмани

25.10.2023    4534    4    SerVer1C    25    

22
Отзывы
6. Alexander.Shvets 221 28.06.18 00:37 Сейчас в теме
upd. Обновил обработку. Исправил ошибку генерации ссылочных полей и названия таблиц. Кто скачивал обработку и не можете повторно скачать - пишите в личку, скину исправленный вариант.
7. Alexander.Shvets 221 03.07.18 03:03 Сейчас в теме
upd. Обновил обработку. Таки добавил вариант с переносом среза во временную таблицу и truncate источника.
Остальные комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. tormozit 7138 24.06.18 07:37 Сейчас в теме
Безопаснее сохранять срез/остатки в файл, делать TRUNCATE TABLE для основой таблицы и таблиц итогов и далее загружать и записывать набор записей в регистр из файла.
2. Alexander.Shvets 221 26.06.18 13:09 Сейчас в теме
(1)
сохранять срез/остатки в файл


Если срез до 10КК строк, возможно соглашусь, но если база несколько ТБ?
Думаю клиент не всегда будет рад оплачивать 24+ часов работы за то, что можно сделать за 1.

Миграция данных или конвертация из реляционного вида в любой промежуточный и обратно - гиблое дело по своей сути. Особенно используя текст. Вы же в курсе, что 1с и большие текстовые файлы - тот еще изврат?

"СтрНайти" в 1,5 гиг csv против того же RegExp никак не выйдет победителем.
Лично мне проще потратить 0,3 часа на очистку тб.
Само собой, наличие бекапа необходимо.

А xml без внешней компоненты, с возможностью работать по нодам - тот же гемор.

Проблемы возникали только в случаях, если в таблицах еще до моего вмешательства были логические траблы. А так - ни одного нарекания.
3. Alexander.Shvets 221 26.06.18 13:11 Сейчас в теме
(1)
таблиц итогов


У сведений нет табл итогов. Только индексы по Атрибутам и датам первого и последнего события в разрезе ключа. (срез первых/последних)
4. tormozit 7138 26.06.18 13:24 Сейчас в теме
(3)
У сведений нет табл итогов
Есть же
Прикрепленные файлы:
5. Alexander.Shvets 221 26.06.18 13:36 Сейчас в теме
(4) Я не знаю почему доблестные разработчики платформы называют это таблицами итогов, но в sql они выглядят так (индексы)

А вот у регистров накопления присутствует вирт. таблица (накопительная)

Индекс - имеет связь с непосредственной строкой табл. Итог же - накопительный и является отдельной сущностью.

Как раз в силу этого публикация не относится к регистрами накоплений. Для них же
использую похожий метод. Сохраняю только не закрытые обороты в отдельную таблицу в том же пространстве sql. Truncate источник, и обратно переносим не закрытые обороты. Таблица итогов в этом случае будет девственно не тронутой. Но я все же вызываю sql скрипт (написанный ребятами из 1с) для перестроения таблицы итогов.

Но об этом возможно в следующей публикации. =)
Прикрепленные файлы:
6. Alexander.Shvets 221 28.06.18 00:37 Сейчас в теме
upd. Обновил обработку. Исправил ошибку генерации ссылочных полей и названия таблиц. Кто скачивал обработку и не можете повторно скачать - пишите в личку, скину исправленный вариант.
7. Alexander.Shvets 221 03.07.18 03:03 Сейчас в теме
upd. Обновил обработку. Таки добавил вариант с переносом среза во временную таблицу и truncate источника.
8. Const885 20.03.19 19:45 Сейчас в теме
В Управляемых формах работает?
9. Alexander.Shvets 221 08.05.19 11:50 Сейчас в теме
(8) Работает, а вот обычные формы не рисовал.
Оставьте свое сообщение