Очистка периодических регистров посредством T-SQL (удаление записей, кроме среза последних)

03.07.18

База данных - Чистка данных

Обработка для ленивых. Составит вместо Вас запрос для SQL, который удалит все не актуальные записи (т.е все, кроме среза последних)

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
Очистка периодических регистров
.epf 10,17Kb
29 4 200 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

Вы можете заказать платную доработку или адаптацию этой разработки под вашу конфигурацию на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

Не впервой надо было "чистить" базы данных разных клиентов от избыточных и не нужных данных. Апогеем разгребания шлаков, лично для меня, стала база в несколько сотен ГБ. Соответственно работать с такими массивами с помощью приложения 1с, в принципе невозможно. 

Чаще всего "захламляются" незакрытые регистры остатков с индексами, и вторая по популярности проблема - это цены... А точнее нагромождение давно не используемых цен. О чем мы и будем говорить далее.

В первую очередь скажу – работа с базой данных вне интерфейса 1с не рекомендуется, даже запрещается. Так что, если что-то поломаем, пока чиним - в поддержке 1с нам не помогут.

Далее по самой обработке пару слов. Тестировал на 8.3.6.

В список выбора попадают только периодические регистры (с регистратором или без).

При выборе регистра - отображаются поля, и их роль в запросе. По умолчанию группировка идет по измерениям, поле максимума - период. И походу строятся запросы для SQL

  • общее к-во строк
  • количество к удалению
  • количество строк среза
  • запрос на кастрацию нашей базы.
  • запрос кастрации по 10000 строк в одной итерации
  • 4 последовательных запроса для манипуляций с переносом среза

Добавил эти запросы для наглядного понимания уровня хлама, и рациональность использования данного способа (удаление 3-х строк и перестроение индексов ради них - такое себе занятие)

Допустим всего записей 50кк, второй запрос говорит, что обработка удалит 48кк... Т.е. в базе всего 2 миллиона строк актуальных данных... Однозначно мусор в утиль!!!

После данной операции настоятельно рекомендую переформировать индексы изменяемых таблиц. Можно вручную (быстрее), либо запустить пересчет индексов всей базы через "Тестирование и исправление" в конфигураторе.

UPDATE. 03.07.2018. Добавил второй вариант очистки по принципу копирования среза в темп. таблицу. Важно. Перед копированием убедитесь о наличии свободного дискового пространства для копирования таблицы и журнала. Данный подход более эффективен, если количество строк среза составляет менее 40% всей таблицы. Иначе использование не оправдывает риски (truncate, в случае проблем с временной таблицей, мы не сможем отменить)

ВАЖНО. Обработку соединения с базой через АДО не делал намеренно. Зачастую данные операции относительно долгосрочные. Лучше их выполнять без «посредника». Не будет проблем с таймаутом или секундной задержке ответа от сервера, которые приведут к ошибке АДО-соединения и откате изменений. Так что Ctrl+C -> Ctrl+V, товарищи.

Вступайте в нашу телеграмм-группу Инфостарт

очистка регистр сведений цены удалить срез последних

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Разработчик Руководитель проекта 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы, интерфейс 8.5. Может выполнять свертку одновременно в несколько потоков, а также без непосредственного участия пользователя. Решение в Реестре отечественного ПО.

24900 руб.

20.08.2024    84559    438    171    

372

Информационная безопасность Чистка данных Системный администратор Разработчик Руководитель проекта 1С 8.3 1С:Бухгалтерия 3.0 Платные (руб)

Обезличивает копию рабочей базы 1С перед передачей наружу и возвращает настоящие данные обратно, когда база вернулась. Это обратимая псевдонимизация: соответствия «исходное - псевдоним» пишутся в отдельный зашифрованный датасет, который остаётся у владельца. Работает на любой конфигурации - обходит метаданные и находит персональные данные сам, без списка реквизитов под конкретную базу. Суммы, количества, даты и номера документов не трогает никогда, оборотно-сальдовая до и после совпадает до копейки. Проверено на трёх конфигурациях: 106 031 объект, 215 642 замены, ноль ошибок, возврат 100 процентов.

42700 руб.

18.08.2026    1715    5    0    

3

Чистка данных Системный администратор Разработчик 1С:Предприятие 8 1C:Бухгалтерия 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Update 2026: добавили многопоточное удаление данных по организациям. Ускорение х6 по сравнению с однопоточным алгоритмом! Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3, УНФ, Розница 3.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

12139 руб.

16.03.2015    283068    273    84    

305

Чистка данных Разработчик Пользователь 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С на управляемых формах например БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и др. Это могут быть неактуальные организации или другие перечни объектов. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся. Объекты нужно выбирать вручную и после этого запускать команду удаления. Будут удалены все ссылки на них.

5000 руб.

28.11.2019    31483    86    21    

100

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Разработчик Бухгалтер Пользователь 1С:Предприятие 8 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

5084 руб.

09.04.2019    33008    51    15    

54

Чистка данных Информационная безопасность Разработчик 1С 8.3 1С 8.5 1С:Библиотека стандартных подсистем Абонемент ($m)

Обезличиватель баз 1С — внешняя обработка для подготовки обезличенных копий информационных баз. Заменяет персональные данные на случайные значения, сохраняя структуру и связи объектов. Универсальный обход всех типов метаданных: справочники, документы, регистры всех видов, ПВХ, планы счетов. Обезличивание по ссылкам с ограничением глубины. Генерация валидных ИНН/КПП/ОГРН/СНИЛС с контрольными суммами. Отбор через СКД для каждого объекта. Работает в любой конфигурации на БСП 2.x/3.x.

1 стартмани

13.11.2026    1811    31    war41k    25    

37

Чистка данных Инструменты администратора БД Администрирование 1С 8.3 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Решение представляет собой набор из 6 обработок для 1С по удалению организаций и справочников из базы по фильтрам, документов по фильтрам, универсальное сжатие данных, очистка битых движений регистратора, удаление устаревших регистров сведений, удаление устаревших документов "Электронное письмо входящее" и "Электронное письмо исходящее"

23999 руб.

20.02.2026    2478    1    0    

4

Чистка данных Инструменты администратора БД Разработчик Пользователь 1С 8.3 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Библиотека стандартных подсистем Абонемент ($m)

Хочешь выборочно удалить одну организацию, тестовую номенклатуру или «мусорного» контрагента, любую ссылку - без ручного поиска ссылок и часовых разборок зависимостей? Этот инструмент сам строит дерево связей, каскадно чистит с "глубоким поиском" документы, справочники, пвх, любые ссылки, регистры, движения в так же делает резервную копию и за пару минут оставляет базу чистой и полностью работоспособной (Управляемые формы, обычный интерфейс)

1 стартмани

03.02.2026    4896    154    war41k    0    

30
Отзывы
6. Alexander.Shvets 225 28.06.18 00:37 Сейчас в теме
upd. Обновил обработку. Исправил ошибку генерации ссылочных полей и названия таблиц. Кто скачивал обработку и не можете повторно скачать - пишите в личку, скину исправленный вариант.
7. Alexander.Shvets 225 03.07.18 03:03 Сейчас в теме
upd. Обновил обработку. Таки добавил вариант с переносом среза во временную таблицу и truncate источника.
Остальные комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. tormozit 7394 24.06.18 07:37 Сейчас в теме
Безопаснее сохранять срез/остатки в файл, делать TRUNCATE TABLE для основой таблицы и таблиц итогов и далее загружать и записывать набор записей в регистр из файла.
2. Alexander.Shvets 225 26.06.18 13:09 Сейчас в теме
(1)
сохранять срез/остатки в файл


Если срез до 10КК строк, возможно соглашусь, но если база несколько ТБ?
Думаю клиент не всегда будет рад оплачивать 24+ часов работы за то, что можно сделать за 1.

Миграция данных или конвертация из реляционного вида в любой промежуточный и обратно - гиблое дело по своей сути. Особенно используя текст. Вы же в курсе, что 1с и большие текстовые файлы - тот еще изврат?

"СтрНайти" в 1,5 гиг csv против того же RegExp никак не выйдет победителем.
Лично мне проще потратить 0,3 часа на очистку тб.
Само собой, наличие бекапа необходимо.

А xml без внешней компоненты, с возможностью работать по нодам - тот же гемор.

Проблемы возникали только в случаях, если в таблицах еще до моего вмешательства были логические траблы. А так - ни одного нарекания.
3. Alexander.Shvets 225 26.06.18 13:11 Сейчас в теме
(1)
таблиц итогов


У сведений нет табл итогов. Только индексы по Атрибутам и датам первого и последнего события в разрезе ключа. (срез первых/последних)
4. tormozit 7394 26.06.18 13:24 Сейчас в теме
(3)
У сведений нет табл итогов
Есть же
Прикрепленные файлы:
5. Alexander.Shvets 225 26.06.18 13:36 Сейчас в теме
(4) Я не знаю почему доблестные разработчики платформы называют это таблицами итогов, но в sql они выглядят так (индексы)

А вот у регистров накопления присутствует вирт. таблица (накопительная)

Индекс - имеет связь с непосредственной строкой табл. Итог же - накопительный и является отдельной сущностью.

Как раз в силу этого публикация не относится к регистрами накоплений. Для них же
использую похожий метод. Сохраняю только не закрытые обороты в отдельную таблицу в том же пространстве sql. Truncate источник, и обратно переносим не закрытые обороты. Таблица итогов в этом случае будет девственно не тронутой. Но я все же вызываю sql скрипт (написанный ребятами из 1с) для перестроения таблицы итогов.

Но об этом возможно в следующей публикации. =)
Прикрепленные файлы:
6. Alexander.Shvets 225 28.06.18 00:37 Сейчас в теме
upd. Обновил обработку. Исправил ошибку генерации ссылочных полей и названия таблиц. Кто скачивал обработку и не можете повторно скачать - пишите в личку, скину исправленный вариант.
7. Alexander.Shvets 225 03.07.18 03:03 Сейчас в теме
upd. Обновил обработку. Таки добавил вариант с переносом среза во временную таблицу и truncate источника.
8. Const885 20.03.19 19:45 Сейчас в теме
В Управляемых формах работает?
9. Alexander.Shvets 225 08.05.19 11:50 Сейчас в теме
(8) Работает, а вот обычные формы не рисовал.
10. marat.coolls 23.04.24 12:03 Сейчас в теме
Скопировал запрос, вставил в запрос к базе данных, нажал "Выполнить".
Ошибка.
Неправильный синтаксис около ключевого слова "From".
Для отправки сообщения требуется регистрация/авторизация