Очередная очистка таблиц средствами MS SQL

21.04.17

База данных - Чистка данных

Очередной пост про очистку таблицы средствами MS SQL. И почему стоит очищать большие таблицы порциями.

Дано:

  • СУБД MS SQL Server
  • Регистр сведений ~80 млн записей

Задача:

  • удалить ~70 млн записей регистра сведений
  • удалить по условию

Решение: 

Если бы мне необходимо было удалить все записи, я бы воспользовался следующей командой

USE <ИмяБазы>
truncate table <ИмяТаблицы>

*имя таблицы можно посмотреть с помощью обрабтки //infostart.ru/public/16282/

Но мне надо было удалить записи по условию, казалось бы, что может быть проще, пишем:

USE <ИмяБазы>
delete from <ИмяТаблицы> where <ИмяПоля> = <ЗначениеПоля>

Но, даже в простой (Simple) модели восстановления, все операции изменения данных  пишутся в одной транзакции. Соответственно лог транзакций растет очень сильно, в моем случае мне просто не хватило места на диске.

Оптимальное решение -  удалять записи порциями, напимер по 5000.

USE <ИмяБазы>
WHILE 1=1
BEGIN
	DELETE top (5000) FROM <ИмяТаблицы> 
	where <ИмяПоля>= <ЗначениеПоля>;
	
	if @@ROWCOUNT<1 break;
END

 ROWCOUNT - Возвращает число строк, затронутых при выполнении последней инструкции. Если число строк превышает 2 миллиарда, используйте ROWCOUNT_BIG

Надеюсь, мой пост будет кому-то полезен.

Гуру SQL, снимайте кеды, прежде чем пинаться! :)

Очистка таблиц SQL delete truncate

См. также

Удаление данных с отбором и построением дерева ссылок в базах 1С 8.1-8.3 УТ 10.3./11, БП 2/3, ЗУП 2.5/3, КА 1.1/2, УНФ 1.6/3.0

Чистка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 04.10.2023, версия 4.2)

9600 руб.

22.02.2013    135749    248    144    

418

SALE! 10%

Выборочное удаление организаций из баз (управляемые формы), с удалением всех ссылающихся на эти организации данных

Чистка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Платные (руб)

Позволяет удалить организации из любых программ на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

3980 3582 руб.

16.03.2015    113519    181    75    

217

Универсальное выборочное удаление данных из базы 1С (любые конфигурации на упр.формах: БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и т.д.)

Чистка данных Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно выборочно удалить данные из базы 1С. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019    24236    45    16    

58

Замена Номенклатуры+Характеристики

Чистка данных Логистика, склад и ТМЦ Платформа 1С v8.3 План видов характеристик 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Настраиваемая обработка, позволяющая заменить пару: Номенклатура+Характеристика в документах, их движениях и независимых регистрах сведений. Без перепроведения. Поможет, если вы по каким-то причинам решили отказаться от характеристик

3600 руб.

04.08.2015    41063    88    70    

49

Очистка дублей в синхронизированных базах (УТ, БП, РТ, УНФ)

Чистка данных Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Решение по удалению дублей позволяет определить связанные элементы в двух синхронизированных базах в качестве оригиналов и избежать необходимости ручного сравнения объектов в базах перед синхронизацией.

3960 руб.

27.06.2018    18782    10    3    

15

Удаление битых ссылок 1С в базе без монопольного режима

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

2400 руб.

23.08.2021    9223    15    3    

20

Очистка регистров сведений от записей по помеченным на удаление элементам

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

в современных конфигурациях стало очень много регистров сведений, хранящих вспомогательную и периодическую информацию и администраторы информационных систем стали сталкиваться с проблемой удаления помеченных на удаление объектов, так как ссылки на них хранятся в многочисленных регистрах сведений. Помочь почистить базу от ненужных записей предназначенная данная внешняя обработка на управляемой форме, которая ищет записи во всех регистрах сведений по помеченным на удаление объектах и очищает по ним записи их после использования данной обработки дальше можно смело пользоваться типовой обработкой удаление помеченных на удаление и проблем с удалением не возникнет! Удачи всем!

1200 руб.

21.01.2022    7095    5    6    

9

Очистка кэша 1С. Исполнитель

Чистка данных Инструментарий разработчика Платформа 1С v8.3 Абонемент ($m)

Очередная вариативная очистка кэша 1С с помощью Исполнителя 3.0.2.2.

1 стартмани

25.10.2023    4495    4    SerVer1C    25    

22
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. METAL 288 21.04.17 19:12 Сейчас в теме
Спасибо!
Опечатка <ИмяПоял>
2. JesteR 151 21.04.17 22:55 Сейчас в теме
(1) Спасибо, поправил.

По рзеузльаттам илссоевадний одонго анлигсйокго унвиертисета, не иеемт занчнеия, в каокм проякде рсапжоолены бкувы в солве. Галовне, чотбы преавя и пслонедяя бквуы блыи на мсете. осатьлыне бкувы мгоут селдовтаь в плоонм бсепордяке, все-рвано ткест чтаитсея без побрелм. Пичрионй эгото ялвятеся то, что мы не чиаетм кдаужю бкуву по отдльенотси, а все солво цлиеком.
AntonKulmetev; Andreyyy; bocharovki; Andryza; Filchaleks; 3dice; Skif1989; st4rk; LeXXeR; plebedinskiy; Antonov.AV; artichoke; user598350_grimax; DeD MustDie; METAL; savinsva; julia96_07; demkonst; Pavel_Vladivostok; AlexGroovy; +20 Ответить
3. AlexGroovy 22.04.17 22:23 Сейчас в теме
4. 1cWin 25.04.17 08:33 Сейчас в теме
Не стал бы я надеяться на @@ROWCOUNT
5. JesteR 151 25.04.17 09:28 Сейчас в теме
(4) Алексей, ты поделись с нами почему не стал бы? Может и я не стану после твоих аргументов :)
6. JesteR 151 25.04.17 09:34 Сейчас в теме
(4) У меня изначально, было такое условие цикла
WHILE (select COUNT(*) from <ИмяТаблицы> where <ИмяПоля>= <ЗначениеПоля>)>1


Но я решил, что это не оптимально...
Потом нашел описание системной переменной ROWCOUNT и переписал запрос на тот, что в статье. Все отработало без нареканий.
7. 1cWin 25.04.17 14:36 Сейчас в теме
(6) здесь может быть потенциальная ошибка. statement изменчив. ROWCOUNT лучше сохранить, а потом использовать в сравнении.
8. JesteR 151 25.04.17 15:22 Сейчас в теме
(7) Т.к. после операции удаления нет никаких операторов, посчитал излишним в переменную сохранять.
9. gra4enok 13 01.05.19 21:17 Сейчас в теме
Если нужно удалить много больше, чем половина записей таблицы, можно и через truncate сделать. Insert и Delete примерно одинаково отрабатывают по времени. Поэтому можно сразу очистить всю таблицу и вставить оставшиеся строки. К примеру:

declare @test int

begin transaction Tran_<ИмяТаблицы>
select * into ##tmp_<ИмяТаблицы> from <ИмяТаблицы> where <ИмяПоля>= <ЗначениеПоля>

set @test = @@ROWCOUNT

truncate table  <ИмяТаблицы>

if @test>0
insert into <ИмяТаблицы> select * from ##tmp_<ИмяТаблицы>;

commit transaction Tran_<ИмяТаблицы>
while exists(select name from tempdb..sysobjects where name='##tmp_<ИмяТаблицы>')
begin
	drop table ##tmp_<ИмяТаблицы>
end;
Показать
tigra378; JesteR; +2 Ответить
10. ZhakeKZ 11.05.22 06:44 Сейчас в теме
(9),
Доброе утро,

А такой вариант не рассматривали ?
1) Переименовать текущую таблицу на другое имя.
2) Создать новую таблицу с именем нужной таблицы.
3) Вставить данные со старой таблицы в новую.
4) Удалить старую таблицу.
11. gra4enok 13 18.05.22 09:13 Сейчас в теме
(10)Через временную таблицу проще. Не нужно создавать индексы
Оставьте свое сообщение