gifts2017

Очистка базы средствами SQL (управляемое приложение)

Опубликовал Шурик Коротов (stsasha87) в раздел Администрирование - Чистка базы

Очистка базы средствами SQL (управляемое приложение). Полная и частичная. Любая конфигурация 1С 8.2, 8.3. Тонкий клиент, управляемое приложение, Такси

Друзья, всем бобра и счастья!

Дисклеймер! Политика 1С не разрешает никакие манипуляции с данными напрямую средствами СУБД, только средствами платформы! Поэтому качать, смотреть, думать,  а уж тем более запускать эту обработку категорически нельзя. (или можно, но только ночью, обязательно завесив окна, выключив свет и закрывшись на семь замков). Шутка, конечно же. Просто в случае безвозвратной потери данных виноваты будете Вы и только Вы. Минздрав предупредил.

Цель написания обработки единственная: создание БД для разработчика в максимально короткие сроки путем обрезки базы до минимума, необходимого для работы. Никакая целостность не проверяется и не гарантируется. Возможно, кто-то уже сталкивался с проблемой в больших компаниях, когда база 1С весит сотни гигов (по несколько млн документов в год), и развернуть каждому программисту в отделе по отдельной копии просто физически невозможно. И не рентабельно. Лучшее решение - обрезать базу, оставив в ней данные лишь за небольшой период. Но удаление большого числа объектов средствами 1С занимает очень много времени.

В качестве статистики приведу пример. 1С у меня удаляет данные со скоростью ~25 000 объектов/час, Обработка - ~2 000 000 объектов за 20 минут. Разница налицо, как говорится.

За основу идеи была взята обработка http://infostart.ru/public/122546/ . За что огромное спасибо автору и долгих лет жизни. К сожалению, столкнулся с единственной проблемой - скорость работы. Поэтому решил полностью изменить алгоритм.


Как пользоваться обработкой?

Аутенфикация 

Некоторые данные для аутенфикации подтягиваются автоматически из строки соединения с ИБ, но они совсем не всегда совпадают. Поэтому необходимо ввести имя именно своего сервера SQL.

Для проверки корректности данных есть кнопочка "Проверить подключение".

Тайм-ауты можно оставить как есть. 30 сек для подключения, 1ч на выполнение запроса в СУБД. Если в процессе удаления появится ошибка "(Microsoft OLE DB Provider for SQL Server): Query timeout expired", значит, необходимо увеличить тайм-аут выполнения запроса, т.к. слишком много данных, и СУБД не успела их почистить.

 

Удаление

Удаление возможно частичное или полное.

Обработка позволяет очищать следующие объекты:

  • Документы,
  • Журналы документов,
  • Регистры сведений,
  • Регистры накопления,
  • Регистры бухгалтерии.

Полное удаление выполняется быстро через команду TRUNCATE TABLE.

Частичное удаление производится путем выбора периода удаляемых данных (отбор по полю _Period в БД).

Для Документов также автоматически очищаются таблицы, содержащие данные табличных частей документов.

Для Регистров накопления и бухгалтерии есть возможность выбора действия обработки виртуальных таблиц (Итоги, Обороты...). По хорошему, в идеале лучше всего виртуальные таблицы очищать полностью, после чего из Конфигуратора запускать Тестирование и исправление с галкой "Пересчет итогов".

Для Регистров сведений есть возможность выбора Подчиненных или Независимых. Для Подчиненных возможен отбор по периоду регистратора.

Команда "Очистить всё" последовательно проходит по всем страницам обработки и выполняет действия в зависимости от выбранных параметров.

Скачать файлы

Наименование Файл Версия Размер
Очистка базы средствами SQL (управляемое приложение) 164
.epf 21,10Kb
03.07.15
164
.epf 1.0 21,10Kb Скачать

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Алексей Роза (DoctorRoza) 27.05.15 08:57
Удаление возможно частичное или полное.


Ну частичное да, а вот полное .. может просто конфу скопировать!? :)
2. Роман Дрожжин (TTSTV) 27.05.15 09:10
Очищать виртуальные таблицы нельзя, т.к. их нет. Если речь о пересчете итогов, то там только одна таблица - собственно, сами итоги. Таблицы оборотов нет.
Ну и пересчитывать итоги после такого грубого вмешательства нужно не "по хорошему", а обязательно.
3. Шурик Коротов (stsasha87) 27.05.15 10:17
(1) DoctorRoza, имеется ввиду по объектам метаданных. Удалить полностью за весь период, либо отобрать. Я у себя наиболее используемые документы оставлял за полгода, ненужные - сносил полностью:)
4. Шурик Коротов (stsasha87) 27.05.15 10:40
(2) TTSTV, если взять регистр накопления(остатки или обороты), то нужно всегда помнить, что в базе sql помимо основной таблицы с данными лежит еще таблица с итогами (либо оборотами), которая скорей всего в разы больше основной. А у регистров бухгалтерии и не одна (ИтогиПоСчетамССубконто1, ИтогиМеждуСчетами, ИтогиПоСчетам...).
Я тоже считаю, что после такой чистки запуск ТиИ пересчета итогов и переиндексации обязательны. Но возможность удалять данные из виртуальных таблиц частично я всё же оставил.
ТиИ приходится оставлять на ночь, в моем же случае вопрос времени критичнее достоверности данных, поэтому я чистил "по-быстрому" :-)
Но, опять же, после пересчета итогов и переиндексации получится еще и приличная экономия места.
5. Алексей (Операция1Ы) 29.05.15 10:16
(4) stsasha87, чтобы итоги не пересчитывать можно после "обрезания" выгрузить и загрузить дтшник средствами платформы, для базы в 100гб операция загрузки занимает примерно 4 часа, выгрузка около часа, но это если не совсем уж дохлый комп.
6. Yuliya Ryabinina (Yula89) 02.06.15 08:10
(4) stsasha87, думаю, что для торга могло бы быть актуально)
7. Группа Полипластик (polyplastic) 03.06.15 13:24
Автору респект. Тоже делал подобное для тестовых баз.
И совет для удаления больших таблиц: если удаляется бОльшая часть таблицы, выгоднее сделать копию нужной части данных, очистку таблицы TRUNCATE и копирование обратно. Дело в том, что если у вас одна таблица допустим весит 40Гб, при удалении 95% ее содержимого лог базы данных вырастет примерно на 150Гб.
8. Шурик Коротов (stsasha87) 04.06.15 11:08
(7) polyplastic, спасибо:) дада, сталкивался с переполнением логов, поэтому удаление данных таблицы делаю в одной транзакции. Копирование+транкейт+копирование обратно как-нибудь попробую на досуге, интересна скорость отработки данного метода.
9. Алексей (WWWWW) 08.06.15 10:29
10. Anzhey Kul (Anzhey) 17.06.16 12:54
11. Александр Александров (forsagforsag) 13.09.16 19:47
И кто из вас украл обработку у другого?????????
При сравнении 1с-ка показывает что они полностью идентичны.
12. Александр Александров (forsagforsag) 15.09.16 13:12
СТОП. Прошу прощения отбой ;))
Сборщик писем подставил - повторно скачал первую обработку :)
13. Александр Александров (forsagforsag) 16.09.16 16:28
Таб/части справочников удаляет?
14. Шурик Коротов (stsasha87) 20.09.16 17:26
(13) forsagforsag, удаляет) По алгоритму сначала производится удаление табличных частей, а потом и самих документов
15. Александр Милютин (sanfoto) 08.11.16 15:10
Обработка ГУД)) Мне помогло Автору респект

ДО ЭТОГО - пробовал очистить регистр сведений (около 10 миллионов записей - SQL на дохлой тачке) - методом копирования Регистра в конфигураторе и удаления Исходного.... так вот отваливался Конфигуратор по таймауту (потом доперло что "Администрирование/Параметры информационной базы.../ Время ожидания блокировки.." - скорей всего бы помогло )

Надоело экспериментировать... да и время кончилось... начальника ругалась))) скачал обработку выбрал регистр ... поставил галку "Удалить полностью (Truncate table)".
16. Andrey Ju (Kontakt) 16.11.16 07:12
Формируется остатки на начало периода? если задан период
17. Шурик Коротов (stsasha87) 16.11.16 18:19
(16) Kontakt, если задается период, то удаляются данные только за этот период. Без формирования остатков. Это не свёртка, а очистка :-)
18. Andrey Ju (Kontakt) 16.11.16 19:13
(17) stsasha87, Свертку сделал на 31.12.2015 23:59:59 как теперь обрезать и не затронуть. Если период ставится в обработке лишь датой. 30.12.15 ?
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа