Очистка базы данных от данных по организации

23.01.18

База данных - Чистка данных

Обработка генерирует SQL-скрипт, который очищает базу данных от документов выбранной организации. Проверялась на конфигурации Управление производственным предприятием на платформе 8.3. Но в принципе универсальная для стандартных конфигураций на платформе 8.3.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Очистка БД от данных по организации:
.epf 9,32Kb
185
185 Скачать (1 SM) Купить за 1 850 руб.

В БД велось несколько организаций. Некоторые закрылись несколько несколько лет назад. Сама БД стала весить гораздо более 400 ГБ. Встал вопрос об уменьшении базы за счет "вырезания" из нее ненужных документов закрытых организаций.

Для этого был написана эта обработка.

Как пользоваться:

1. Запустить обработку в 1С предприятии в нужной базе.

2. Выбрать Организацию.

3. Нажать кнопку "Выполнить". Запустится процедура генерации SQL-скрипта. Будет создан файл и в сообщении указано его имя.

4. Запустить SQL Server Management Studio.

5. Нажать кнопку "Open File" и выбрать созданный файл.

6. Выбрать нужную базу для выполнения скрипта.

7. Нажать кнопку "Execute". Скрипт начнет выполняться. Время выполнения зависит от объема данных по организации и мощности сервера. У меня с 400Г до 200Г резалось около часа. Документов было около миллиона.

8. После выполнения скрипта запустить 1С в режиме Конфигуратор в обрезанной базе.

9. В меню "Администрирование" выбрать пункт "Тестирование и исправление". Откроется окно настройки тестирования и исправления.

10. Выбрать только пункт "Пересчет итогов". Скрипт не смотрит на таблицы итогов и оборотов в регистрах, поэтому пересчет итогов необходим.

Обработка Очистка базы

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя. Решение в Реестре отечественного ПО

8400 руб.

20.08.2024    12625    99    42    

101

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 29.06.2023, версия 4.2)

9600 руб.

22.02.2013    138993    263    144    

434

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

3582 руб.

16.03.2015    195391    213    82    

248

Чистка данных Программист Пользователь Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С на управляемых формах например БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и др. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019    26293    62    16    

77

Чистка данных Системный администратор Программист Бухгалтер Пользователь Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Решение по удалению дублей позволяет определить связанные элементы в двух синхронизированных базах в качестве оригиналов и избежать необходимости ручного сравнения объектов в базах перед синхронизацией.

3960 руб.

27.06.2018    19273    11    3    

16

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Программист Бухгалтер Пользователь Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

2400 руб.

09.04.2019    29263    43    14    

45

Чистка данных Инструментарий разработчика Системный администратор Программист Платформа 1С v8.3 Абонемент ($m)

Очередная вариативная очистка кэша 1С с помощью Исполнителя 3.0.2.2.

1 стартмани

25.10.2023    5549    5    SerVer1C    26    

23

Чистка данных Программист Платформа 1С v8.3 Управляемые формы Платформа 1C v8.2 Конфигурации 1cv8 1С:ERP Управление предприятием 2 Бесплатно (free)

ВАЖНО!!! Очистку регистров накопления и регистров сведений рекомендуется делать пользователям со знанием дела и с осознанием последствий! Обработка поможет быстро очистить выбранный регистр. Делаю данную обработку в первую очередь для себя, т.к. были случаи, когда нужно было очищать регистры, а делать красиво и удобно времени не было.

06.02.2023    20845    1410    Neiron_1C    20    

19
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. Novoenkov 15 23.01.18 11:51 Сейчас в теме
Т.е. скрипт только удаляет документы, а битые ссылки очищаются, регистры исправляются тестированием и исправлением?
2. mugr 99 23.01.18 16:44 Сейчас в теме
(1) Скрипт удаляет:
1. Данные в шапке документа (т.е. сами ссылки)
2. Табличные части документа
3. Движения документа по регистрам накопления, бухгалтерии, сведений и последовательностям. При этом не трогаются таблицы промежуточных итогов (остатков или оборотов), поэтому и нужен пересчет итогов.
4. Частично удаляются битые ссылки (по тем регистрам, где я был уверен). Полной чистки (по справочникам, документам и регистрам) писать не стал. Причина - это потенциально более опасное действие - можно удалить нужные данные по другой организации... Битые ссылки отрабатывались отдельно после более тщательного анализа.
Поэтому ССЫЛКИ после обработки ВОССТАНАВЛИВАТЬ не НАДО! Нужен детальный анализ и скрипт более тщательно подготовленный с расширенной фильтрацией.
3. alex_sayan 54 29.01.18 08:50 Сейчас в теме
Это нарушение лицензионного соглашения 1с.

Нельзя обращаться к данным информационной базы напрямую, минуя уровень объектов работы с данными "1С:Предприятия" - например при помощи средств СУБД или при помощи внешних компонент, которые реализуют прямой доступ к СУБД. Это ограничение распространяется на любые действия с данными, в том числе на изменение их структуры, а так же на чтение или изменение самих данных информационной базы или служебных данных "1С:Предприятия".

http://v8.1c.ru/predpriyatie/questions_licence.htm#65
4. sovital 24 29.01.18 22:39 Сейчас в теме
(3) Лицензионное соглашение не позволяет использовать недокументированные фирмой "1С" средства для построения решений на платформе 1С:Предприятие. Это означает, что средства СУБД (или любые другие внесистемные средства) можно использовать только в том случае, если документация по продуктам линейки "1С:Предприятие" (включая 1С:ИТС) содержит явную рекомендацию использовать данное средство для решения данной задачи.
...
Данное ограничение необходимо для обеспечения стабильности работы механизмов системы, осуществления поддержки и возможности перехода на новые версии "1С:Предприятия".

1. Для задач разделения конфигураций по юридическим лицам компания 1С ничего не советует. Помечайте на удаление и удаляйте не работает, ибо сроки такой реализации подхода крайне неприемлемы.
2. Такие задачи делаются не для повседневной работы, а для того, чтобы можно иметь базу с одним юрлицом для проверяющих органов.
3. Данные принадлежат мне, и работа с ними регламентируется лицензионным соглашением Microsoft. И с помощью средств СУБД имею полное право на то, чтобы смотреть что и как там.
7. alex_sayan 54 30.01.18 05:17 Сейчас в теме
(4) я согласен, что иногда хочется влезть в базу недокументированными средствами, и это может оказаться быстрее или удобнее. НО! Это нарушение лицензионного соглашения. Со всеми вытекающими.
8. Novoenkov 15 30.01.18 09:01 Сейчас в теме
(7) С какими именно «вытекающими»?
mvernig; sovital; +2 Ответить
11. alex_sayan 54 31.01.18 08:36 Сейчас в теме
(8) когда вы влезаете в данные напрямую, минуя объектную модель, вы нарушаете лицензионное соглашение. Нарушив лицензионное соглашение, вы теряете право использовать ПП. А какие последствия бывают за использование не лицензионного ПО, можете нагуглить сами.

4. Лицензиат обязуется не допускать нарушений исключительных прав Правообладателя на ПРОГРАММНЫЙ ПРОДУКТ, в частности, не совершать и не допускать совершения третьими лицами следующих действий без специального письменного разрешения Правообладателя:
- распространять ПРОГРАММНЫЙ ПРОДУКТ или отдельные его компоненты;
вносить какие-либо изменения в код ПРОГРАММНОГО ПРОДУКТА, содержимое баз данных и других наборов данных, в которых система хранит информацию, за исключением тех изменений, которые вносятся штатными средствами, входящими в состав ПРОГРАММНОГО ПРОДУКТА и описанными в сопроводительной документации;
- осуществлять доступ к информационной базе ПРОГРАММНОГО ПРОДУКТА и построение систем на основе ПРОГРАММНОГО ПРОДУКТА с помощью средств и технологических решений, не предусмотренных в сопроводительной документации;

(с) лицензионное соглашение 1с
12. Novoenkov 15 31.01.18 09:20 Сейчас в теме
(11) Меня в гугле забанили. Напишите конкретней, к каким последствиям приведет нарушение указанного пункта соглашения? Тюремный срок? Штраф? Есть прецеденты?
15. alex_sayan 54 31.01.18 11:30 Сейчас в теме
(12) вы меня троллите? Нарушение лицензионного соглашения ведет к тому, что продукт перестает быть лицензионным. А что бывает за использование нелицензионного ПО, вам любой поисковик выдаст.
16. Novoenkov 15 31.01.18 11:51 Сейчас в теме
(15) Насколько здорово вы разбираетесь в предмете я понял. Своим вопросом всего лишь хотел в этом убедиться. Убедился.
17. alex_sayan 54 31.01.18 12:16 Сейчас в теме
(16) а что конкретно я неправильно сказал? Я не юрист, во всех тонкостях не разбираюсь, но лицензионное соглашение фирмы 1С читал.
21. Novoenkov 15 02.02.18 10:48 Сейчас в теме
(17) ни в административном, ни в уголовном кодексе ничего про "нарушение лицензионного соглашения", насколько мне известно, не сказано. а употребляются термины "контрафакт" и "авторские (смежные) права".

поэтому, чисто теоретически, указанное "нарушение лицензионного соглашения" может привести только к тому, что фирма 1С на вас обидится и будет дуться. или откажет в поддержке, если каким-то образом об этом узнает.

то есть, исходя из реалий (а не ограничений, существующих только на бумаге или в голове) ни к каким последствиям использование этой или подобной обработки привести не может.

следовательно, ваши комментарии про какие-то "вытекающие" про которые знаете только вы, являются профанацией и демагогией, если вы не можете подтвердить обратного.
22. alex_sayan 54 05.02.18 09:00 Сейчас в теме
(21) я не юрист, всех тонкостей не знаю. Но не думаю что юристы фирмы 1С такие дураки, что составили совершенно бесполезное лицензионное соглашение. Могу предложить, что фирма 1С, как правообладатель, может на законных основаниях потребовать от пользователя удаления нелицензионной платформы (которая таковой становится вследствие нарушения лиц. соглашения), и всех баз данных, которые создавались/наполнялись при помощи этой платформы.
9. sovital 24 30.01.18 09:55 Сейчас в теме
(7)Средства SQL весьма и весьма документирваны...
10. alex_sayan 54 31.01.18 07:51 Сейчас в теме
(9) да, но имеется ввиду, если документировано фирмой 1с использование средств SQL. В данном случае фирма 1с запрещает даже считывать данные напрямую, не то что изменять их средствами SQL.
13. sovital 24 31.01.18 11:13 Сейчас в теме
(10) А компания 1С вправе регламентировать мои отношения с SQL?
14. alex_sayan 54 31.01.18 11:22 Сейчас в теме
(13) 1С вправе регламентировать ваши отношения с их продуктом. Через SQL вы изменяете часть их продукта, так что всё в рамках закона. И видите ли в чем дело, вы СОГЛАСИЛИСЬ исполнять лицензионное соглашение фирмы 1с, когда начали использовать её ПП. Отскоки в сторону уже не принимаются. Надо было отказаться от 1С:Предприятия и использовать продукт другого вендора, который не запрещает менять данные посредством сторонних инструментов.
18. sovital 24 31.01.18 17:08 Сейчас в теме
(14) Уверяю Вас, лицо согласившееся с лиц., вообще не в курсе, кто и что делает в его инф. системе.
19. logarifm 1123 01.02.18 23:06 Сейчас в теме
(3)
ужебных данных "1С:Пред
Согласен. Автору статьи обязательно следует это указать в описании!!!
5. mugr 99 30.01.18 03:37 Сейчас в теме
Согласен с Яном.
Если бы 1С не позиционировала себя как решение для крупных предприятий или дала стандартную возможность удалить пол-базы за приемлемые сроки (расчетно у меня было около недели стандартными методами [распроведение, пометка и удаление с отключенными итогами] или обменом данных), то таких обработок бы и не появлялось.
Причем тут крупные предприятия: жизненный цикл базы на таких подразумевает, что ее надо чистить и при этом довольно быстро. Имеется ввиду Frontend-база, т.е. куда заносятся данные. Backend-базы нехай себе данные для аналитики копят их резать глупо. И тут появляется противоречие быстро это стандартными методами сделать нельзя.
Про стандартные методы. Для меня уже 15 лет загадка, почему нельзя разрешить конструкцию:
	Запрос = Новый Запрос("ВЫБРАТЬ Ссылка ИЗ Документ.РасчетСебестоимостиВыпуска");
	мс = Запрос.Выполнить().Выгрузить().ВыгрузитьКолонку("Ссылка");
	РегистрыНакопления.НезавершенноеПроизводство.УстановитьИспользованиеИтогов(ЛОЖЬ);
	нз = РегистрыНакопления.НезавершенноеПроизводство.СоздатьНаборЗаписей();
	нз.Отбор.Регистратор.Установить(мс, ИСТИНА); //Вот так почему 15 лет делать запрещено?
	нз.Очистить();
	нз.Записать();
	РегистрыНакопления.НезавершенноеПроизводство.УстановитьИспользованиеИтогов(ИСТИНА);
Показать

Решение использовать вместо массива конкретную ссылку в цикле не прокатывает. Документов многовато...
6. alex_sayan 54 30.01.18 05:13 Сейчас в теме
(5)
нз.Отбор.Регистратор.ВидСравнения = ВидСравнения.ВСписке;
нз.Отбор.Регистратор.Значение = мс;

не пробовал, но должно работать.
20. sovital 24 02.02.18 10:20 Сейчас в теме
(0)Спасибо большое за обработку.
Вопрос возник, планируете ли дорабатывать, в частности вычищать ссылки документов по журналам?
23. ambabas 29.03.18 15:03 Сейчас в теме
А под управляемые формы не планировали сделать? а то в тройке неудобно работать без УФ.
24. JammShoot 20 02.05.18 12:08 Сейчас в теме
{ВнешняяОбработка.ОчисткаОтДанныхОрганизации.Форма.Форма1.Форма(183)}: Поле объекта не обнаружено (КатегорииОбъектов)
мдРегра = Метаданные.РегистрыСведений.КатегорииОбъектов;

БП 2.0.66.46
платформа 8.3.10.2375
корум; +1 Ответить
25. longnet 3 24.03.19 21:19 Сейчас в теме
спасибо автору за обработку !!!
Когда встал вопрос в базе в 80 гигов на скуле из примерно 40 организаций выкинуть более половины, а оставшиеся поделить по группам, я думал что сойду с ума штатными средствами выгружать. Примерное расчетное время было почти месяц.
А так может за пару дней справлюсь.

Пожелание автору добавить отбор по нескольким организациям, ну и рассмотреть вариант быстрого создания копии базы с выделенной организацией с переносом всех документов по ней. Иногда надо вырезать организацию из всей базы и отдать на сторону, на пример аудиторам.
26. NeSPEC 52 21.10.19 13:44 Сейчас в теме
Добрый день.
На PostGreSQLбудет работать ?
27. ElenaTkachuk 12 13.01.22 11:51 Сейчас в теме
Я переделала на УФ, но удалилось плохо. Документы и регистры остались с ненайденными ссылками на удаленные организации. Пересчета итогов оказалось не достаточно.

Странно, что на курсе 1С эксперт как раз показывают работу с данными средствами sql. При всём лицензионном соглашении )).
28. mugr 99 13.01.22 15:31 Сейчас в теме
(27)
Документы и регистры остались с ненайденными ссылками на удаленные организации. Пересчета итогов оказалось не достаточно.


Добрый день.

Переделка на УФ тут вообще не должна была повлиять.
Надо более подробно разбираться с "Документы и регистры остались с ненайденными ссылками". Видимо процесс обхода таблиц и полей при генерации скрипта не нашел все нужные варианты. Причина не понятна... Поэтому и пересчет не помог.

"Странно, что на курсе 1С эксперт как раз показывают работу с данными средствами sql" - это действительно странно. Это является прямым нарушением лиц.соглашения, т.к. является прямым обращением к БД.
29. ketr 129 25.10.23 13:40 Сейчас в теме
(27) Подтверждаю, без доработки на БП 3.0 не взлетела (ошибки при запуске обработки)
После правок - запустилась, но осталась куча битых ссылок
30. корум 288 17.03.24 18:01 Сейчас в теме
(20)
в частности вычищать ссылки документов по журналам?

Похоже, автор это не доработал и не планирует.
А вы для себя не допиливали?
Оставьте свое сообщение