Быстрое обезличивание информационной базы

07.11.19

База данных - Чистка данных

Обработка для формирования SQL-скрипта для быстрого обезличивания и очистки данных.

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
Быстрое обезличивание информационной базы:
.epf 11,33Kb ver:1
76 1 850 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

Предлагаю вашему вниманию внешнюю обработку-конструктор для подготовки SQL-скрипта, который может

  • Очищать текстовые реквизиты
  • Заменять значение текстовых реквизитов на GUID
  • Удалять таблицы

При первом открытии надо нажать кнопку "Заполнить дерево МД". В дерево попадут:

  • все объекты, имеющие табличную сущность: основные реквизиты, табличные части, изменения...
  • все реквизиты, имеющие текстовый тип данных

Ставим где нужно флаг "Кодировка" и выбираем доступное для объекта действие. В поле "Запрос SQL" будет появляться собственно сам текст запроса. 

Текст можно скопировать и выполнить в SQL Server Management Studio, не забыв при этом указать целевую базу. Длительность работы скрипта исчисляется минутами, а не часами и днями, если делать то же самое средствами платформы. В скрипте применяются команды UPDATE и TRUNCATE TABLE.

Настройки можно сохранить в файл и восстановить.

Обработка тестировалась на платформе 8.3.12.1567.

В качестве дисклаймера:

  • перед запуском скрипта еще раз тщательно проверьте, что указана правильная база. И эта база точно не продуктив (!), а копия, которую вы решили передать внешнему миру. И сделайте полную копию,  т.к. TRUNCATE TABLE - быстро чистит таблицу, но не оставляет следов в журнале транзакций, так что в случае чего откатить не удастся.
  • обработка сама не меняет данные, полученный скрипт не меняет структуру, но всё же вносит изменения в содержимое базы данных нештатными средствами, поэтому - применяя скрипт к 1С-базе вы нарушаете лицензионное соглашение!
  • возможно кто-то скажет, что это реплика, так и есть! Я честно скачал несколько похожих обработок с ИС, но ни одна из них меня не устроила, ни по функционалу, ни по удобству. Поэтому пришлось написать свою.

Вступайте в нашу телеграмм-группу Инфостарт

быстрое обезличивание удаление свертка очистка

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

14400 руб.

20.08.2024    44770    248    123    

228

Чистка данных Системный администратор Программист 1С v8.3 Управляемые формы 1C:Бухгалтерия 1С:Бухгалтерия 1.6 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 30.09.2025, версия 4.5)

12000 руб.

22.02.2013    142839    281    147    

450

Чистка данных Системный администратор Программист 1С v8.3 Управляемые формы 1C:Бухгалтерия 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

6000 руб.

16.03.2015    261130    235    83    

270

Чистка данных Программист Пользователь 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С на управляемых формах например БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и др. Это могут быть неактуальные организации или другие перечни объектов. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся. Объекты нужно выбирать вручную и после этого запускать команду удаления. Будут удалены все ссылки на них.

5000 руб.

28.11.2019    28669    78    21    

93

Чистка данных Программист 1С v8.3 Управляемые формы 1C:Бухгалтерия 1С:Управление торговлей 10 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам быстро и просто выполнить перезапись любых ссылочных объектов, а также провести/снять с проведения документы с возможностью выбора регистров и произвольными отборами, в Ваших базах 1С на платформах 8.1-8.3. Обработка позволят найти документы с движениями или без них. Все это дает Вам мощный инструмент для работы. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А также обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! Данные обработки входят в ТОП-100 продаж, что является залогом популярности, надежности в работе, и признанием других покупателей.

9600 руб.

17.09.2013    806623    58    51    

94

Чистка данных Программист 1С v8.3 1C:Бухгалтерия Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

5136 руб.

23.08.2021    11237    23    3    

29

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Программист Бухгалтер Пользователь 1С v8.3 Оперативный учет 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

2400 руб.

09.04.2019    30469    47    15    

50

Чистка данных Системный администратор Программист 1С v8.3 Управляемые формы 1С:Бухгалтерия 3.0 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление холдингом 1С:Зарплата и кадры государственного учреждения 3 1С:Зарплата и Управление Персоналом 3.x 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 11 1С:Розница 2 Абонемент ($m)

Универсальный инструмент для очистки базы. Работает как на конфигурациях на основе БСП, так и самописных. Позволяет выбрать данные, отобразить форму списка, увидеть структуру метаданных, очистить базу применяя при необходимости условия. Удаление производится по выбранным элементам в таблице значений. Наложение условий позволяет удалить документы по выбранной организации.

1 стартмани

25.12.2023    11353    249    WeterSoft    7    

16
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. ktb 685 07.11.19 09:57 Сейчас в теме
(0) Я бы добавил "красненьким", что это только для тех кто понимает, что делает. :-)
dim9; dj_tol; barelpro; +3 Ответить
4. zzz_natali 61 07.11.19 10:55 Сейчас в теме
(1) Ну, кто добрался "до сладкого", то бишь до манажамент студио, тот уже понимает, что делает. :)
13. dj_tol 104 11.11.19 07:52 Сейчас в теме
(1)и жирненьким и мигающим.
2. nomad_irk 81 07.11.19 10:07 Сейчас в теме
А обычную форму и формирование скрипта для Postgres сделаете? :)
3. barelpro 1449 07.11.19 10:16 Сейчас в теме
(2)

У меня нет постгресса, не на чем будет тестировать, он еще редко встречается...
С обычной формой наоборот - уже редко встречается...
Но если найдутся желающие взять мою обработку за основу для такого развития - я не против!
5. zzz_natali 61 07.11.19 11:03 Сейчас в теме
(3) Если проанализировать родной одинэсовский запрос в profiler'е, то там не всё так однозначно. Скажем, очистка адресного классификатора в УПП выглядит так:
DELETE FROM T1
FROM dbo._InfoRg19091 T1
SELECT DISTINCT T1._Fld19325_TYPE, T1._Fld19325_RTRef, T1._Fld19325_RRRef, T1._Fld19326
FROM dbo._InfoRg19324 T1
Прокомментируете или пофиг(трункатим скопом, а потом смотрим, жива таблица или амба)?
6. barelpro 1449 07.11.19 11:19 Сейчас в теме
(5) Видеть бы еще ваш УПП, что за имена МД стоят за _InfoRg19091 и _InfoRg19324 ? )

Кстати, с удалением ссылочных объектов надо быть осторожнее в моей обработке, т.к. могут появится битые ссылки. Да и всякие зависимые таблицы (типа итогов и оборотов регистров) тоже не удаляются.
Это уже другая должна быть обработка - обрезка базы, немного другой подход.
Моя цель была - удалить или скрыть информацию, представляющую коммерческую тайну
8. zzz_natali 61 07.11.19 11:37 Сейчас в теме
(6)
InfoRg19091 - таблица КЛАДРа
InfoRg19324 - регистр сведений версии объектов(у нас версионирование включено)
Да, согласна: с наскока не будет выигрыша, хотя подрихтовать базу от битых ссылок можно через конфигуратор с помощью тестирования/исправления
7. Danil.Potapov 520 07.11.19 11:34 Сейчас в теме
(5) TRUNCATE ничего не знает о saas от 1с, поэтому платформа использует DELETE.
cleaner_it; +1 Ответить
9. Yashazz 4880 10.11.19 15:32 Сейчас в теме
Не-е-е. Делать обфускатор на уровне СУБД - это к восстановлению битой базы и долгому интенсивному интиму...
10. barelpro 1449 10.11.19 16:44 Сейчас в теме
(9) Конечно, если менять ссылочные реквизиты, а тут только строковые
11. Yashazz 4880 10.11.19 17:16 Сейчас в теме
(10) Всегда есть шанс цепануть что-то критическое...

Я для себя иначе поступил - написал конфу, которая берёт пустую cf и генерирует стендово-тестовое наполнение по заданным правилам. С тех пор базы у заказчиков не прошу, а прошу лишь логику и статистику их наполнения.

А обфускацию лучше имхо на уровне платформы делать.
cleaner_it; Kolunya; barelpro; +3 Ответить
12. barelpro 1449 10.11.19 18:05 Сейчас в теме
(11) Ну это если вы на стороне подрядчика. А если вы на стороне заказчика хотите дать внешнему подрядчику базу, и у вас нет такой волшебной обработки? )
14. Fox-trot 166 11.11.19 08:13 Сейчас в теме
(12) или тебя по-твоему незаслуженно уволили
лол
15. fart07 09.12.19 09:51 Сейчас в теме
Отличная обработка, как раз нужно было быстро обезличить большую базу. Чуть модифицировал под обычные формы.
barelpro; +1 Ответить
16. Bitnikov 398 24.03.22 11:33 Сейчас в теме
Спасибо! Взял за основу, доработал под себя - добавил два новых варианта (Имя поля + счетчик и Имя поля) и сделал выполнение запроса прямо из обработки.
Вариант "Имя поля + счетчик" повторяет стандартное обезличивание типа "Наименование 1, Наименование 2 и т.д."
Вышлю Автору, если захочет обновит.
Прикрепленные файлы:
17. SvkMaster 8 18.04.22 10:58 Сейчас в теме
(16) а можно вас попросить опубликовать с изменениями?
18. Bitnikov 398 18.04.22 17:08 Сейчас в теме
(17) без согласия автора, думаю, это будет неправильно.
19. barelpro 1449 18.04.22 19:46 Сейчас в теме
(18) Публикуйте конечно. Я тоже взял что-то за основу, эволюция однако! )
20. VladimirArtyushin 9 14.10.23 13:14 Сейчас в теме
Очень пригодилось, большое спасибо!
Красиво отработало на 8.3.22.1923 / ERP 2.5.7.336
Для отправки сообщения требуется регистрация/авторизация