Подсистема автоматического удаления дублей в справочниках (управляемые формы, любая конфигурация)

Публикация № 385126 31.07.15

База данных - Чистка данных

автоматическое удаление дублей справочников

Подсистема позволяет проводить автоматическое удаление дублей справочников в соответствии с заданными настройками. Возможно встраивание в любую конфигурацию на управляемых формах. Позволяет задать настройки справочников, в которых ищутся дубли и также поля поиска совпадений. Есть регламентное задание для запуска проверки с заданным периодом. Если в базе найдены ссылки на тот элемент, который будет удален, то они заменяются на тот элемент, который остается. Дублем считается элемент справочника, у которого больше значение кода.

"Покажите мне свой справочник контрагентов и я скажу, какой у Вас порядок в учете".

Такая есть у 1С-ников поговорка.

Удаляете дубли - просто хотите спрятать свои проблемы?

Поймите правильно, я двумя руками за то, чтобы бороться с причиной, а не следствием. Обычная причина появления дублей справочников - или некорректный ввод новых элементов справочников (без проверки) или обмены. Причем, например, Вы можете использовать только типовые правила обмена и все равно столкнетесь с проблемой появления дублей.

Пример:

Ведется учет в ЗУП 2.5, БП 3.0 и УТ 11.1. Из ЗУП в БП только загружаются проводки и справочники. При этом поиск в типовых правилах ведется по наименованию и дате рождения физлица. Проверяется полное совпадение. При обмене между БП и УТ поиск только по уникальному идентификатору. Если в ЗУП не заполнить дату рождения, с высокой вероятностью, будут появляться дубли. В ситуации, например, когда ввели новое физлицо (сотрудника) и в ЗУП, и в УТ до обмена. Так как поиск не сработает.

В каких случаях полезно внедрение такой подсистемы?

Бывает, что обязанность за администрированием базы 1С лежит на специалисте 1С. В том числе проведение обменов, контроль данных. В таком случае присутствие или отсутствие дублей справочников будет для пользователей базы показателем качества ее обслуживания. Разумеется, надо бороться с причиной появления дублей. Рекомендую анализировать журнал регистрации или настроить отправку сообщений об удалении дублей себе на электронную почту.

Как установить подсистему себе в конфигурацию?

Код подсистемы, разумеется, открыт. Внедрение возможно в любую конфигурацию на управляемых формах на 1С 8.2 или 1С 8.3. Для внедрения подсистемы сделайте сравнение и объединение с файлом cf из этой публикации. Далее настройте регламентное задание, если необходим его запуск. Если не нужен, то зайдите в регистр Настройки удаления дублей. Добавьте записи для справочников с именем справочника, списком полей поиска, разделенными точкой с запятой. Пример настройки для справочников Физические лица и Сотрудники приведен на скриншоте.

После настройки удаление дублей возможно проводить либо запуском обработки, либо автоматически с помощью настроенного регламентного задания.

Если в базе найдены ссылки на тот элемент, который будет удален, то они заменяются на тот элемент, который остается. Дублем считается элемент справочника, у которого больше значение кода.

Алгоритм замены ссылок на удаляемый объект взят из типовой обработки поиска и замены значения из ИТС.

Скачать файлы

Наименование Файл Версия Размер
Подсистема удаления дублей справочников

.cf 21,28Kb
110
.cf 1 21,28Kb 110 Скачать

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Glebis 13 31.07.15 15:17 Сейчас в теме
Поиск дублей по неточному соответствию есть?
2. primat 3220 31.07.15 15:18 Сейчас в теме
(1) Glebis, пока нет, имеете в виду по частичному совпадению полей, да?
3. Glebis 13 31.07.15 15:27 Сейчас в теме
(2) ага именно.
Ещё вопросы:
- есть ли лог выполнения, в первую очередь интересует лог регламентного задания?
- есть ли возможность проводить проверку на дубль в ОбработкаПроверкиЗаполненияНаСервере элемента справочника? Очень бы пригодилась проверка с неточным соответствием...
- не понятно как отработает система, если будет, например, 2 физ лица, и только у одного из них будет заполнено поле ДР. Как я понял подсистема воспримет их как разные элементы.
- как подсистема определит бОльщий код, если код элементов с разными префиксами?
- используется ли полнотекстовый индекс? Мало ли..
- Вас реально зовут "Пафнутий"?
4. primat 3220 31.07.15 16:34 Сейчас в теме
(3) Glebis,
1) Лог, да, ведет, в таком виде - как на скриншоте.
2) Подобный алгоритм ведь есть в типовых конфигурациях (проверка перед записью). Возможно, лучше им воспользоваться. Т.к. другая немного задача.
3) Тут Вам решать. Если организация большая, то настройки лучше указать, как я привел на скриншоте. Тогда да, это будут разные элементы. Если фирма маленькая, то достаточно оставить только наименование и тогда дубль удалит. Но остается надеяться, что полные тезки не придут на работу в эту компанию.
4) Как сравнение строк определит.
5) Нет. Обычный метод НайтиСсылки.
6) Нет. Просто он человек хороший.
5. shum_ont 13 27.11.15 11:56 Сейчас в теме
а умеет ли она решать проблему с ключами аналитики в ут 11?
6. primat 3220 27.11.15 14:25 Сейчас в теме
(5) shum_ont, думаю, что да, надо проверить. Далее переписка лично.
7. mlashko 10 03.01.18 06:31 Сейчас в теме
8. Infector 196 03.01.18 18:48 Сейчас в теме
В пределах подчинения владельцу искать может? И учитывать пометки удаления.
9. bulas 211 31.07.18 08:37 Сейчас в теме
На релизе БП 3.0.61.47 - уже не работает.
10. primat 3220 12.12.19 12:59 Сейчас в теме
(9) Добрый день. А какая ошибка?
11. unefleur 13.10.20 11:23 Сейчас в теме
Здравствуйте! На новых версиях БП работает?
12. Anatoliy1977 18.06.21 13:07 Сейчас в теме
Появился поиск дублей по неточному соответствию?
Оставьте свое сообщение

См. также

Пример многопоточной обработки (БСП)

Обработка документов HighLoad оптимизация Обработка справочников БСП (Библиотека стандартных подсистем) Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка-шаблон, на основе которой можно делать свои многопоточные обработки данных для конфигураций на БСП.

13.02.2023    3625    6    echo77    8    

66

Архив элементов

Обработка справочников Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

В архив помещаются неактуальные элементы справочников. Тем самым появляется возможность выводить в справочнике для просмотра и выбора только актуальные в данный момент данные. Работает для всех справочников.

4 стартмани

07.11.2022    5877    31    sapervodichka    61    

92

Заполнение контрагентов по ИНН для УТ 10.3

Обработка справочников WEB-интеграция Платформа 1С v8.3 1С:Управление торговлей 10 Россия Абонемент ($m)

Заполнение контрагентов по ИНН (1С: Управление торговлей 10.3).

6 стартмани

17.05.2022    5694    35    kostyan7    20    

1

Оптимизация размера изображений из присоединенных файлов УТ 11.4

Инструменты администратора БД Обработка справочников Платформа 1С v8.3 1С:Управление торговлей 11 Россия Абонемент ($m)

У нас часто возникала ситуация, когда необходимо настроить обмен с сайтом или с внешней системой, но выгружаемые изображения слишком сильно увеличивали объем сообщений обмена, обмен происходил медленно. Да и для самой базы, операции с не оптимизированными изображениями требуют большего количество ресурсов и места на диске. Потому мы собрали свои наработки в одно расширение.

5 стартмани

10.07.2020    16343    28    Neti    5    

15

Очистка базы данных 1С от данных по организациям прямыми SQL-запросами к СУБД

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Работа с помощью прямых запросов в случае, когда нельзя, но очень необходимо.

10 стартмани

20.09.2019    25479    147    nomad_irk    120    

45

Программы для исполнения 54-ФЗ Промо

С 01.02.2017 контрольно-кассовая техника должна отправлять электронные версии чеков оператору фискальных данных - правила установлены в 54-ФЗ ст.2 п.2. Инфостарт предлагает подборку программ, связанных с применением 54-ФЗ, ККТ и электронных чеков.

Обнуление остатков регистров бухгалтерии и накопления

Универсальные обработки Чистка данных Платформа 1С v8.3 Бухгалтерский учет Оперативный учет Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Зарплата и Управление Персоналом 2.5 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Абонемент ($m)

Обработка позволяет обнулить остатки по регистру накопления или бухгалтерии на определенную дату. Поддерживается большинство типовых конфигураций (БП 3, БП 2, УТ 11, УТ 10, ЗУП 3, ЗУП 2, БГУ 2, БГУ 1, ERP, УПП, КА 2, КА 1, УХ 3, УХ 1, УНФ). Гибкая настройка (отборы, заполнение реквизитов и любых полей корр. счета, возможность обнулять ресурсы выборочно). Несколько режимов работы. Два интерфейса: простой и с расширенным набором настроек.

2 стартмани

19.11.2018    47003    597    morozov.sv    69    

70

Очистка замеров производительности - даешь больше места на диске (= меньше хлама в базе)

Чистка данных Платформа 1С v8.3 1С:Розница 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Зарплата и Управление Персоналом 3.x Абонемент ($m)

Вы могли и не знать, но у Вас в базе может быть несколько сотен тысяч записей о производительности системы. А появились они там благодаря встроенной в БСП подсистеме "Оценка производительности". И думаю что далеко не каждый из Вас реально собирается оценивать производительность своей системы. Специально для тех кто, как и я считает, что ему абсолютно не нужны все эти записи в базах и была создана эта обработка.

1 стартмани

31.10.2018    36493    328    1c.pro.fun    31    

77

Видеокурс-практикум: как подготовить и написать ТЗ, ЗНР, ЧТЗ. Промо

В курсе обобщен опыт работы аналитика на проектах в течение пяти лет, в нескольких фирмах. Подходы к написанию документов унифицированы и по возможности не привязаны к конфигурациям 1С.

3 500 рублей

Очистка периодических регистров посредством T-SQL (удаление записей, кроме среза последних)

Чистка данных Платформа 1С v8.3 Абонемент ($m)

Обработка для ленивых. Составит вместо Вас запрос для SQL, который удалит все не актуальные записи (т.е все, кроме среза последних)

5 стартмани

22.06.2018    25832    24    Alexander.Shvets    9    

5

Встраиваемая подсистема "Универсальные шаблоны объектов"

Обработка документов Обработка справочников Платформа 1С v8.3 Сложные периодические расчеты Управляемые формы 1С:Зарплата и Управление Персоналом 3.x Абонемент ($m)

Очень часто бывает так, что пользователь каждый месяц делает какие-либо "одинаковые" операции, например, заводит одни и те же документы, каждый раз меняя в них только значения нескольких реквизитов. Также во многих системах набирают популярность так называемые многофункциональные документы, т.е. документы, отвечающие за несколько разных участков автоматизации и в зависимости от вида операции, заполняющихся по разному. Для автоматизации подобных процессов была реализована данная подсистема.

1 стартмани

17.05.2018    27266    35    Skin123    14    

49

Автоматическое заполнение графиков в ЗУП 3.1

Зарплата Учет рабочего времени Обработка справочников Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Абонемент ($m)

Данная разработка будет актуальна для организаций с большим количеством графиков (несколько десятков/сотен).

1 стартмани

05.05.2018    40030    24    notserioussam    2    

8

Удаление данных средствами SQL, теория и практика

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Методика быстрого удаления данных через SQL. Выбираем документ в 1С, добавляем простые условия - получаем готовый скрипт, удаляющий сами документы, их табличные части и движения по регистрам.

10 стартмани

25.04.2018    36789    249    METAL    45    

51

Готовые переносы данных из различных конфигураций 1C Промо

Рекомендуем готовые решения для переноса данных из различных конфигураций 1C. C техподдержкой от разработчиков и гарантией от Инфостарт.

Восстановление предопределенных элементов справочника средствами платформы (переинициализацией)

Обработка справочников Корректировка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Абонемент ($m)

Обработка восстанавливает потерянные предопределенные элементы справочника с заполненным наименованием, кодом и иерархией, которые описаны в конфигурации. Исправление ошибки "Предопределенный элемент отсутствует в данных".

2 стартмани

28.03.2018    24568    127    Dipod    13    

21

2 в 1: Проверить действительность паспорта / Получить ИНН по паспорту

Обработка справочников WEB-интеграция Кадровый учет Платформа 1С v8.3 Управляемые формы 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Абонемент ($m)

Представляю вашему вниманию внешнюю обработку заполнения элемента справочника "Физические лица". Обработка выполнена с использованием API (для работы необходим доступ в интернет), содержит полностью открытый код и 2 команды: Проверка документа, удостоверяющего личность, в списке недействительных паспортов и Заполнение ИНН по паспортным данным.

1 стартмани

27.02.2018    35244    206    VladimirElohov    41    

48

Очистка базы данных от данных по организации

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка генерирует SQL-скрипт, который очищает базу данных от документов выбранной организации. Проверялась на конфигурации Управление производственным предприятием на платформе 8.3. Но в принципе универсальная для стандартных конфигураций на платформе 8.3.

1 стартмани

23.01.2018    27729    163    mugr    28    

45

[РАСШИРЕНИЕ] Заполнение данных контрагента по ИНН в 1С: Бухгалтерия и 1С: УНФ

Обработка справочников Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 Абонемент ($m)

Бесплатное заполнение реквизитов контрагентов в 1С: Бухгалтерия, 1С: УНФ на базе сервиса dadata.ru. Добавляет кнопку заполнения по ИНН в карточку нового контрагента, не требует подписки на ИТС.

1 стартмани

09.01.2018    64375    344    Anton64    95    

50

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

Обнуление остатков и движений регистров накопления (УФ)

Чистка данных Обработка документов Логистика, склад и ТМЦ Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Управленческий учет Абонемент ($m)

Универсальная обработка обнуления регистров накопления (остатки и обороты) для любой* конфигурации под управляемые формы.

4 стартмани

01.12.2017    18413    87    aleksch21    7    

6

Очистка регистрации обмена

Чистка данных Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 Абонемент ($m)

Данная обработка предназначена для очистки узла. Для очистки необходимо указать период,организацию.

1 стартмани

19.09.2017    26258    11    serg-lom89    0    

5

Распознавание и загрузка документов в 1С Промо

Универсальная программа-обработка для распознавания любых сканов или фото первичных документов в 1С (счета-фактуры, УПД, ТТН, акты и тд). Точность распознания до 98%.

от 11 рублей

Корректировка остатков регистров бухгалтерии (обычные и управляемые формы)

Свертка базы Чистка данных Закрытие периода Корректировка данных Платформа 1С v8.3 Платформа 1C v8.2 Бухгалтерский учет Управляемые формы Конфигурации 1cv8 Бухгалтерский учет Налоговый учет Абонемент ($m)

Внешняя обработка, предназначенная для удобного исправления остатков по регистрам бухгалтерии (Хозрасчетный, Налоговый или любой другой) посредством автоматизации ввода корректировочного документа ("Операция", "Корректировка записей регистров"), приводящего регистр в нужное состояние остатков от текущего. Удобна для массовых правок остатков по бухгалтерскому и налоговому учету на какую-то дату (обычно перед реорганизацией учета, сверткой базы и т.п.)

2 стартмани

03.06.2017    48877    308    stvorl    36    

22

Удаление помеченных объектов, замена ссылок. Обычное и управляемое приложение. Не монопольно, включая рекурсивные ссылки, с отбором по метаданным и произвольным запросом

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка удаления помеченных объектов с расширенным функционалом. Работает в обычном и управляемом приложении. Монопольный и разделенный режим работы. Отображение и отбор по структуре метаданных. Отборы данных произвольными запросами. Копирование и сохранение отборов. Удаление циклических ссылок (рекурсия). Представление циклических в виде дерева с отображением ключевых ссылок, не позволяющих удалить текущий объект информационной базы. Удаление записей связанных независимых регистров сведений. Групповая замена ссылок. Индикатор прогресса при поиске и контроле ссылочности.

10 стартмани

31.10.2016    75647    926    m..adm    244    

117

Удаление документов по организациям для 1С:Бухгалтерия Предприятия 3.0 и 2.0 (управляемые и простые формы)

Чистка данных Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 2.0 1С:Бухгалтерия 3.0 Россия Абонемент ($m)

Обработка удаляет документы по выбранной организации, либо по всем, кроме выбранной. UPD. Добавлена обработка для управляемых форм с возможностью подбора организаций в список. Условия остаются теми же - удалить по организациям из списка, или по всем, кроме подобранных в списке.

3 стартмани

31.07.2016    38452    396    Krasnyj    55    

57

Подборка программ для взаимодействия с ЕГАИС Промо

ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.

Ошибка "Записи регистра сведений стали неуникальными"

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

При обновлении конфигурации периодически может возникать ошибка "Записи регистра сведений стали неуникальными" или "Имеются записи с одинаковыми измерениями". Что она означает и как ее исправить.

1 стартмани

21.07.2016    127759    1428    ekaruk    53    

44

Многопоточное удаление объектов

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка предназначена для ускорения процедуры удаления объектов

2 стартмани

02.06.2016    34220    58    zzz_natali    20    

9

Шифрование и расшифровка строковых полей справочников методом Виженера (с улучшениями)

Защита ПО и шифрование Обработка справочников Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка по шифрованию и расшифровке строковых полей справочников модифицированным методом Виженера - реализация без внешних компонент, без com-объектов, чистый 1С.

1 стартмани

27.04.2016    47445    52    NikitaXa    22    

64

Номенклатура (Расширенная форма списка) и Корзина [Расширение]

Рабочее место Обработка справочников Логистика, склад и ТМЦ Платформа 1С v8.3 1С:Бухгалтерия 3.0 Абонемент ($m)

Красивая, удобная и эргономичная форма списка номенклатуры. В общем списке номенклатуры отображаются и остатки, и цены. А еще есть возможность быстро создать документы по выбранным позициям через корзину.

5 стартмани

29.02.2016    51392    132    mrXoxot    69    

86

Чистка регистров накопления {остатки и обороты} по закрытым движениям (обычные формы)

Чистка данных Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка предназначена помочь очистить регистры накопления от ненужных записей. Иначе говоря, для удаления строк по измерениям регистра накопления, остатки по которым закрылись в 0.

1 стартмани

22.02.2016    39132    49    endym    14    

7

1СПАРК РИСКИ. Сервис оценки благонадежности контрагентов. Промо

СПАРК помогает предотвратить мошенничество со стороны компаний и предпринимателей, благодаря актуальным сведениям о компаниях и системе выявления факторов риска.Сервис позволяет управлять налоговыми рисками и комплексно оценивать благонадежность контрагентов.

Контрагенты (расширенная форма списка) [Расширение]

Обработка справочников Платформа 1С v8.3 1С:Бухгалтерия 3.0 Абонемент ($m)

Красивая и удобная форма списка контрагентов. Добавлено быстрое создание документов из списка и оперативная информация по контрагенту.

5 стартмани

22.12.2015    40499    97    mrXoxot    22    

63

Сброс неверной нумерации объектов

Обработка документов Обработка справочников Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Кратко о выправлении нумерации объектов

1 стартмани

07.11.2015    145797    1173    magobato    46    

103