Быстрый поиск дублей в 1С с четким/нечетким поиском по любому сочетанию реквизитов/реквизитов таб. частей с отбором и быстрой заменой значений в ЛЮБЫХ базах 8.1-8.3 (УТ 10.3, БП 2, ЗУП 2.5, КА 1.1, УТ 11, БП 3, УНФ 1.6/3.0, КА 2, ЗУП 3 и т.д.)

Обработка  поиска дублей  позволяет:

• Скорость поиска дублей 5 раз и быстрее штатной обработки 1С, которая идет в составе большинства типовых конфигураций! До 2х раз быстрее при замене ссылок во всех регистрах и последовательностях (в зависимости от состава данных, в которых происходит замена)!
• Найти дублирующиеся элементы в любом ссылочном объекте конфигурации по любому сочетанию реквизитов или реквизитов табличных частей (это актуально для новых конфигурация, вида УТ 11, БП 3.0, УНФ 1.6 /3.0, Розница 2/3 и т.д., у которых контактная информация находится в табличных частях, что позволит "отсеять" контрагентов с одинаковыми адресами, телефонами и т.д.) с использованием четкого или нечеткого механизма определения дублей;
• Анализ ссылочных данных на предмет наличия дублей одним нажатием с возможностью произвольного указания списка реквизитов, по которым будет идти определение дублей! Для этого достаточно нажать на кнопку <Анализ на наличие ссылочных дублей> и система выведет список объектов с дублями в рамках всей базы! Система анализирует справочники, планы видов характеристик, планы счетов, планы видов расчета. По умолчанию система предлагает поиск по <Наименование> и <Владелец>. Если у объекта нет реквизита <Владелец>, поиск идет по остальным реквизитам, указанных в строке реквизитов. Если введенный реквизит поиска не будет найден в объектах, то будет выведено соответствующее сообщение. При поиске учитываются настройки <Учитывать помеченные на удаление> и <Очищать реквизиты от указанных знаков>.
• Найти и удалить дубли записей независимых регистров сведений, с возможностью выбора измерений/ресурсов/реквизитов для поиска дублей;
• Использовать произвольные запросы для выборки данных для определения дублей. Например, если мы хотим определить номенклатуру, которую нужно заменить по данным регистра сведений «Штрихкоды».
• Есть возможность использовать механизм четкого поиска - когда для поиска и определения дублей, нужно чтоб данные всех реквизитов были равны между собой, и нечеткого поиска - когда можно для каждого реквизита задать способ сравнения - "Четкое совпадение" или "По вхождению слов". Например, для определения что контрагент "ИП Петров" И "Петров ИП" - это дубли, нужно использовать нечеткий поиск с выбором реквизита "Наименование" с правилом "По вхождению слов". ВРЕМЯ поиска дублей при нечетком поиске возрастает во много раз!  
• Отбор по любому реквизиту выбранного объекта;
• Имеется возможность выбирать объекты конфигурации (метаданных), в которых будет происходить замена ссылок. Это дает возможность выполнять замену ссылок, например в документе, но при этом не трогать справочники. Для формирования дерева метаданных, в которых будет происходить замена, достаточно нажать "Определить главный элемент" или "Выбрать метаданные для замены". Система на основе найденных ссылок выстроит дерево, в котором можно выбрать где нужно заменить ссылки, а где нет. Если выбранный объект - документ, то замена будет происходить так же в движениях данного документа!
• Выбрать папку поиска дублей (в отборе указываем реквизит "Родитель" с видом сравнения "В группе" и указываем папку, в которой будет идти поиск дублей);
• При поиске дублирующихся элементов есть возможность указать владельца и производить поиск в пределах владельца(если есть данный реквизит у справочника);
• Есть возможность указать любые реквизиты поиска, входящие в выбранный объект. 
• Есть возможность указать количество дублей, после которого остановить поиск.
• Очистка реквизитов от символов и пробелов при сравнении (Вкл/Выкл флагом "Очищать реквизиты от знаков пунктуации и пробелов"). Если флаг не установлен, то будут отсекаться только крайние пробелы перед строкой и после. Если используется нечеткий поиск, то для реквизитов, у которых выбрано правило "По вхождению слов" будут очищены только слова из которых состоит строка. Разделители слов останутся.
• Можно вручную указать какой элемент Вы хотите оставить как главный среди дублей. Главный элемент выделяется в таблице галкой и зеленым цветом. Все остальные дубли будут являться подчиненными и будут заменены на главный элемент при замене ссылок;
• Можно автоматически определить главный элемент по количеству ссылок или по вхождению указанного значения в указанный реквизит. Более детально описано ниже, в порядке работы с обработкой. При этом обработка учитывает количество ссылок на каждый элемент и выделяет главный исходя из этого(у кого больше, тот и главный);
• Замена происходит либо в транзакции, либо нет
• Найденные дубли можно автоматически помечать на удаление,чтоб нельзя было выбрать в дальнейшем; 
• Найденные дубли можно автоматически удалять после замены ссылок (удаление происходит с проверкой ссылочности);
• Любую ссылку можно открыть двойным нажатием на нужной строке;
• Если главный элемент помечен на удаление, то можно снять пометку, чтоб использовать его в дальнейшем;
• Есть возможность вывести в список дерево дублей для согласования;
• Замена ссылок и удаление данных происходит в привилегированном режиме (только в управляемой форме!);
• Есть возможность выбрать дополнительно реквизиты из найденных ссылок дублей, для более подробного анализа. Для этого нужно нажать на закладке "Найденные дубли" кнопку "Выбрать реквизиты для отображения", откроется форма и в данной форме выбираем нужные реквизиты. Система добавит данные выбранных реквизитов в дерево.

И немного цифр о скорости по сравнению со штатной обработкой 1С поиска дублей. Железо одно и тоже. Выбранные реквизиты и отборы одинаковы. Справочник "Контрагенты", 2790 записей.

• Обработка из публикации в режиме ЧЕТКОГО совпадения реквизитов (флаг снят) - 1 сек (поиск дублей), найдено 33 шт, 22 сек. (поиск ссылок на дубли). Всего - 23 сек. 
• Обработка из публикации в режиме НЕЧЕТКОГО совпадения реквизитов поиска - 48 сек (поиск дублей), найдено 128 шт (при проценте сходства 80%), 37 сек. (поиск ссылок на дубли).Всего - 1 мин 25 сек.
• Штатная 1С в одном и том же режиме - 2 мин. 43 сек (поиск дублей и поиск ссылок на дубли), найдено 46 шт. При замене ссылок штатная обработка 1С может не заменять ссылки полностью (не использует режим обмена) из-за закрытого периода!

Порядок работы (есть в справке обработки):

1. В поле "Искать в" укажите объект конфигурации для поиска. Если будет использоваться произвольный запрос, то нажимаем на кнопку  "Произвольный запрос". В открывшемся окне с помощью конструктора запроса создаем запрос и нажимаем "Сохранить". ВНИМАНИЕ! Текст запроса обязательно должен иметь хотяб одно поле с синонимом "Ссылка". Например, "... Объект КАК Ссылка". Поля "Код" и "ПометкаУдаления" могут так же выводиться через запрос и должны иметь синонимы вида, например " Номенклатура.Код КАК Код" или "...Номенклатура.ПометкаУдаления КАК ПометкаУдаления". Допускаются любые соединения и вложения запросов. Итоги не допускаются!

2. В списке реквизитов выберите нужные реквизиты по которым будет идти сравнение. Ставим/не ставим галку "Учитывать владельца" - поиск будет происходить в пределах владельцев. 

3. В боковой панели выбираем режим поиска, путем установки флага "Нечеткое сходство данных реквизитов при поиске дублей". Данный флаг дает возможность настроить для каждого выбранного реквизита способ совпадения данных при поиске дублей, в том числе и по вхождению отдельных слов строки. Не используется при поиске дублей записей регистров сведений независимых.
ВРЕМЯ поиска дублей при нечетком поиске возрастает во много раз!

Если нас интересует поиск дублей только по четкому вхождению, то галку не ставим -скорость поиска будет максимальная!

4. Если включен нечеткий поиск, то можно указать процент сходства данных реквизитов при поиске дублей. Это значит, что если строка по длине одного реквизита будет совпадать со строкой этого же реквизита, но другого объекта (ссылки) на указанный процент, то система будет считать этот объект дублем. Это справедливо для каждого выбранного реквизита.

5. Так же указываем "Разделитель строк..." на закладке "Нечеткий поиск". Данный разделитель нужен для возможности разделения строки на отдельные слова, которые потом используются при нечетком поиске по правилу "По вхождению слов".

6. Ниже, настраиваем для каждого реквизита, как будет система искать и определять дубли. "Четкое совпадение" - значит будет проверяться строка одного объекта со строкой другого в рамках данного реквизита на равенство. "По вхождению слов" - система будет разделять строку одного объекта на слова и искать вхождение каждого слова в строке другого объекта в рамках данного реквизита.

7. В отборе указываем реквизит "Родитель" с видом сравнения "В группе" и указываем папку, в которой будет идти поиск дублей, если нужно;

8. Если хотите чтоб обработка выдала не все дубли, а только определенное количество - укажите число в окошке "Число найденных дублей, после которых поиск остановить". Так же если нужно очищать данные от знаков пунктуации или пробелов, то ставим галку "Очищать реквизиты от указанных знаков" и указываем от каких именно знаков нужно очищать.

9. Если нужно учитывать помеченные элементы, то нужно поставить галку "Учитывать помеченные на удаление". Тогда в таблице все помеченные будут выделены красным цветом; Данная функция не работает если источником данных выбран "Произвольный запрос".

10. Нажмите кнопку "Выполнить поиск дублей". Процесс начнется. Время поиска зависит от мощности компьютера, количества данных в искомом объекте, четкий/нечеткий поиск.

11. Если будут найдены дубли, то они будут отображены в виде дерева;

12. Далее можно вручную выбрать элемент который будет главным и будет оставлен в дальнейшем. Для этого нужно поставить галку и строка будет окрашена в зеленый цвет. В группе дублей может быть только один главный элемент!

13. Если Вы не хотите долго руками выбирать главный элемент, то можно нажать "Определить главные элементы". Есть 2 режима определения главного элемента -"По количеству ссылок" и "По вхождению значения в реквизит и количеству ссылок". Если выбрано "По количеству ссылок", то обработка автоматически посчитает ссылки на найденные элементы и определит главный элемент. Если выбрано "По вхождению значения в реквизит и количеству ссылок", то нужно указать формулу, в поле "Формула", в виде "ИмяРеквизита==Значение" без кавычек, где ИмяРеквизита - имя реквизита объекта как в конфигураторе, Значение - значение, по вхождению которого, обработка будет определять главный элемент. Если не будет найден главный элемент по вхождению Значения, то система выполнит определение главных элементов по количеству ссылок. Если будут найдены несколько элементов по вхождению, то система выберет главным тот элемент, у которого количество ссылок больше.  Если источником данных являются записи регистра сведений, то система просто выделит верхние записи в каждой найденной группе дублей т.к. записи - это не ссылочные данные!

14. Есть возможность выбрать дополнительно реквизиты из найденных ссылок дублей, для более подробного анализа. Для этого нужно нажать на закладке "Найденные дубли" кнопку "Выбрать реквизиты для отображения", откроется форма и в данной форме выбираем нужные реквизиты. Система добавит данные выбранных реквизитов в дерево. Если источником данных выступает регистр сведений, то данная операция не выполнима.

15. При нажатии "Заменить ссылки" будет выдан вопрос с настройками замены. При согласии, будет выполнен процесс замены ссылок во ВСЕЙ базе. Группы, в дереве, в которых не выбран главный элемент, будут игнорироваться!

16. Для удаления найденных дублей записей регистра сведений, используем команду "Удалить дубли записей регистра сведений". Если в группе выбрана главная запись, то данная запись остается, остальные, входящие в данную группу дублей - удаляются. И так для каждой группы дублей в дереве.

17. Если все нормально прошло, вы увидите окно процесса замены. Если будут ошибки, то в окне сообщений вы их увидите. 

18. Если нужно сохранить все настройки (выбранный объект, реквизиты, настройки нечеткого поиска, произвольный запрос и т.д.), то используем кнопку "Сохранить" на первой закладке в командной панели. Для восстановления настроек используем кнопку "Загрузить" на первой закладке в командной панели 

Рассмотрим на примере работу обработки

Есть задача - нужно заменить ссылки номенклатуры и удалить дубли номенклатуры, основываясь на данные регистра "Штрих-коды" т.е. дубли нужно определить по записям из данного регистра, у которых ресурс "Штрихкод" одинаков. А после - удалить дубли записей в регистре штрих-кодов, у которых одинаковы ссылки на номенклатуру и и одинаков ресурс "Штрихкод".

1. Для определения дублей номенклатуры по данным регистра на поможет произвольный запрос. Для этого нажмем кнопку "Произвольный запрос" и в отрывшемся окне, создадим запрос такого вида

ВЫБРАТЬ ШтрихКоды.ШтрихКод КАК ШтрихКод,

            ШтрихКоды.Объект КАК Ссылка,

            ШтрихКоды.ЕдиницаИзмерения КАК ЕдиницаИзмерения,

            ШтрихКоды.ХарактеристикаНоменклатуры КАК ХарактеристикаНоменклатуры,

            ШтрихКоды.Регион КАК Регион,

            ШтрихКоды.ВыгружатьВОборудование КАК ВыгружатьВОборудование,

            ШтрихКоды.Запрет КАК Запрет,

            ШтрихКоды.Объект.ПометкаУдаления КАК ПометкаУдаления,

            ШтрихКоды.Объект.Код КАК Код

ИЗ        РегистрСведений.ШтрихКоды КАК ШтрихКоды

Обратите внимание на синонимы полей. Синоним "Ссылка" обязательно должен присутствовать. Далее, нажимаем "Сохранить".

В списке реквизитов, указываем поля, по которым будет искать дубли. В нашем случае - это поле "Штрихкод". Если нужно - ставим галку "Очищать реквизиты от указанных знаков". Нажимаем "Выполнить поиск дублей". Ожидаем.

Если есть дубли, то на второй закладке в дереве они отобразятся. Мы получили дерево дублей, в котором есть ссылки на номенклатуру, у которой штрих-коды одинаковы. Теперь в меню "Работа с дублями" выбираем "Определить главные элементы". Система произведет поиск ссылок, и на их основании выберет нужный элемент.

Далее, указываем настройки, которые система должны выполнить с дублями на первой вкладке (пометить на удаление или удалить непосредственно). После, нажимаем "Заменить ссылки" и ожидаем.

Все, замена ссылок выполнена. При этом в регистре сведений "Штрихкоды" образовались дубли записей, которые так же нужно удалить.

Для этого в поле "Искать в" выбираем регистр сведений "Штрихкоды". Далее, указваем поля по которым система будет искать дубли. В нашем случае это "Объект" и "Штихкод" т.к. после замены номенклатура теперь одинакова для одинаковых штрихкодов. Нажимаем "Выполнить поиск дублей".

После, в дереве дублей, вручную или автоматом, выбираем те записи регистра, которые останутся. Остальные в каждой группе - будут удалены. Если в группе не выбрана запись - данная группа игнорируется. Нажимаем "Удалить дубли записей регистра сведений". Все - дубли удалены.

Вот таким способом данная обработка может облегчить жизнь!

С конфигурациями 8.1 обработки работают только в режиме совместимости с 8.2 (обычное приложение)

ОСОБЕННОСТИ ЗАМЕНЫ ССЫЛОК! Если при замене ссылок, ссылка заменяемого объекта будет найдены в движениях документа, то замена будет произведена в наборе регистров движений. Документ не будет перепроведен. Если ссылка будет найдена в регистрах сведений, то если после замены набор будет иметь не уникальные записи, то одна из записей будет удалена! Это особенности платформы 1С! 

ВНИМАНИЕ! Возможно, что при выборе справочника/ПВХ, в таблице отбора, не будет доступных полей для отбора в управляемой форме. Это значит у Вас не включена функциональная опция, которая блокирует использование данного объекта! Это особенности управляемого приложения и СКД!

Не забываем делать бэкап базы перед использованием обработки!

Данная обработка входит в Топ-100 продаж сайта "Инфостарт" за все время!

Обновление от 27.11.2023, версия 6.12 (УФ, ОФ)!

• Исправлена ошибка при пометке на удаление ссылочных объектов.

Обновление от 03.10.2023, версия 6.11 (УФ, ОФ)!

• Добавлена возможность отключать механизм регистрации на обмен в типовых базах 1с и построенных на БСП при замене ссылок и удалении дублей. Это позволяет увеличить скорость замены ссылок и удаления дублей до 25%. Для этого достаточно установить флаг "Отключить регистрацию данных на обмен при замене ссылок" при замене ссылок.
• Добавлена возможность удалять несколько строк из дерева найденных дублей.

Обновление от 31.07.2023, версия 6.10 (УФ, ОФ)!

• Исправлены ошибка при непосредственном удалении и пометке на удалении дублей или заменяемых данных.

Обновление от 18.07.2022, версия 6.9 (УФ, ОФ)!

• Изменен механизм заполнения дерева метаданных для выборочной замены ссылок в выбранных метаданных. Ранее, данной дерево заполнялось при определении главного объекта. И показаны были лишние метаданные с учетом объекта, который является главным и из-за этого могли не заменяться ссылки. Теперь при смене главного элемента в дереве дублей, данное дерево метаданных будет очищаться. Для заполнения дерева метаданных нужно в меню «Работа с дублями» выбрать «2. Выбрать метаданные для замены» после ОПРЕДЕЛЕНИЯ ГЛАВНОГО объекта!

Обновление от 06.06.2022, версия 6.8 (УФ, ОФ)!

• Добавлена возможность выбирать как сравнивать текстовые значения реквизитов - с учетом регистра букв или нет. Теперь, по умолчанию, система сравнивает текстовые значения без учета регистра букв. Если нужно сравнивать с учетом регистра букв, то нужно в настройках установить флаг "Сравнивать текстовые значения с учетом регистра букв".

Причины купить:

• Одна из САМЫХ БЫСТРЫХ и универсальных обработок своего класса!
• Простота использования
• Гибкость настроек, сохраение и загрузка
• Возможность поиска дубелй и с учетом реквизитов табличных частей справочников/ПВХ
• Возможность использовать произвольный запрос для поиска дублей
• Поиск и удаление дублей записей в регистрах сведений по любому сочетанию измерений/ресурсов/реквизитов;

Техническая поддержка и обновления

Бесплатный период техподдержки составляет 1 месяц со дня покупки

Также после приобретения вы получаете 12 месяцев бесплатных обновлений.

По окончанию бесплатного периода вы можете приобрести услугу технической поддержки с доступом к обновлениям на платной основе.

Проверить наличие обновлений можно в личном кабинете. Если обновления недоступны - загрузить новую версию можно после покупки обновлений/технической поддержки.

Задать вопрос по программе можно по кнопке "Техподдержка" на странице описания.

При создании тикета необходимо предоставить:

1. Номер заказа
2. Описание вопроса. Если это ошибки - напишите порядок ваших действий с программой, которые к ней привели (приложите видео/скриншоты/отчеты об ошибке)
3. Точную конфигурацию 1С, и версию платформы, на которой используете купленное решение (наименование и версию 1С можно взять из раздела "О программе"), версию купленной программы.

К созданной заявке подключается специалист. Дальнейшее обсуждение проблемы будет проходить в тикете техподдержки. Срок реакции - от 24 до 72 часов в рабочие дни с момента обращения.

Техподдержка