Поиск и замена дублирующихся элементов

18.07.24

Задачи пользователя - Поиск данных

Данная обработка взята из Управление Торговлей 10.3. Отличие от стандартной обработки в том, что она позволяет выполнять поиск, замену и удаление дублирующихся элементов не только справочников , но и любого ссылочного элемента: Документы, Справочники, Планы видов расчета, Задачи, Бизнес процессы, Планы видов характеристик, Планы счетов.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
ПоискИЗаменаДублирующихсяЭлементовВсеСсылки.epf
.epf 54,97Kb
836
836 Скачать (1 SM) Купить за 1 850 руб.

Данная обработка позволяет выполнять поиск, замену и удаление дублирующихся элементов любого ссылочного элемента.

Выберем сперва тип данных как на скриншоте.

 Поиск может выполняться в двух режимах:

  • По равному значению реквизита,
  • По похожим словам

В первом режиме обработкой выполняется поиск элементов ссылочного элемента, имеющих одинаковое значение заданного реквизита. Данный режим следует применять, когда равенство этих значений у элементов ссылочного элемента с высокой вероятностью означает, что данные элементы дублируют друг друга. Например, для справочника "Контрагенты" это может быть реквизит "ИНН".

Второй режим может применяться только для свойств и реквизитов строкового типа. В этом режиме выполняется поиск элементов справочников, имеющих похожие значения указанного реквизита. При этом выполняется как анализ входящих в значение отдельных слов (например, данный режим позволить найти такие элементы как "Пластинформ", "ООО Пластинформ", "Пластинформ ООО"),  так и побуквенное сравнение каждого слова (Иванов Иван Иванович, Иванов Иван Ивонович). Поиск дублей в таком режиме может занять продолжительное время.

 

 

Для поиска дублирующихся элементов необходимо указать:

  • Справочник, в котором необходимо выполнить поиск
  • Имя реквизита, по значению которого будет выполняться анализ и поиск дублей
  • Режим поиска (либо по равному значению реквизита, либо по похожим словам)

Кроме этого, можно добавить дополнительные ограничения для поиска дублирующихся элементов ссылочного элемента.

Для режима поиска "по похожим словам", дополнительным параметром поиска является - "степень соответствия объектов". Установка этого значения выполняется с помощью условной оценочной шкалы, имеющей крайние значения "Не отличаются" и "Значительно отличаются". Соответственно, при значении "Не отличаются" обработкой отбираются элементы, значения указанного реквизита которых отличаются только различным порядком слов в значении, например, "ЗАО ТД Нева" и "Нева ТД ЗАО". В случае установки значения параметра отличного от "Не отличаются" допускается как различия в составе слов значения ("Свергуненко А.В., ИП" и "Свергуненко А.В"), так и различие в самих словах ("Иванович" и "Ивонович"). Соответственно, в самом правом положении ползунка степень допустимого различия максимальна. По умолчанию значение данного параметра установлено как оптимальное для поиска, но в отдельных случаях может требовать изменения.

 

После выполнения поиска дублирующихся элементов программа отображает результаты в двух таблицах. Первая - таблица групп. Вторая - таблица дублирующихся элементов в выбранной группе. первая таблица не подлежит изменения и открыта только для просмотра. Список элементов второй таблицы возможно изменять - удалять элементы заведомо не являющиеся дублирующимися или, наоборот, вручную добавить элемент в список. (Данная возможность также позволяет не выполнять предшествующий поиск, а вручную заполнить весь список для последующей обработки, например, если никакими средствами получить желаемые результаты поиска не получается).

Для выполнения замены элементов необходимо во второй таблице выбрать "Правильный элемент". После чего нажать на кнопку "Далее". Программа отобразит список ссылок на оставшиеся элементы в группе. При выполнении замены все найденные ссылки будут заменены на ссылку "Правильного элемента".

 

Выполнение замены ссылок возможно выполнять в одной транзакции, путем установки флажка "Выполнять все замены в одной транзакции". В этом случае замена будет произведена только для всех элементов одновременно. Любая неудачная попытка замены одной из ссылок отменит все сделанные до этого изменения в данных. При этом следует учитывать, что в некоторых случаях может сложиться ситуация, когда полностью автоматически замену выполнить не удастся. В таких случаях можно применять комбинированный подход - выполнять замену автоматически, после чего корректировать данные вручную, после чего опять запускать автоматическую замену. Соответственно, при таком подходе использование транзакции будет невозможным.

Флажок "Отключить контроль записи при замене" устанавливает режим записи у объектов "Обмен данными" при замене ссылок.

Флажок "Удалять элементы после замены" устанавливает, что после замены всех ссылок необходимо удалять все "НЕ правильные элементы" из информационной базы.

ВАЖНО! Следует учитывать, что ссылки заменяются именно в том объекте, в котором они найдены. Например, если ссылка найдена в движениях документа, она будет заменена в наборе записей соответствующего регистра, сам документ при этом перепроводиться не будет! Кроме этого, необходимо помнить, что действия, выполняемые данной обработкой, являются необратимыми.


 

Проверено на следующих конфигурациях и релизах:

  • Бухгалтерия предприятия, редакция 3.0, релизы 3.0.156.21
  • Управление торговлей, редакция 11, релизы 11.5.18.46

См. также

Корректировка данных Зарплата Бухгалтер Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры бюджетного учреждения 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет НДФЛ Платные (руб)

Обработка исправляет технические ошибки по НДФЛ, взаиморасчетам с сотрудниками в 1С:ЗУП (1С:ЗКГУ) на начало года. Фактически все ошибки, которые проявляются в ведомостях на выплату, расчетных листках, при заполнении ведомостей на выплату и отчетах 6-НДФЛ и т.д. нужно начинать исправлять с начала расчетного года. Это позволит быть уверенными, что после завершения расчетов предыдущего года, начали работать с «чистого листа» без ошибочных остатков.

60000 руб.

06.10.2023    4835    38    20    

46

Поиск данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы 1C:Бухгалтерия Платные (руб)

Обработки помогут Вам легко и, главное, быстро (в 5 раз и быстрее штатной обработки 1С), выполнить поиск дублирующих данных в Ваших базах 1С на платформах 8.1-8.3. Это позволит уменьшить объем лишней информации в справочниках и документах, планах видов характеристик и др., упростит работу с данными пользователям. А так же можно, одним нажатием, узнать в каких ссылочных объектах есть вообще дубли! Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А так же обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! (Обновление от 27.11.2023, версия 6.12)

10800 руб.

14.05.2012    159918    341    253    

574

Закрытие периода Инструменты администратора БД Корректировка данных Бухгалтер Пользователь Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14400 руб.

29.04.2020    34341    109    152    

75

Корректировка данных Системный администратор Программист Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Незаменимая обработка для сопровождения конфигураций: ERP, УТ, КА. Позволяет вычистить многие ошибки в ключах аналитики, в ключевых справочниках конфигурации.

3600 руб.

10.02.2017    111832    673    175    

712

Корректировка данных Программист Пользователь Платформа 1С v8.3 1С:Управление торговлей 10 1С:Розница 2 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Управленческий учет Платные (руб)

Представьте, что есть система QR - кодирования, которая НЕ ТРЕБУЕТ изменения конфигурации, НЕ ТРЕБУЕТ изменения ни одной печатной формы для добавления QR-кода, включая внешние, НЕ ХРАНИТ данные штрихкодов и их связь, от чего база не "пухнет", ИМЕЕТ возможность закодировать в QR-коде произвольные данные параметров для последующей обработки полученных данных, УМЕЕТ прикреплять сканы, УМЕЕТ обработать считанный QR-код как ВЫ захотите. А также ХРАНИТ историю операций в обход базы для каждого пользователя в отдельности и УМЕЕТ работать с 2D - сканерами. А также автоматически распознавать отсканированные печатные формы (картинки или pdf-файлы) и выполнять заданные произвольные алгоритмы, в том числе прикрепление их к документам! Обновление 3.2 от 09.06.2024!

19200 руб.

26.08.2018    52775    16    61    

55

Закрытие периода Корректировка данных Программист Пользователь Платформа 1С v8.3 Система компоновки данных 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Управленческий учет Платные (руб)

Внешняя обработка, позволяющая произвольным образом заполнять документ "Корректировка регистров" Предназначена для использования в конфигурациях "Управление торговлей 11", "Управление небольшой фирмой", "ERP Управление предприятием", а также в других конфигурациях, в состав которых входит библиотека стандартных подсистем (БСП) версии 2.2+ и указанный выше документ.

2400 руб.

13.07.2015    51511    175    29    

127

Корректировка данных Бухгалтер Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бухгалтерский учет Налоговый учет Налог на прибыль Платные (руб)

Обработка служит для: выравнивания бухгалтерского и налогового учета на определенную дату по выбранным счетам; закрытия остатков по выбранным счетам; обнуления налогового учета (ПР, ВР также будут обнулены)

2880 руб.

05.05.2024    756    11    0    

7
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. iov 407 29.11.11 23:18 Сейчас в теме
(0) А множественные фильтры ? И множественные сравнения? Не ну плюс конечно но блин маложеж. ;)

4. DennyPhilord 65 30.11.11 11:59 Сейчас в теме
(1) iov, я планирую сделать, но решил выложить что есть.
2. Boroda 90 29.11.11 23:50 Сейчас в теме
"Данная обработка взята из Управление Торговлей 10.3..." И, как я понял, расширен функционал. Но адаптирована ли она под иные конфигурации, нежели Управление Торговлей? Будет ли она нормально работать, без фокусов, скажем, в Бухгалтерии или ЗУПе и пр.?
3. DennyPhilord 65 30.11.11 11:54 Сейчас в теме
(2) Boroda, она универсальна и подходит под любую конфигурацию, просто находилась в УТ.
6. lvictor58 138 30.11.11 17:11 Сейчас в теме
(2) Boroda, Я попытался запустить ее в для изменения Видов расчета (в ЗУП) так вот: в документах "Перенос данных" она замену не осилила!
7. Boroda 90 30.11.11 18:20 Сейчас в теме
(6) Жаль! У меня в Переносах данных тоже куча дублирующей фигни... Вообще "Переносы данных" - очень специфическая штука, там ссылки на всё, поэтому может и не пойти. Под них что-то специальное писать надо. А это скорее под "нормальные" докумены, справочники и пр. сделано. Ладно, скачаю, попробую потестировать на обычных дублях.
5. 1977 2 30.11.11 13:00 Сейчас в теме
А Комплексной Автоматизации не подойдёт?
8. Yashazz 4810 01.12.11 10:21 Сейчас в теме
БоянЪ. Уже бывали тут универсалки, заменяющие по ссылкам любых типов, и в т.ч. с красивыми отборами.
9. grum01 115 01.12.11 11:55 Сейчас в теме
Обработка стандартная, есть на любом диске ИТС и на сайте.
Че у нас теперь плюсы за любой пустой трафик раздают?
"-"
19. DennyPhilord 65 12.12.11 13:41 Сейчас в теме
(9) grum01,отличия от стандарта описаны в шапке
(17) tormozit, спс, нужно посмотреть))
(14) Lex1C, Не проводит - только заменяет
(13) deusss, )) время появится добавлю все необходимое
24. FReIM 10 16.12.11 14:19 Сейчас в теме
(19) Успехов в разработке! За обработку огромнейшее спасибо. Сэкономил уйму времени.
10. VitaliyPovod 01.12.11 16:54 Сейчас в теме
iov пишет:

(0) А множественные фильтры ? И множественные сравнения? Не ну плюс конечно но блин маложеж.


Полностью согласен! :)
11. 01.12.11 16:56 Сейчас в теме
Yashazz пишет:

БоянЪ. Уже бывали тут универсалки, заменяющие по ссылкам любых типов, и в т.ч. с красивыми отборами.


Если не трудно можно поподробнее?
12. пользователь 01.12.11 20:15
Сообщение было скрыто модератором.
...
13. deusss 02.12.11 07:19 Сейчас в теме
А скрины можно по качественнее. Я ничего разглядеть не могу, от этого не решаюсь скачать)
14. Lex1C 02.12.11 11:11 Сейчас в теме
А документы она не "перепроводит"? т.е. Затрагивает только движения, и учет "не собьется"? Объекты меняются во всех регистрах и ссылках справочников? Я писал такое под 7.7 ну там приходилось сильно извращаться в глобальном модуле, писать обработку проведения специальную - чтобы в движениях документа ничего не трогалось, кроме указанных ссылок...
15. оля 9 02.12.11 17:15 Сейчас в теме
В любом случае хорошая обработка
16. prestige 04.12.11 10:19 Сейчас в теме
Решила комментировать все потенциально интересные обработки чтобы не потерялись, а на всех пригодившихся в реале ставить плюс. Пока камменты.
17. tormozit 7263 06.12.11 19:05 Сейчас в теме
Похожая обработка "Поиск и замена дублей" есть в составе подсистемы "Инструменты разработчика" http://infostart.ru/public/15126/
21. ludai 16.12.11 10:18 Сейчас в теме
(17) tormozit, если я правильно понимаю, эта обработка работает как внешняя, а чтобы той воспользоваться, надо будет объединять свою конфигурацию с той подсистемой. Меня вот очень интересует возможность заменить везде ссылку на элемент плана видов расчета в ЗУП, но вот навешивать на ЗУП ради этого подсистему не хочется.
Надеюсь, эта обработка поможет.
23. FReIM 10 16.12.11 14:17 Сейчас в теме
Неплохо бы иметь возможность сортировать по выбираемому полю или представлению поля таблицу значений с найденными элементами.
И вопрос. Во всех ли регистрах заменяются ссылки? А то вроде как ссылки находит, но вот меняет ли? По крайней мере в регистрах сведений точно находит.
(17)
Поскольку работаю с не типовой конфигурацией - могу заверить, что данная обработка сканирует дерево метаданных конфигурации без привязок к конкретной конфигурации.
18. zif74 11 06.12.11 20:09 Сейчас в теме
Интересненько. Спасибо
20. FReIM 10 15.12.11 17:44 Сейчас в теме
Спасибо за обработку.
22. ludai 16.12.11 10:57 Сейчас в теме
Скачала, проверила. Ссылки в документах заменились, а в регистрах расчета нет:(((
25. ludai 16.12.11 15:30 Сейчас в теме
Стандартная обработка ПоискИЗаменаЗначений с диска ИТС отработала лучше((((
26. imshev 29.12.11 10:43 Сейчас в теме
ludai пишет:

Стандартная обработка ПоискИЗаменаЗначений с диска ИТС отработала лучше((((
и у меня так же ((((
27. Pashikuss 29.12.11 11:19 Сейчас в теме
ПоискИЗаменаЗначений однозначно лучше
28. Velostrannik 201 29.12.11 11:31 Сейчас в теме
С планами счетов не работает. По коду не могу найти.
{Форма.Форма.Форма(2115)}: Поле объекта не обнаружено (ТипКода)
Если Метаданные[ТипДанныхДляПоиска][мВидОбрабатываемогоСправочника].ТипКода = Метаданные.СвойстваОбъектов.ТипКодаСправочника.Число Тогда
29. blackjack666 16 12.03.12 22:57 Сейчас в теме
Какие-то проблемы с поиском дублей.
Мне нужно убрать лишние договоры. Делаю поиск по равному значению наименований с доп.группировками по владельцу и виду договора. Находит штук 6 (хотя их сотни), заменяю, запускаю заново - находит штук 5 и так далее. А если доп. группировку по владельцу не ставить, а поставить отбор, то нормально выдаёт все дублирующиеся договоры по выбранному контрагенту. Но вручную всех контрагентов пеербирать тоже не дело, их сотни.
30. blackjack666 16 12.03.12 23:11 Сейчас в теме
При использовании доп.группировок по ним нужна сортировка запроса.
31. materiy_boec 20.04.12 10:40 Сейчас в теме
а если задублировались документы а номера у них есть разные а есть одиннаковые, обработка найдёт все или определённые только?
32. alma-soft 11.05.12 16:07 Сейчас в теме
спасибо за работу автору, в качестве пожеланий мне например не хватает множественных фильтров, и как я понял нет нужной глубины просмотра, например если необходимо проверить на дубли не контрагента, а его договора.
33. H0SE 11.05.12 17:30 Сейчас в теме
Спасибо за обработку.Очень сильно помогла ))
34. ls300 5 26.06.13 20:05 Сейчас в теме
Плюсище автору, очень выручил!
35. lock73 106 15.07.13 16:41 Сейчас в теме
При использовании данной обработки были обнаружены некоторые проблемы при замене ссылок в ПВР. Выявленные проблемы решены в http://infostart.ru/public/194436/
36. chmv 15.07.13 16:44 Сейчас в теме
37. Ionmuerto 15.01.14 08:29 Сейчас в теме
Данная обработка Поиск и замена дублирующихся элементов справочников подходит под управляемые формы 1с Управление Торговлей 11.1?
38. DennyPhilord 65 15.01.14 13:39 Сейчас в теме
она же универсальна, запустишь клиент в толстом режиме и будет счастье))
39. sayanogorsk 05.05.14 16:02 Сейчас в теме
Обработка очень актуальна, особенно для ПВР. Но, к сожалению, не дорабатывает с некоторыми регистрами. Из-за чего в документе НЗРО замена происходит, а в движениях - не во всех, то же с документом премии, и, соответственно, документ Перенос данных вообще не обрабатывается.
Можно ли поправить?
40. DennyPhilord 65 05.05.14 17:03 Сейчас в теме
да, движения не обрабатываются, реквизиты объектов только. Я попробую модернизировать в ближайшее время..
41. ssn5810 26.06.17 20:03 Сейчас в теме
Да круто!!!! задумалась на 4-5% я подождал 6 мин и выключил !!!
Прикрепленные файлы:
42. DennyPhilord 65 27.06.17 11:09 Сейчас в теме
(41) может быть режим поиска изменить? вообще операция ресурсоёмкая
Оставьте свое сообщение