Картинка - Поиск и объединение дублей в справочниках: нечёткий поиск, предпросмотр ссылок, откат

Поиск и объединение дублей в справочниках: нечёткий поиск, предпросмотр ссылок, откат

Находит дубли, которые типовая обработка не видит: «Болт М8х40 ГОСТ 7798-70» и «Болт М8*40 гост 7798-70», «ООО "Ромашка"» и «Ромашка ООО», «Иванов Пётр» и «Иванов Петр». Перед объединением показывает все места использования, а после - умеет вернуть как было. Один файл, конфигурация не меняется. Поиск выполняет встроенная скомпилированная библиотека.

Арт.: 2804609

poisk-dublej-1.png
poisk-dublej-2.png
poisk-dublej-3.png
poisk-dublej-4.png
poisk-dublej-5.png
poisk-dublej-1.png
poisk-dublej-2.png
poisk-dublej-3.png
poisk-dublej-4.png
poisk-dublej-5.png
Лицензии

6 100 руб.

Техподдержка

3 000 руб.

Поиск и безопасное объединение дублей в 1С

Дубли в справочниках не выглядят одинаково - поэтому их и не находят.

Номенклатуру и контрагентов заводят разные люди: с разными кавычками, порядком слов, регистром и знаками между размерами. Типовой «Поиск и удаление дублей» сравнивает реквизиты на точное совпадение и такие пары пропускает. Эта обработка сравнивает наименования нечётко - и при этом не сливает то, что только похоже.

01

Поиск

Точные ключи, отбор кандидатов и нечёткое сравнение наименований.

02

Проверка

Все места использования видны до объединения группы.

03

Объединение

Дубли помечаются на удаление, а выполненное объединение можно откатить.

 

Как обработка видит дубли

В справочнике Точное сравнение Эта обработка
Болт М8х40 ГОСТ 7798-70 / Болт М8*40 гост 7798-70 не найдёт найдёт
ООО "Ромашка" / Ромашка ООО не найдёт найдёт
Кабель ВВГнг 3х2,5 / Кабель ВВГ-нг 3*2.5 не найдёт найдёт
Иванов Пётр ИП / ИП Иванов Петр не найдёт найдёт
Алюминий / Aлюминий (латинская «A») не найдёт найдёт
Болт М8х40 / Болт М8х50 - не объединит: это разные типоразмеры

Последняя строка важнее первых пяти. Похожие строки с разными числами - разные позиции, и инструмент, который этого не понимает, выдаёт горы ложных групп.

 

Три причины купить именно её

Вы видите, что изменится, до того как оно изменится.

По каждой группе обработка показывает все места использования: документы, справочники, записи регистров. Проведённые документы выделены красным - замена ссылки в них меняет учётные данные. Объединить группу, не открыв этот список, нельзя: кнопка просто не сработает.

Объединение можно откатить.

Каждое объединение пишется в журнал. По журналу ссылки возвращаются на место, пометка удаления снимается, перенесённые реквизиты убираются. Там, где значение после объединения уже поправили руками, откат ничего не трогает и пишет об этом отдельной строкой.

Она ничего не удаляет и по умолчанию ничего не меняет.

Режим «только отчёт» включается при каждом открытии. Дубли помечаются на удаление - удаляете вы, штатными средствами, когда убедились.

 

Как ищет

Три шага. Сначала точные ключи: ИНН с КПП у контрагентов, артикул у номенклатуры, наименование после приведения к общему виду. Затем отбор кандидатов, чтобы не сравнивать каждый элемент с каждым. Затем оценка сходства пары со штрафом за разошедшиеся числа.

Сам поиск выполняет скомпилированная библиотека, встроенная в файл обработки: отдельно её ставить не нужно. На выборке из замера ниже (1540 строк) поиск занимает доли секунды.

01

Точные ключи

ИНН с КПП у контрагентов, артикул у номенклатуры, наименование после приведения к общему виду.

02

Отбор кандидатов

Чтобы не сравнивать каждый элемент с каждым.

03

Оценка сходства

С оценкой сходства пары со штрафом за разошедшиеся числа.


Пустой ИНН и заглушки вроде 0000000000 ключом не считаются - иначе сотня карточек без ИНН слилась бы в одну «уверенную» группу. Настройки для номенклатуры и контрагентов разные, обработка выбирает их сама по справочнику.

 

Сколько находит

Замер на размеченной синтетической выборке: 500 позиций и их искажённые копии, 1540 строк номенклатуры и 1368 строк контрагентов. Считается по парам.

Способ Номенклатура Контрагенты
Точное совпадение наименования 0,5% 3,5%
То же с приведением регистра и пробелов 4,9% 7,7%
То же плюс совпадение артикула / ИНН 18,3% 22,2%
Эта обработка 54,3% при точности 98,1% 53,9% при точности 90,0%

Цифры получены на генераторе, а не на живой базе. Порог выбран так, чтобы лучше пропустить дубль, чем слить лишнее: пропущенный вы просто не увидите, а ошибочно объединённые позиции пришлось бы восстанавливать. Порог можно менять.

 

Что делает при объединении

1

Переносит на главный элемент пустые у него реквизиты и табличные части.

2

Заменяет ссылки в документах и справочниках, у подчинённых справочников, в движениях документов и в записях регистров сведений.

3

В конфигурациях с БСП замену выполняет библиотека.

4

Предопределённые элементы, группы и элементы с разными владельцами не объединяет.

5

Если заменить удалось не всё, объединение останавливается, дубль не помечается, а в логе перечислено, что осталось.

Проверено на демо-базе «Бухгалтерии предприятия» 3.0: позиция номенклатуры с 1620 местами использования объединена за 6 минут, откат вернул все 1620 за 3,5 минуты. Это время самой библиотеки - она перезаписывает каждый документ.

 

Пакетное объединение

Для очевидных групп.

Сначала подбор: он ничего не меняет и показывает, что войдёт в пакет, а что нет - с причиной по каждой группе. Запустить пакет можно только после подбора.

По умолчанию в пакет не идут группы с оценкой ниже 0,95, группы больше пяти элементов, группы, где вы отвергли хотя бы одну пару, и группы, стоящие в проведённых документах.

 

Ещё

Отбор по группе справочника - чтобы разбирать большой справочник по частям.

«Это не дубли»: отмеченная группа больше не показывается.

Отчёт со сворачиваемыми группами и выгрузка в Excel - показать заказчику, что будет сделано, до того как это сделано.

 

Установка

Один файл внешней обработки. Открывается через «Файл - Открыть» под пользователем с правом открывать внешние обработки. Конфигурация не меняется и с поддержки не снимается.

Библиотека поиска лежит внутри файла и подключается сама. Поддерживаются сервер 1С и файловая база под Windows (x86 и x64) и сервер 1С под Linux x64.

Технические требования

Платформа «1С:Предприятие» 8.3.15 и выше, режим управляемого приложения. Разработка и проверка - на 8.5.1.1302; на более ранних релизах платформы работа не проверялась.
Код закрыт.

Конфигурации на управляемых формах. Проверено на демонстрационной базе «Бухгалтерии предприятия» 3.0; в конфигурациях с БСП замену ссылок выполняет библиотека конфигурации.

Файловый и клиент-серверный варианты. Библиотека поиска выполняется на стороне сервера 1С: Windows x86 и x64, Linux x64.

Для открытия обработки нужно право работы с внешними обработками.

 

Состав поставки и лицензирование

Один файл внешней обработки. Библиотека поиска входит в него макетом и подключается сама - отдельно ставить ничего не нужно.

Файл передается покупателю через личный кабинет Инфостарт сразу после оплаты.

Условия использования - по лицензионному договору Инфостарт. Технических ограничений в обработке нет: онлайн-активации, аппаратных ключей и привязки к информационной базе не предусмотрено.

Бесплатные обновления - 12 месяцев с даты покупки, бесплатная техническая поддержка - 1 месяц; отдельная позиция «Техническая поддержка» продлевает ее на 3 месяца.

 

Ограничения - честно

  • Управляемые формы. На обычных формах не работает.
  • В облачных базах (1С:Фреш) и в безопасном режиме не работает: там платформа запрещает подключать внешние компоненты.
  • Проверено на платформе 8.5.1 под Windows x64. На сервере 1С под Linux и на 32-разрядной платформе библиотека собрана, но на живой установке не проверялась.
  • Код алгоритма поиска закрыт: он в библиотеке. Модули объединения, отката, пакета и отчёта - открытым текстом.
  • Поиск и пакетное объединение выполняются прямо в форме: окно занято, пока идёт работа. Объединение элемента, на который ссылается тысяча документов, занимает минуты.
  • Откат не вернёт ссылки на элемент, удалённый из базы физически, и ссылки внутри хранилищ значений - их не находит сам платформенный поиск ссылок.
  • Служебные регистры, которые конфигурация пересчитывает сама, откат не трогает.
  • Точный ключ - ИНН с КПП или артикул; штрихкоды из регистров сведений ключом не берутся.
  • Дубли, лежащие в разных группах справочника, при отборе по группе не находятся.
  • На справочниках в десятки тысяч позиций скорость не измерялась: начните с отбора по группе.

 

Техническая поддержка

Бесплатный период техподдержки составляет 1 месяц со дня покупки.

Также после приобретения вы получаете 12 месяцев бесплатных обновлений.

В случае возникновения ошибок рекомендуем ознакомиться с описанием и документацией программы. Если не нашли решения своей проблемы в документации или решение не помогает - тогда создайте обращение по инструкции ниже:

1

Создать обращение (тикет)

Создать тикет

2

Заполнить данные

Контакты, номер заказа, подробное описание вопроса
Напишите порядок ваших действий с программой, приложите видео/скриншоты/отчеты об ошибке
Точную конфигурацию 1С, версии платформы, инструмента, СУБД

3

Дождаться ответа

Время ответа до 24 часов в рабочее время

Техническая поддержка предоставляется исключительно в рамках переписки по обращению. В некоторых случаях для диагностики ошибок и/или вопросов, связанных с особенностями использования продукта в информационных базах покупателя, может потребоваться дополнительная платная диагностика с организацией удаленного доступа к информационной базе. Стоимость уточняется индивидуально.

 

Остались вопросы?

Для получения дополнительной информации и помощи в настройке модуля под нужды вашего бизнеса - оставьте заявку

Демоверсия Feedback Pro

 

Проверено на следующих конфигурациях и релизах:

  • Бухгалтерия предприятия, редакция 3.0, релизы 3.0.205.22
Статистика:
Просмотры 160
Загрузки 0
Рейтинг 1
Создание 06.10.26 14:34
Обновление 05.11.26 00:13
№ Публикации 2804609
Характеристики:
Теги

дубли поиск дублей объединение дублей нечёткий поиск номенклатура контрагенты справочники замена ссылок откат чистка данных

Рубрики Чистка данных
Кому Пользователь
Тип файла Внешняя обработка (ert,epf)
Платформа 1С 8.5
Конфигурация 1С:Бухгалтерия 3.0
Операционная система Не имеет значения
Страна Россия
Отрасль Не имеет значения
Налоги Не имеет значения
Вид учета Не имеет значения
Доступ к файлу Платные (руб)
Код открыт Нет

См. также

Database Compression Tool: Инструмент для свертки и сжатия баз данных 1С

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы, интерфейс 8.5. Може...

24900 руб.

Анонимизатор базы данных PRO

Обезличивает копию рабочей базы 1С перед передачей наружу и возвращает настоящие данные обратно, когда база вернулась. Это обратимая псевдонимизация: соответствия «исходное - псевдоним» пишутся в отдельный зашифрованный датасет, который ост...

42700 руб.

Алгоритм перехода на учет без серий для УТ11 или КА 2 (отказ от серий, удаление серий, отмена серий, без серий)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в ...

5084 руб.

Анализатор данных (включая битые ссылки)

Анализатор данных (включая битые ссылки) — универсальная обработка 1С для быстрого поиска всех мест использования объекта, анализа битых ссылок, реквизитов и типов данных. Работает на платформах 8.2–8.5, с типовыми и самописными конфигураци...

18300 руб.

Универсальная очистка данных - удаление организаций, регистров сведений, универсальное сжатие базы, удаление документов по фи...

Решение представляет собой набор из 6 обработок для 1С по удалению организаций и справочников из базы по фильтрам, документов по фильтрам, универсальное сжатие данных, очистка битых движений регистратора, удаление устаревших регистров сведе...

23999 руб.

Очистка кэша пользователя в любых конфигурациях 1С

Часто в 1С сбиваются настройки пользователя, в результате чего невозможно выполнять привычные операции. Кардинальным решением этой проблемы является очистка пользовательского кэша, что и делает данная обработка. Программа работает в любой ...

5084 руб.

Удаление позиций номенклатуры с нулевыми остатками в базе 1С:БП 3.0

Обработка позволяет пометить на удаление номенклатуру с нулевыми остатками на определенном складе и на определенную дату в конфигурации 1С:Бухгалтерия предприятия 3.0.

5124 руб.

Колба Полная колба