Менеджер поиска и удаления дублей: Нечеткий поиск, полный аудит и безопасная замена ссылок

05.05.26

База данных - Чистка данных

Мощный инструмент для поиска и удаления дублей в 1С. Нечеткий поиск (Левенштейн), экспресс-аудит всей базы, автоматическое определение главного элемента и безопасная транзакционная замена ссылок (включая табличные части и независимые регистры). Наведите порядок в данных за минуты, а не дни!

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
Менеджер поиска и удаления дублей: Нечеткий поиск, полный аудит и безопасная замена ссылок
.epf 35,12Kb
6 2 500 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

Вы можете заказать платную доработку или адаптацию этой разработки под вашу конфигурацию на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

Менеджер поиска и удаления дублей: Универсальный скальпель для хирургической чистки баз 1С

 

 

Дубли в учётной системе — это раковая опухоль. Это не просто «лишние строчки», это искажённые отчёты, потерянные деньги, раздутая база и бесконечная путаница. Представьте: один контрагент заведён пять раз под чуть разными именами, номенклатура дублируется десятками, а в документах ссылки ведут на «неправильные» элементы. Ручная чистка отнимает дни, а любая ошибка при замене делает данные неконсистентными навсегда.

Эта обработка создана, чтобы навсегда закрыть вопрос дублей. Она не просто ищет повторы — она делает это умно, безопасно и всеобъемлюще, от первичного аудита всей базы до финальной замены ссылок с автоматическим определением главного элемента. Вам остаётся лишь указать, что искать, и наблюдать, как система наводит порядок.

 

Дерево метаданных — Пульт управления базой

 

Первое, что вы видите — интеллектуальное дерево всех объектов: справочники, документы, ПВХ, планы счетов, виды расчета, бизнес-процессы, задачи и планы обмена.

  • Мгновенное понимание масштаба: Дерево использует «ленивую» загрузку (Lazy Load) — никаких зависаний на старте! При раскрытии ветки обработка порционным UNION-запросом мгновенно считает количество элементов.

 

 

  • Живой счетчик дублей: После поиска дерево метаданных преображается — прямо рядом с объектами загорается количество найденных групп дублей. Данные суммируются вверх по иерархии: вы сразу видите, что в "Справочниках" 150 групп, из которых 142 — в "Номенклатуре". Проблемные места бросаются в глаза!

 

 

  • Пакетная установка отбора: Команды «Снять/Установить флажки по полю» позволяют мгновенно отметить все справочники или документы. Не нужно вручную щёлкать сотни строк.
  • Быстрый выбор реквизитов: Если лень настраивать ключи для всех объектов, есть отдельная команда позволяет одной кнопкой отметить поиск по Наименованию, Коду, Номеру или Дате сразу во всех объектах дерева.

 

 

Аудит базы в один клик: Кнопка паники для директора

Не хотите копаться в настройках? Нужен срочный санитарный аудит? Режим Аудит базы — это экспресс-проверка по стандартным полям сразу всех типов объектов.

 

 

 

 

Отмечаете, что искать (любая комбинация):

  • Наименование / Код — пробегается по всем Справочникам, ПВХ, Планам счетов, ПВР,Бизнес-процессы и Задачи.
  • Номер / Дата — проверяет все Документы

Обработка сама сформирует нужные критерии с учётом реального наличия полей (не везде есть код или номер). Вы получаете полную картину дублирования, Ресурсоемкая операция! Идеальный первый шаг при знакомстве с чужой или запущенной базой.

 

Гибкая настройка: От шапки до глубоких табличных частей

Внутри каждого объекта раскрываются все реквизиты: стандартные и пользовательские, а также реквизиты табличных частей. Вы отмечаете галочками поля, комбинация которых должна считаться уникальной.

  • Ищите по паре «Наименование + ИНН»? Легко.
  • Дубли определяются составом табличной части, а не шапкой? Без проблем, отмечаем колонки ТЧ.
  • Точный поиск группирует записи со 100% совпадением всех отмеченных полей. Жёстко и надёжно.

 

 

Нечёткий поиск и Очистка от шума: Магия алгоритмов

Самая мощная часть инструмента, незаменимая при опечатках, перестановках слов и сокращениях. Включается одним флажком «НечеткийПоискВключен»:

 

 

  • Процент сходства(по умолчанию 80%) — порог схожести. 95% — почти идентично (ловит опечатки), 70% — ловит серьёзные искажения.
  • Разделитель строк — символы, по которым текст бьётся на слова перед сравнением (по умолчанию: пробел, запятая, точка с запятой, тире, подчёркивание).
  • Как работает магия: Текст очищается от мусора, оставшиеся слова сортируются по алфавиту. Вычисляется расстояние Левенштейна. В итоге «Иванов Иван Иванович» и «Иванович Иван Иванов» — это 100% дубль! «СтройМаш» и «СтройМаш-инвест» (при разрешённом дефисе) тоже попадут в одну группу.

 

 

 

Флажок «Очищать знаки» — умная предобработка: В реальных базах строки пестрят кавычками-ёлочками, двойными пробелами, НПП. При включении этой опции система сносит всё лишнее: схлопывает пробелы, удаляет спецсимволы, приводит к нижнему регистру. «ОАО “Свет”» и «ОАО Свет» становятся идентичными! Фактические данные в базе не меняются — очистка работает только на время поиска.

Флажок «НЕ Пометка удаления»: Позволяет исключить из поиска весь "мусор", чтобы не тратить время на элементы, которые и так пойдут под нож.

 

Дерево дублей — Визуализация хаоса

Результат поиска формируется во втором дереве, где всё разложено по полочкам:

  • Каждая группа — набор ссылок, признанных идентичными.
  • Для каждого элемента сразу показано количество мест использования. Это ключевая метрика для выбора главного.

 

 

Каждое место использования можно открыть и посмотреть

 

 

Определение главных ссылок: Кто останется в базе?

Кнопка Определить главные запускает интеллектуальный анализ:

 

 

  1. Для каждого дубля подсчитывается, сколько раз на него ссылаются другие объекты базы.
  2. Главным назначается элемент с максимальным числом вхождений — тот, что наиболее "прижился", Максимальное вхождение ссылок в другие объекты.

Все некорректные дубли будут заменены на этот главный элемент. Конечно, вы всегда можете вручную снять/поставить флажок «Главный», если не согласны с алгоритмом.

 

Таблица мест использования: Полная прозрачность

При выделении любого дубля подгружается таблица его вхождений: кто именно на него ссылается, с удобным представлением. Двойной клик по строке открывает объект-источник! Вы всегда знаете, куда «прошиты» дубли, и можете оценить последствия замены до её выполнения.

 

 

Замена ссылок — Бесшовная хирургия без побочных эффектов

Когда главные элементы определены, нажатие «Заменить ссылки» запускает каскадный процесс небывалой глубины. Обработка переписывает ВСЮ базу:

 

 

  1. Реквизиты шапки и табличных частей справочников и документов.
  2. Движения документов по всем регистрам (накопления, сведений, бухгалтерии, расчёта) — аккуратная подмена в измерениях, ресурсах и реквизитах.
  3. Независимые регистры сведений (в т.ч. периодические) — уникальная фича! Обработка удаляет старую запись и создаёт новую с исправленными ссылками. А если новая запись не записывается (например, из-за уникальности), она автоматически откатывает старую, исключая потерю данных!
  4. Вызов стандартного алгоритма замены БСП для дополнительного охвата хвостов.

 

 Действия после замены и Пуленепробиваемая безопасность

 

 

Что делать с побеждёнными дублями? (Действие с дублем):

  • Ничего — оставить как есть, ссылки уже переведены.
  • Пометить на удаление — заменённые дубли помечаются на удаление с отключением бизнес-логики (ОбменДанными.Загрузка = Истина), что позволяет безопасно пройти контроль целостности.
  • Удалить — физическое удаление объектов из базы. Радикально и необратимо.

Безопасность через транзакции: Флажок «В транзакции» оборачивает все изменения в одну транзакцию. Если на любом этапе возникнет ошибка — всё откатится! Вы не рискуете получить полусломанную базу.

Все операции записи выполняются с флагом ОбменДанными.Загрузка = Истина — это отключает лишние проверки, ускоряет процесс и предотвращает побочные эффекты. Ошибки перехватываются поштучно — один неудавшийся объект не остановит всю замену.

 

Эргономика и удобство: Создано для людей

  • Сохранение контекста: При поиске обработка запоминает, какие узлы были развёрнуты, и восстанавливает отображение — вы не теряете навигацию.
  • Обратная связь: Все сообщения о ходе выполнения, ошибках и количестве заменённых ссылок выводятся в служебные сообщения.

 Экосистема инструментов: Полный арсенал администратора 1С

Удаление дублей — это лишь один из этапов оздоровления базы. Чтобы вы могли решать любые задачи администрирования, разработки и чистки данных в одном ключе, я создал комплекс взаимосвязанных инструментов. Если вам понравился Менеджер дублей, обязательно оцените и другие решения:

Хирургия данных и аудит:

  • Редактор объекта информационной базы — когда нужно не просто заменить ссылку, а вручную, точечно подправить реквизит, обойти блокировки или посмотреть внутренности объекта минуя стандартные формы.
  • Менеджер удаления битых ссылок — идеальный партнер к менеджеру дублей! После замены и удаления объектов часто остаются «битые» ссылки (на несуществующие объекты). Этот инструмент найдет и элегантно очистит все хвосты.

Безопасность и контроль:

  • Бекап менеджерзолотое правило: перед любым массовым удалением дублей или заменой ссылок делайте бэкап! Этот менеджер автоматизирует создание копий по расписанию или перед опасными операциями, чтобы вы могли откатиться в любой момент.

Инновации и ИИ:

  • Менеджер передачи данных в браузерные ИИ — прокачайте свою базу! Передавайте данные из 1С прямо в ChatGPT, Claude или другие нейросети для анализа, генерации текстов, классификации номенклатуры или поиска аномалий.
  • Чат-бот в 1С — встроенный искусственный интеллект прямо в интерфейсе 1С. Задавайте вопросы базе данных, просите написать запрос или найти ошибку в коде, не выходя из конфигуратора или предприятия.

Повседневная эффективность:

  • Менеджер создания на основании любых документов — пробили стену невозможности связать документы? Теперь любой документ можно сделать основанием для любого другого, независимо от типовой логики конфигурации.
  • Сравнение табличных документов — мощный инструмент для сверки актов, накладных или любых отчетов. Находит мельчайшие расхождения в цифрах и тексте, экономя часы на ручной контроль.
  • Канбан-доска для идей — удобное визуальное управление задачами, багами и идеями прямо в 1С. Перетаскивайте карточки, группируйте этапы — всё как в Trello, но под полным контролем внутри вашей базы.

 

Что вы получаете в итоге?

Универсальную «машину для вычищения дублей», которая экономит десятки часов, исключает человеческий фактор и делает базу прозрачной и достоверной. А вместе с экосистемой инструментов — полный контроль над данными 1С!

Скачайте обработку прямо сейчас, запустите аудит всей базы за пару минут и сами увидите, насколько чище могут стать ваши данные!

Проверено на следующих конфигурациях и релизах:

  • 1С:Библиотека стандартных подсистем, редакция 3.1, релизы 3.1.11.466
  • Управление торговлей, редакция 11, релизы 11.5.26.113

Вступайте в нашу телеграмм-группу Инфостарт

дубли поиск дублей удаление дублей замена ссылок нечеткий поиск алгоритм Левенштейна аудит базы очистка базы 1С дубли справочников дубли документов обработка 1С места использования БСП заменаСсылок табличные части метаданные поиск похожих чистка данных дубликаты транзакция главный элемент

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

24900 руб.

20.08.2024    66540    353    163    

309

Мастера заполнения Поиск данных Инструментарий разработчика Подбор и обработка объектов 1С 8.3 1С 8.5 Платные (руб)

Infostart MagicInput улучшает подбор в полях ввода 1С: ищет по любой части названия и по нескольким ключевым фрагментам, распознаёт ввод в другой раскладке и показывает иконки/статусы объектов прямо в списке. Поддерживает вставку навигационной ссылки/представления документа для автоподбора; для разработчиков доступны поиск по GUID и полному имени предопределённого. Работает в управляемых формах и подключается в большинстве конфигураций 1С 8.3/8.5.

6000 руб.

25.02.2026    3307    12    1    

14

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3, УНФ, Розница 3.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

6100 руб.

16.03.2015    280871    255    83    

289

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 1.6 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 26.02.2026, версия 4.5, 4.6.0)

14640 руб.

22.02.2013    146285    291    153    

459

Файловый обмен (TXT, XML, DBF), FTP Поиск данных Инструменты администратора БД Корректировка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Данная обработка позволит Вам легко и просто, а главное - быстро, выполнить сравнение данных между ЛЮБЫМИ базами (и РИБ, по правилам конвертаций) по контрольным суммам выбранных объектов баз 1С, работающих на платформах 8.3 и выше. Удобный и понятный интерфейс в виде "мастера". Высокая скорость сравнения достигается за счет специального алгоритма расчета контрольной суммы объекта/записи и сравнения по данным суммам объектов 2х баз через файл. Имеется возможность выбора реквизитов, по которым система будет сравнивать объекты. Сравнение количества записей в движениях документов, возможность сравнивать данные по правилам конвертации и не только! Выбор объектов конфигурации для КАЖДОГО узла в отдельности с индивидуальным отбором для каждого объекта конфигурации, работа с FTP, сохранение или загрузка настроек, сохранение или загрузка результата сравнения, регистрация на обмен объекта и его движений. (Обновление от 12.11.2024, версия 2.2-2.5)

24400 руб.

27.10.2017    45736    31    13    

49

Чистка данных Инструменты администратора БД Администрирование 1С 8.3 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Решение представляет собой набор из 6 обработок для 1С по удалению организаций и справочников из базы по фильтрам, документов по фильтрам, универсальное сжатие данных, очистка битых движений регистратора, удаление устаревших регистров сведений, удаление устаревших документов "Электронное письмо входящее" и "Электронное письмо исходящее"

23999 руб.

20.02.2026    1146    1    0    

4

Поиск данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 3.0 1С:Зарплата и Управление Персоналом 3.x 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Обработки помогут Вам легко и, главное, быстро (в 5 раз и быстрее штатной обработки 1С), выполнить поиск дублирующих данных в Ваших базах 1С на платформах 8.1-8.3. Это позволит уменьшить объем лишней информации в справочниках и документах, планах видов характеристик и др., упростит работу с данными пользователям. А так же можно, одним нажатием, узнать в каких ссылочных объектах есть вообще дубли! Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. А так же обновления Вы получаете бесплатно в течение года с момента приобретения данных обработок! (Обновление от 27.11.2023, версия 6.12)

13420 руб.

14.05.2012    169068    358    253    

589
Для отправки сообщения требуется регистрация/авторизация