Поиск и удаление дублей с увеличенным порогом максимального числа дублей [расширение]

02.10.19

База данных - Чистка данных

+7 –
>
  • карт.jpg
  • 8SbABkaTED.gif
Возможно, кому нибудь пригодится и будет полезным тем, кто столкнулся с проблемой, что обработка по поиску и удалению дублей при обработке данных выдала сообщение "Найдено слишком много элементов. Уточните критерии поиска дублей." (т.е. достигнуто максимальное число найденных дублей, установленное в обработке).

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
ПоискИУдалениеДублей[Расширение]
.cfe 31,90Kb
148 2 500 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

Вы можете заказать платную доработку или адаптацию этой разработки под вашу конфигурацию на «Бирже заказов».

  • 0% комиссии — оплата напрямую исполнителю;
  • Исполнители любого масштаба — от отдельных специалистов до команд под проект;
  • Прямой обмен контактами между заказчиком и исполнителем;
  • Безопасная сделка — при необходимости;
  • Рейтинги, кейсы и прозрачная система откликов.

Стандартный механизм поиска и удаления дублей в большинстве конфигураций на основе БСП имеет верхний предел в 1500 на максимальное число найденных дублей, превысив которое выдается сообщение "Найдено слишком много элементов. Уточните критерии поиска дублей.". Можно уточнить критерии поиска и обрабатывать данные частями, можно внести изменения в код обработки по поиску и удалению дублей, вынести во внешнюю обработку и доработать её. Я вынес это в расширение, перехватываю стандартную функцию и меняю в ней параметр максимального числа дублей. В расширении этот верхний предел увеличен до 16000 (больше делать не стал, т.к., возможно, будет недостаточно ресурсов ПК, недостаточно памяти для обработки большего объёма данных. При желании можете его увеличить самостоятельно).

Добавляем расширение через Администрирование- Печатные формы, отчёты и обработки - Расширения. После добавления расширения, перезапускаем программу для вступления изменений в силу. 

Важно: При установки расширения обязательно снимаем флаг "Безопасный режим", как показано на анимации, т.к. в безопасном режиме к серверным процедурам / функциями расширение применяться не будет.

Разрабатывалось и проверялась работоспособность на Бухгалтерии ред. (3.0.67.63). Управление торговлей (11.4.6.207). Комплексная автоматизация (2.4.6.207). Управление нашей фирмой (1.6.16.132). Платформа (8.3.13.1513)

Не требует снятия конфигурации с поддержки.

 

Вступайте в нашу телеграмм-группу Инфостарт

Поиск удаление дубли БП УТ КА УНФ расширение поиск ограничения

+7 –

См. также

Database Compression Tool: Инструмент для свертки и сжатия баз данных 1С

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы, формы интерфейса 8.5. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

24900 руб.

20.08.2024    71314    365    170    

317
Выборочное удаление организаций из информационных баз 1С (управляемые формы), с удалением всех ссылающихся на эти организации данных

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Update 2026: добавили многопоточное удаление данных по организациям. Ускорение х6 по сравнению с однопоточным алгоритмом! Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3, УНФ, Розница 3.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

6100 руб.

16.03.2015    281289    262    84    

294
Удаление данных с отбором и построением дерева ссылок в базах 1С 8.1-8.3 УТ 11/10.3, БП 2/3, ЗУП 2.5/3, КА 1.1/2, УНФ 1.6/3.0, Розница 2/3

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 1.6 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 26.02.2026, версия 4.5, 4.6.0)

14640 руб.

22.02.2013    147025    291    155    

459
Универсальный редактор регистров (Управляемые формы)

Корректировка данных Чистка данных Разработка Инструментарий разработчика 1С:Предприятие 8 1C:Бухгалтерия 1C:ERP 1С:ЗУП 1С:КА 1С:УНФ 1С:УТ 1С:ДО Отраслевые 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 Россия Платные (руб)

Универсальная обработка для быстрой и эффективной корректировки записей любых регистров сведений, накопления и бухгалтерии

12200 руб.

25.11.2025    2963    6    0    

7
Универсальная очистка данных - удаление организаций, регистров сведений, универсальное сжатие базы, удаление документов по фильтрам

Чистка данных Инструменты администратора БД Администрирование 1С 8.3 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Решение представляет собой набор из 6 обработок для 1С по удалению организаций и справочников из базы по фильтрам, документов по фильтрам, универсальное сжатие данных, очистка битых движений регистратора, удаление устаревших регистров сведений, удаление устаревших документов "Электронное письмо входящее" и "Электронное письмо исходящее"

23999 руб.

20.02.2026    1386    1    0    

4
Универсальное удаление данных из базы 1С любые конфигурации на управляемых формах

Чистка данных Программист Пользователь 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С на управляемых формах например БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и др. Это могут быть неактуальные организации или другие перечни объектов. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся. Объекты нужно выбирать вручную и после этого запускать команду удаления. Будут удалены все ссылки на них.

5000 руб.

28.11.2019    30687    82    21    

97
Убийца зависимостей 1С: менеджер удаления, очистки табличных частей, замены и пометки объектов в один клик с каскадной очисткой, бекапами и полной безопасностью базы (Управляемые формы, Обычный интерфейс)

Чистка данных Инструменты администратора БД Системный администратор Программист Бизнес-аналитик Пользователь 1С 8.3 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Библиотека стандартных подсистем 1С:Франчайзи, автоматизация бизнеса Абонемент ($m)

Хочешь выборочно удалить одну организацию, тестовую номенклатуру или «мусорного» контрагента, любую ссылку - без ручного поиска ссылок и часовых разборок зависимостей? Этот инструмент сам строит дерево связей, каскадно чистит с "глубоким поиском" документы, справочники, пвх, любые ссылки, регистры, движения в так же делает резервную копию и за пару минут оставляет базу чистой и полностью работоспособной (Управляемые формы, обычный интерфейс)

1 стартмани

03.02.2026    3031    111    war41k    0    

26
Универсальная очистка базы для любых конфигураций на управляемых формах

Чистка данных Системный администратор Программист 1С:Предприятие 8 1С:Бухгалтерия 3.0 1С:Управление производственным предприятием 1С:ERP Управление предприятием 2 1С:Управление холдингом 1С:Зарплата и кадры государственного учреждения 3 1С:Зарплата и Управление Персоналом 3.x 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 11 1С:Розница 2 Абонемент ($m)

Универсальный инструмент для очистки базы. Работает как на конфигурациях на основе БСП, так и самописных. Позволяет выбрать данные, отобразить форму списка, увидеть структуру метаданных, очистить базу применяя при необходимости условия. Удаление производится по выбранным элементам в таблице значений. Наложение условий позволяет удалить документы по выбранной организации.

1 стартмани

25.12.2023    14252    318    WeterSoft    7    

16
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. zeegin 218 19.02.19 20:58 Сейчас в теме
В 3.0.2 БСП это не блокирующее предупреждение. Там показывается к замене первые 1500 найденных.

С б`ольшим количеством слишком больш`ое потребление памяти.
+ – Ответить
2. foxsis 114 19.02.19 21:42 Сейчас в теме
(1) Здравствуйте. Поиск при достижении установленного порога останавливается, что доставляет порой неудобства. Насчёт потребления памяти согласен, в тексте к публикации это написал. В установленном пороге 16000 у меня отработало более менее нормально, выше делать не стал, но об этом опять же написал. Варианты по решению проблемы так же описаны в тексте публикации, я с помощью расширения предлагаю один из вариантов.
+ – Ответить
3. zeegin 218 19.02.19 23:23 Сейчас в теме
(2) Поиск при достижении установленного порога останавливается, что доставляет порой неудобства.
Говорю же - это в БСП 3.0.1 он останавливается, в 3.0.2 он предлагает заменить первые 1500 дублей. См скриншот.
По перечисленным у Вас конфигурациям везде стоит 3.0.1. 3.0.2 пока используется только в последних УНФ и БГУ, но остальные тоже скоро на нее перейдут.
Прикрепленные файлы:
+ – Ответить
4. foxsis 114 20.02.19 08:23 Сейчас в теме
(3)БСП 3.0.2 не смотрел, смотрел только описанные конфигурации, в них собственно и столкнулся с данным ограничением.Спасибо за новость по поводу БСП 3.02. То что в БСП 3.0.2 доработали обработку поиска и удаления дублей это очень даже хорошо.
Пока это ограничение актуально во многих конфигурациях, поэтому думаю кому нибудь решение данной проблемы пока ещё будет актуальным.
По поводу УНФ, посмотрел версии библиотек в последнем релизе, там написано что "СтандартныеПодсистемы 3.0.1.342". релиз УНФ (1.6.16.184), в тестовом аналогично.
+ – Ответить
5. ret 64 20.02.19 15:19 Сейчас в теме
(2) 25000, 40000 и 50000 ставил ограничение. Все нормально прокатывало. но реально может долго искать, по несколько часов. По "нехватает памяти" ни разу не вылетала.
+ – Ответить
6. foxsis 114 20.02.19 16:07 Сейчас в теме
(5) Не стал рисковать, мало ли попадется не слишком мощная машина. В большинстве случаев мне даже 5000 хватало для обработки. Хотел даже сперва сделать интерактивный ввод пользователем этого максимального количество, но не стал, т.к. решил что пользователь может и 100000 написать и будет сидеть пол дня пока что нибудь не произойдёт.
+ – Ответить
7. ret 64 20.02.19 17:52 Сейчас в теме
(6) Я сделал проще, на обработке стандартной "Удаление дублей", вывел окошечко, куда ставил цифру, и в нем менял при надобности этот показатель. А при открытии поставил 15000 и все.
misha_shinkarev; +1 – Ответить
8. foxsis 114 20.02.19 18:44 Сейчас в теме
(7) тоже как вариант.
+ – Ответить
9. misha_shinkarev 04.03.21 18:23 Сейчас в теме
(7)Добрый день. а как это можно сделать ? спасибо.
+ – Ответить
10. ret 64 11.03.21 14:40 Сейчас в теме
(9) В самой обработке в конфигураторе.
+ – Ответить
11. kon_alex155 17.09.21 13:28 Сейчас в теме
КА 2.4.13 расширение не устанавливается
+ – Ответить
12. foxsis 114 17.09.21 15:42 Сейчас в теме
(11)для новых редакций нужно поменять режим совместимости расширения на 8.3.14, ну или на тот, который установлен в основной конфигурации
+ – Ответить
13. p_naryshkin 23.09.21 14:55 Сейчас в теме
Полный бред делать обработку в расширении.
+ – Ответить
14. foxsis 114 23.09.21 22:10 Сейчас в теме
(13) в чём именно бред? У каждого своя реализация. В данном случае я не переделывал полностью обработку, а заимствовал в расширение одну функцию в которой увеличил порог максимального числа дублей, в данном случае посчитал этот вариант практичней, чтобы обработка обновлялась вместе с конфигурацией и не было проблем, когда разработчики переименовывают, перемещают процедуры и функции общих модулей, частично меняют логику работы обработки. Зачем изобретать велосипед, если для решение нужной мне задачи нужно лишь изменить небольшой фрагмент кода в одной из процедур и в тоже время обработка продолжает полноценно обновляться вместе с конфигурацией?!
de0nis; Rustam10; +2 – Ответить
15. soft-servis 14 13.03.25 06:26 Сейчас в теме
Добрый день.
В 1С КА 2.5 выходит ошибка:
Ошибка инициализации модуля: ПоискИЗаменаДублейБП30 Обработка.ПоискИУдалениеДублей.Форма.ПоискДублей.Форма
по причине:
{ПоискИЗаменаДублейБП30 Обработка.ПоискИУдалениеДублей.Форма.ПоискДублей.Форма(31,44)}: Процедура или функция с указанным именем не определена (ПарыЗаменДублей)
ПараметрыПроцедуры.Вставить("ПарыЗамен", <<?>>ПарыЗаменДублей());
{ПоискИЗаменаДублейБП30 Обработка.ПоискИУдалениеДублей.Форма.ПоискДублей.Форма(73,44)}: Процедура или функция с указанным именем не определена (ПарыЗаменДублей)
ПараметрыПроцедуры.Вставить("ПарыЗамен", <<?>>ПарыЗаменДублей());
[ОшибкаКомпиляцииВстроенногоЯзыка]
+ – Ответить
16. foxsis 114 13.03.25 10:28 Сейчас в теме
(15) Добрый день!
На актуальных релизах не проверял, не было необходимости. Проверялось и делалось на релизе КА 2.4.6.207.
Скорее всего 1С в новых версиях 2.5 что то поменяли или процедуры переименовали. Будет время, посмотрю актуальность этого расширения на новых релизах.
+ – Ответить
17. foxsis 114 13.03.25 10:41 Сейчас в теме
(15)
ПарыЗаменДублей(

Посмотрел в актуально версии обработку, немного переделали 1С. Можно самостоятельно в своё расширение добавить функцию НайтиИУдалитьДубли() и вне изменить параметр МаксимальноеЧислоДублей
Прикрепленные файлы:
+ – Ответить
Для отправки сообщения требуется регистрация/авторизация