Поиск и удаление дублей с увеличенным порогом максимального числа дублей [расширение]

02.10.19

База данных - Чистка данных

+7 –
>
  • карт.jpg
  • 8SbABkaTED.gif
Возможно, кому нибудь пригодится и будет полезным тем, кто столкнулся с проблемой, что обработка по поиску и удалению дублей при обработке данных выдала сообщение "Найдено слишком много элементов. Уточните критерии поиска дублей." (т.е. достигнуто максимальное число найденных дублей, установленное в обработке).

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
ПоискИУдалениеДублей[Расширение]
.cfe 31,90Kb
147 2 500 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой

Стандартный механизм поиска и удаления дублей в большинстве конфигураций на основе БСП имеет верхний предел в 1500 на максимальное число найденных дублей, превысив которое выдается сообщение "Найдено слишком много элементов. Уточните критерии поиска дублей.". Можно уточнить критерии поиска и обрабатывать данные частями, можно внести изменения в код обработки по поиску и удалению дублей, вынести во внешнюю обработку и доработать её. Я вынес это в расширение, перехватываю стандартную функцию и меняю в ней параметр максимального числа дублей. В расширении этот верхний предел увеличен до 16000 (больше делать не стал, т.к., возможно, будет недостаточно ресурсов ПК, недостаточно памяти для обработки большего объёма данных. При желании можете его увеличить самостоятельно).

Добавляем расширение через Администрирование- Печатные формы, отчёты и обработки - Расширения. После добавления расширения, перезапускаем программу для вступления изменений в силу. 

Важно: При установки расширения обязательно снимаем флаг "Безопасный режим", как показано на анимации, т.к. в безопасном режиме к серверным процедурам / функциями расширение применяться не будет.

Разрабатывалось и проверялась работоспособность на Бухгалтерии ред. (3.0.67.63). Управление торговлей (11.4.6.207). Комплексная автоматизация (2.4.6.207). Управление нашей фирмой (1.6.16.132). Платформа (8.3.13.1513)

Не требует снятия конфигурации с поддержки.

 

Вступайте в нашу телеграмм-группу Инфостарт

Поиск удаление дубли БП УТ КА УНФ расширение поиск ограничения

+7 –

См. также

Database Compression Tool: Инструмент для свертки и сжатия баз данных 1С

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

24900 руб.

20.08.2024    63607    333    162    

297
Выборочное удаление организаций из информационных баз 1С (управляемые формы), с удалением всех ссылающихся на эти организации данных

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3, УНФ, Розница 3.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

6100 руб.

16.03.2015    280470    254    83    

286
Универсальный редактор регистров (Управляемые формы)

Корректировка данных Чистка данных Разработка Инструментарий разработчика 1С:Предприятие 8 1C:Бухгалтерия 1C:ERP 1С:ЗУП 1С:КА 1С:УНФ 1С:УТ 1С:ДО Отраслевые 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 Россия Платные (руб)

Универсальная обработка для быстрой и эффективной корректировки записей любых регистров сведений, накопления и бухгалтерии

12200 руб.

25.11.2025    2158    4    0    

6
Удаление данных с отбором и построением дерева ссылок в базах 1С 8.1-8.3 УТ 11/10.3, БП 2/3, ЗУП 2.5/3, КА 1.1/2, УНФ 1.6/3.0, Розница 2/3

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 1.6 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 26.02.2026, версия 4.5, 4.6.0)

14640 руб.

22.02.2013    145638    288    153    

456
Универсальное удаление данных из базы 1С любые конфигурации на управляемых формах

Чистка данных Программист Пользователь 1С:Предприятие 8 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С на управляемых формах например БП 3.0, УТ 11, КА 2, ERP, УНФ, ЗУП 3, Розница и др. Это могут быть неактуальные организации или другие перечни объектов. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся. Объекты нужно выбирать вручную и после этого запускать команду удаления. Будут удалены все ссылки на них.

5000 руб.

28.11.2019    30304    82    21    

97
Обработка 1С удаление битых ссылок в базе без монопольного режима

Чистка данных Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:ERP Управление предприятием 2 Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

5084 руб.

23.08.2021    12321    26    3    

32
Алгоритм перехода на учет без серий для УТ11 или КА 2 (отказ от серий, удаление серий, отмена серий, без серий)

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Программист Бухгалтер Пользователь 1С:Предприятие 8 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

5084 руб.

09.04.2019    31728    48    15    

51
Убийца зависимостей 1С: удаление, очистка табличных частей, замена и пометка объектов в один клик с каскадной очисткой, бекапами и полной безопасностью базы (Управляемые формы, Обычный интерфейс)

Чистка данных Инструменты администратора БД Системный администратор Программист 1С 8.3 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Библиотека стандартных подсистем Абонемент ($m)

Хочешь выборочно удалить одну организацию, тестовую номенклатуру или «мусорного» контрагента, любую ссылку - без ручного поиска ссылок и часовых разборок зависимостей? Этот инструмент сам строит дерево связей, каскадно чистит с "глубоким поиском" документы, справочники, пвх, любые ссылки, регистры, движения в так же делает резервную копию и за пару минут оставляет базу чистой и полностью работоспособной (Управляемые формы, обычный интерфейс)

1 стартмани

03.02.2026    2430    90    war41k    0    

25
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. zeegin 181 19.02.19 20:58 Сейчас в теме
В 3.0.2 БСП это не блокирующее предупреждение. Там показывается к замене первые 1500 найденных.

С б`ольшим количеством слишком больш`ое потребление памяти.
+ – Ответить
2. foxsis 114 19.02.19 21:42 Сейчас в теме
(1) Здравствуйте. Поиск при достижении установленного порога останавливается, что доставляет порой неудобства. Насчёт потребления памяти согласен, в тексте к публикации это написал. В установленном пороге 16000 у меня отработало более менее нормально, выше делать не стал, но об этом опять же написал. Варианты по решению проблемы так же описаны в тексте публикации, я с помощью расширения предлагаю один из вариантов.
+ – Ответить
3. zeegin 181 19.02.19 23:23 Сейчас в теме
(2) Поиск при достижении установленного порога останавливается, что доставляет порой неудобства.
Говорю же - это в БСП 3.0.1 он останавливается, в 3.0.2 он предлагает заменить первые 1500 дублей. См скриншот.
По перечисленным у Вас конфигурациям везде стоит 3.0.1. 3.0.2 пока используется только в последних УНФ и БГУ, но остальные тоже скоро на нее перейдут.
Прикрепленные файлы:
+ – Ответить
4. foxsis 114 20.02.19 08:23 Сейчас в теме
(3)БСП 3.0.2 не смотрел, смотрел только описанные конфигурации, в них собственно и столкнулся с данным ограничением.Спасибо за новость по поводу БСП 3.02. То что в БСП 3.0.2 доработали обработку поиска и удаления дублей это очень даже хорошо.
Пока это ограничение актуально во многих конфигурациях, поэтому думаю кому нибудь решение данной проблемы пока ещё будет актуальным.
По поводу УНФ, посмотрел версии библиотек в последнем релизе, там написано что "СтандартныеПодсистемы 3.0.1.342". релиз УНФ (1.6.16.184), в тестовом аналогично.
+ – Ответить
5. ret 64 20.02.19 15:19 Сейчас в теме
(2) 25000, 40000 и 50000 ставил ограничение. Все нормально прокатывало. но реально может долго искать, по несколько часов. По "нехватает памяти" ни разу не вылетала.
+ – Ответить
6. foxsis 114 20.02.19 16:07 Сейчас в теме
(5) Не стал рисковать, мало ли попадется не слишком мощная машина. В большинстве случаев мне даже 5000 хватало для обработки. Хотел даже сперва сделать интерактивный ввод пользователем этого максимального количество, но не стал, т.к. решил что пользователь может и 100000 написать и будет сидеть пол дня пока что нибудь не произойдёт.
+ – Ответить
7. ret 64 20.02.19 17:52 Сейчас в теме
(6) Я сделал проще, на обработке стандартной "Удаление дублей", вывел окошечко, куда ставил цифру, и в нем менял при надобности этот показатель. А при открытии поставил 15000 и все.
misha_shinkarev; +1 – Ответить
8. foxsis 114 20.02.19 18:44 Сейчас в теме
(7) тоже как вариант.
+ – Ответить
9. misha_shinkarev 04.03.21 18:23 Сейчас в теме
(7)Добрый день. а как это можно сделать ? спасибо.
+ – Ответить
10. ret 64 11.03.21 14:40 Сейчас в теме
(9) В самой обработке в конфигураторе.
+ – Ответить
11. kon_alex155 17.09.21 13:28 Сейчас в теме
КА 2.4.13 расширение не устанавливается
+ – Ответить
12. foxsis 114 17.09.21 15:42 Сейчас в теме
(11)для новых редакций нужно поменять режим совместимости расширения на 8.3.14, ну или на тот, который установлен в основной конфигурации
+ – Ответить
13. p_naryshkin 23.09.21 14:55 Сейчас в теме
Полный бред делать обработку в расширении.
+ – Ответить
14. foxsis 114 23.09.21 22:10 Сейчас в теме
(13) в чём именно бред? У каждого своя реализация. В данном случае я не переделывал полностью обработку, а заимствовал в расширение одну функцию в которой увеличил порог максимального числа дублей, в данном случае посчитал этот вариант практичней, чтобы обработка обновлялась вместе с конфигурацией и не было проблем, когда разработчики переименовывают, перемещают процедуры и функции общих модулей, частично меняют логику работы обработки. Зачем изобретать велосипед, если для решение нужной мне задачи нужно лишь изменить небольшой фрагмент кода в одной из процедур и в тоже время обработка продолжает полноценно обновляться вместе с конфигурацией?!
de0nis; Rustam10; +2 – Ответить
15. soft-servis 14 13.03.25 06:26 Сейчас в теме
Добрый день.
В 1С КА 2.5 выходит ошибка:
Ошибка инициализации модуля: ПоискИЗаменаДублейБП30 Обработка.ПоискИУдалениеДублей.Форма.ПоискДублей.Форма
по причине:
{ПоискИЗаменаДублейБП30 Обработка.ПоискИУдалениеДублей.Форма.ПоискДублей.Форма(31,44)}: Процедура или функция с указанным именем не определена (ПарыЗаменДублей)
ПараметрыПроцедуры.Вставить("ПарыЗамен", <<?>>ПарыЗаменДублей());
{ПоискИЗаменаДублейБП30 Обработка.ПоискИУдалениеДублей.Форма.ПоискДублей.Форма(73,44)}: Процедура или функция с указанным именем не определена (ПарыЗаменДублей)
ПараметрыПроцедуры.Вставить("ПарыЗамен", <<?>>ПарыЗаменДублей());
[ОшибкаКомпиляцииВстроенногоЯзыка]
+ – Ответить
16. foxsis 114 13.03.25 10:28 Сейчас в теме
(15) Добрый день!
На актуальных релизах не проверял, не было необходимости. Проверялось и делалось на релизе КА 2.4.6.207.
Скорее всего 1С в новых версиях 2.5 что то поменяли или процедуры переименовали. Будет время, посмотрю актуальность этого расширения на новых релизах.
+ – Ответить
17. foxsis 114 13.03.25 10:41 Сейчас в теме
(15)
ПарыЗаменДублей(

Посмотрел в актуально версии обработку, немного переделали 1С. Можно самостоятельно в своё расширение добавить функцию НайтиИУдалитьДубли() и вне изменить параметр МаксимальноеЧислоДублей
Прикрепленные файлы:
+ – Ответить
Для отправки сообщения требуется регистрация/авторизация