Поиск и удаление дублей с увеличенным порогом максимального числа дублей [расширение]

02.10.19

База данных - Чистка данных

Возможно, кому нибудь пригодится и будет полезным тем, кто столкнулся с проблемой, что обработка по поиску и удалению дублей при обработке данных выдала сообщение "Найдено слишком много элементов. Уточните критерии поиска дублей." (т.е. достигнуто максимальное число найденных дублей, установленное в обработке).

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
ПоискИУдалениеДублей[Расширение]
.cfe 31,90Kb
136
136 Скачать (1 SM) Купить за 1 850 руб.

Стандартный механизм поиска и удаления дублей в большинстве конфигураций на основе БСП имеет верхний предел в 1500 на максимальное число найденных дублей, превысив которое выдается сообщение "Найдено слишком много элементов. Уточните критерии поиска дублей.". Можно уточнить критерии поиска и обрабатывать данные частями, можно внести изменения в код обработки по поиску и удалению дублей, вынести во внешнюю обработку и доработать её. Я вынес это в расширение, перехватываю стандартную функцию и меняю в ней параметр максимального числа дублей. В расширении этот верхний предел увеличен до 16000 (больше делать не стал, т.к., возможно, будет недостаточно ресурсов ПК, недостаточно памяти для обработки большего объёма данных. При желании можете его увеличить самостоятельно).

Добавляем расширение через Администрирование- Печатные формы, отчёты и обработки - Расширения. После добавления расширения, перезапускаем программу для вступления изменений в силу. 

Важно: При установки расширения обязательно снимаем флаг "Безопасный режим", как показано на анимации, т.к. в безопасном режиме к серверным процедурам / функциями расширение применяться не будет.

Разрабатывалось и проверялась работоспособность на Бухгалтерии ред. (3.0.67.63). Управление торговлей (11.4.6.207). Комплексная автоматизация (2.4.6.207). Управление нашей фирмой (1.6.16.132). Платформа (8.3.13.1513)

Не требует снятия конфигурации с поддержки.

 

Поиск удаление дубли БП УТ КА УНФ расширение поиск ограничения

См. также

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 10 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP и т.д.). Поддерживаются управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя.

8400 руб.

20.08.2024    6812    48    22    

61

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3.0, УНФ, Розница 2.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

3582 руб.

16.03.2015    166632    207    81    

242

Чистка данных Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 1С:Управление торговлей 10 1С:Управление торговлей 11 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 29.06.2023, версия 4.2)

9600 руб.

22.02.2013    138281    256    144    

427

Чистка данных Программист Пользователь Платформа 1С v8.3 Управляемые формы 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Зарплата и кадры государственного учреждения 3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Платные (руб)

Обработка позволяет удобно и выборочно удалить данные из базы 1С. Это могут быть как неиспользуемые элементы справочников, так и неактуальные организации. При этом есть возможность провести анализ пересечений документов с другими организациями и таким образом уберечься от того, что при удалении обороты по другой организации изменятся.

3350 руб.

28.11.2019    25790    57    16    

72

Чистка данных Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Если в вашей информационной базе крутится очень много данных, или база должна быть доступна 24/7 (как в моем случае), или же вы боитесь запускать тестирование и исправление, НО существует потребность удалить битые ссылки, тогда эта обработка сможет Вам помочь. Обработка выявляет битые ссылки как в самих объектах метаданных, так и в их табличных частях(!), а так же может их удалить.

2400 руб.

23.08.2021    9893    19    3    

25

Оптовая торговля Логистика, склад и ТМЦ Чистка данных Программист Бухгалтер Пользователь Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Если вы начали работать в программном продукте Управление Торговлей, редакция 11 или Комплексная Автоматизация редакция 2 и включили механизм учёта серий, то перейти обратно в учёт без серий будет не так-то просто. Сложность заключается в том, что нужно очистить серии в табличной части документа, например, Реализация Товаров и услуг. Предлагаем алгоритм перехода на учет без серий для программного продукта УТ11. (Очистка серий.)

2400 руб.

09.04.2019    29019    42    14    

44

Чистка данных Системный администратор Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

в современных конфигурациях стало очень много регистров сведений, хранящих вспомогательную и периодическую информацию и администраторы информационных систем стали сталкиваться с проблемой удаления помеченных на удаление объектов, так как ссылки на них хранятся в многочисленных регистрах сведений. Помочь почистить базу от ненужных записей предназначенная данная внешняя обработка на управляемой форме, которая ищет записи во всех регистрах сведений по помеченным на удаление объектах и очищает по ним записи их после использования данной обработки дальше можно смело пользоваться типовой обработкой удаление помеченных на удаление и проблем с удалением не возникнет! Удачи всем!

1 стартмани

21.01.2022    7673    1    dmbal    6    

12

Чистка данных Инструментарий разработчика Системный администратор Программист Платформа 1С v8.3 Абонемент ($m)

Очередная вариативная очистка кэша 1С с помощью Исполнителя 3.0.2.2.

1 стартмани

25.10.2023    5307    5    SerVer1C    26    

22
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. zeegin 117 19.02.19 20:58 Сейчас в теме
В 3.0.2 БСП это не блокирующее предупреждение. Там показывается к замене первые 1500 найденных.

С б`ольшим количеством слишком больш`ое потребление памяти.
2. foxsis 113 19.02.19 21:42 Сейчас в теме
(1) Здравствуйте. Поиск при достижении установленного порога останавливается, что доставляет порой неудобства. Насчёт потребления памяти согласен, в тексте к публикации это написал. В установленном пороге 16000 у меня отработало более менее нормально, выше делать не стал, но об этом опять же написал. Варианты по решению проблемы так же описаны в тексте публикации, я с помощью расширения предлагаю один из вариантов.
3. zeegin 117 19.02.19 23:23 Сейчас в теме
(2) Поиск при достижении установленного порога останавливается, что доставляет порой неудобства.
Говорю же - это в БСП 3.0.1 он останавливается, в 3.0.2 он предлагает заменить первые 1500 дублей. См скриншот.
По перечисленным у Вас конфигурациям везде стоит 3.0.1. 3.0.2 пока используется только в последних УНФ и БГУ, но остальные тоже скоро на нее перейдут.
Прикрепленные файлы:
4. foxsis 113 20.02.19 08:23 Сейчас в теме
(3)БСП 3.0.2 не смотрел, смотрел только описанные конфигурации, в них собственно и столкнулся с данным ограничением.Спасибо за новость по поводу БСП 3.02. То что в БСП 3.0.2 доработали обработку поиска и удаления дублей это очень даже хорошо.
Пока это ограничение актуально во многих конфигурациях, поэтому думаю кому нибудь решение данной проблемы пока ещё будет актуальным.
По поводу УНФ, посмотрел версии библиотек в последнем релизе, там написано что "СтандартныеПодсистемы 3.0.1.342". релиз УНФ (1.6.16.184), в тестовом аналогично.
5. ret 64 20.02.19 15:19 Сейчас в теме
(2) 25000, 40000 и 50000 ставил ограничение. Все нормально прокатывало. но реально может долго искать, по несколько часов. По "нехватает памяти" ни разу не вылетала.
6. foxsis 113 20.02.19 16:07 Сейчас в теме
(5) Не стал рисковать, мало ли попадется не слишком мощная машина. В большинстве случаев мне даже 5000 хватало для обработки. Хотел даже сперва сделать интерактивный ввод пользователем этого максимального количество, но не стал, т.к. решил что пользователь может и 100000 написать и будет сидеть пол дня пока что нибудь не произойдёт.
7. ret 64 20.02.19 17:52 Сейчас в теме
(6) Я сделал проще, на обработке стандартной "Удаление дублей", вывел окошечко, куда ставил цифру, и в нем менял при надобности этот показатель. А при открытии поставил 15000 и все.
misha_shinkarev; +1 Ответить
8. foxsis 113 20.02.19 18:44 Сейчас в теме
9. misha_shinkarev 04.03.21 18:23 Сейчас в теме
(7)Добрый день. а как это можно сделать ? спасибо.
10. ret 64 11.03.21 14:40 Сейчас в теме
(9) В самой обработке в конфигураторе.
11. kon_alex155 17.09.21 13:28 Сейчас в теме
КА 2.4.13 расширение не устанавливается
12. foxsis 113 17.09.21 15:42 Сейчас в теме
(11)для новых редакций нужно поменять режим совместимости расширения на 8.3.14, ну или на тот, который установлен в основной конфигурации
13. p_naryshkin 23.09.21 14:55 Сейчас в теме
Полный бред делать обработку в расширении.
14. foxsis 113 23.09.21 22:10 Сейчас в теме
(13) в чём именно бред? У каждого своя реализация. В данном случае я не переделывал полностью обработку, а заимствовал в расширение одну функцию в которой увеличил порог максимального числа дублей, в данном случае посчитал этот вариант практичней, чтобы обработка обновлялась вместе с конфигурацией и не было проблем, когда разработчики переименовывают, перемещают процедуры и функции общих модулей, частично меняют логику работы обработки. Зачем изобретать велосипед, если для решение нужной мне задачи нужно лишь изменить небольшой фрагмент кода в одной из процедур и в тоже время обработка продолжает полноценно обновляться вместе с конфигурацией?!
de0nis; Rustam10; +2 Ответить
Оставьте свое сообщение