Поиск и замена дублей справочников SQL (8.3) (УФ)

24.10.25

База данных - Чистка данных

+9 –
> > > >
  • 2023-04-16_02-09-04.png
  • 2023-04-16_02-09-39.png
  • 2023-04-16_02-10-16.png
  • 2023-04-16_02-12-06.png
  • 2023-04-16_02-19-50.png
Быстрый поиск и замена дублей справочников и планов видов характеристик на 8.2/8.3 в режиме обычного и управляемого приложения. Только для MS SQL версии.

Файлы

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование Скачано Купить файл
Поиск и замена дублей справочников SQL (8.3) (УФ):
.epf 66,29Kb ver:4.2
89 2 500 руб. Купить

Подписка PRO — скачивайте любые файлы со скидкой до 85% из Базы знаний

Оформите подписку на компанию для решения рабочих задач

Оформить подписку и скачать решение со скидкой
Перед выполнением поиска необходимо задать параметры подключения к базе SQL на закладке "Настройка соединения SQL".
 
Поиск только для справочников и планов видов характеристик.
Замена в регистрах расчета не поддерживается.
Не рекомендуется использовать совместно с РИБ и прочими настроенными обменами данных - измененные этой обработкой элементы не будут зарегистрированы в планы обмена.
 
  • Поиск дублей по нескольким полям
  • Группировка результатов поиска по значениям полей поиска
  • Автоматическое определение главного элемента, на который произойдет замена, расчет количества ссылок на объекты.
  • Возможность ручного отключения групп поиска
  • Возможность ручного выбора главного элемента в группе
  • Просмотр по двойному клику на элементе
  • Возможность непосредственного удаления элементов при отсутствии на них ссылок
  • Индексация таблиц для ускорения поиска ссылок на объект
  • Можно просмотреть объекты, которые ссылаются на заменяемый объект по двойному клику на колонке с количеством ссылок
  • Можно выбирать с каким группами дублей работать, а какие пока не трогать

История версий

Версия 2.0
 

Версия 2.2

 

Версия 2.3

 

Версия 2.4

 

Версия 2.5

 

Версия 2.6

 

Версия 2.7

 

Версия 3.0

 

Версия 3.1

 

Версия 3.2

 

Версия 4.1

 
  •  Добавлена возможность индексировать таблицы по колонкам, которые могут принимать искомый тип. Это даёт значительный прирост по скорости поиска ссылок на больших таблицах в сотни Гб
  • Возможность удалить созданные индексы
  • Переработан поиск ссылок на свой поиск SQL, теперь можно наблюдать за прогрессом поиска ссылок и прерывать его при необходимости
  • Переработан механизм замены, алиасы таблиц больше не нужно создавать, все работает на описании структуры хранения базы данных в связке с описанием метаданных
  • Можно работать с отдельной группой или несколькими группами ссылок для выполнения поиска или замены ссылок.
  • В отбор добавлены все реквизиты на верхний уровень, раньше доступ к полям таблицы был через ссылку
  • Добавлена проверка на совпадение имен базы 1с и имени базы SQL. Теперь выводится информационная надпись. Это для защиты от ситуации, когда запустили копию, а SQL подключается к продуктивной, рабочей базе.
  • Поддержка режима совместимости версии платформы 8.3.17

Версия 4.2

 
  •  Исправлена ошибка - не работало удаление ссылок после выполнения замены. Ошибка проявлялась в обычной форме

Версия 4.3

 
  • Добавлена обработка проверки заполнения настроек SQL
  • Добавлена индексация служебных таблиц поиска, скорость замены повысилась

Версия 4.6

 
  • Добавлена замена в итогах регистров сведений
  • Отбор СКД теперь работает до поиска дублей, а не после
  • Упрощение поиска в списке метаданных при выборе анализируемой таблицы. Теперь ищет по вхождению слов

 

Проверено на следующих конфигурациях и релизах:

  • Управление торговлей, редакция 11, релизы 11.5.22.91

Вступайте в нашу телеграмм-группу Инфостарт

Поиск и замена дублей SQL

+9 –

См. также

Database Compression Tool: Инструмент для свертки и сжатия баз данных 1С

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

24900 руб.

20.08.2024    64871    343    168    

301
Ускоренное проведение документов в 1С (x4), устранение ошибок 60/62 счетов и зачет авансов (Бухгалтерия 3.0)

Закрытие периода Инструменты администратора БД Корректировка данных Бухгалтер Пользователь 1С:Предприятие 8 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14640 руб.

29.04.2020    49475    134    160    

90
Удаление данных с отбором и построением дерева ссылок в базах 1С 8.1-8.3 УТ 11/10.3, БП 2/3, ЗУП 2.5/3, КА 1.1/2, УНФ 1.6/3.0, Розница 2/3

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Бухгалтерия 1.6 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 1.6 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 10 1С:Управление торговлей 11 1С:Розница 2 1С:Розница 3.0 Платные (руб)

Данные обработки помогут Вам легко и, главное быстро, выполнить удаление любых данных в Ваших базах 1С на платформах 8.1-8.3. Обработки помогут легко просмотреть связи ссылок в виде дерева, выбрать что удалять, а что нет, используя любые отборы. Это позволит уменьшить объем лишней и не нужной информации в справочниках и документах, планах видов характеристик и др. объектах и облегчит работу с данными пользователям и Вам. Понятное расположение команд и настроек, в сочетании с описанием и справкой, еще упростят процесс. (Обновление от 26.02.2026, версия 4.5, 4.6.0)

14640 руб.

22.02.2013    145932    290    153    

458
Тестирование и исправление ключей аналитики в 1С ERP, УТ11, КА

Корректировка данных Системный администратор Программист 1С:Предприятие 8 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Незаменимая обработка для сопровождения конфигураций: ERP, УТ, КА. Позволяет вычистить многие ошибки в ключах аналитики, в ключевых справочниках конфигурации.

3660 руб.

10.02.2017    120354    723    177    

761
Выборочное удаление организаций из информационных баз 1С (управляемые формы), с удалением всех ссылающихся на эти организации данных

Чистка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Розница 3.0 Платные (руб)

Позволяет удалить организации из любых из информационных баз 1С на управляемых формах (БП 3.0, УТ 11, КА 2, ERP 2, ЗУП 3, УНФ, Розница 3.0 и пр.). Главное требование - программа должна содержать справочник "Организации". Реализован самый быстрый алгоритм непосредственного удаления объектов. Работает даже на базах большого размера. Для ускорения работы алгоритма не запускается проверка контроля ссылочной целостности. Проверку учета можно запустить отдельно с помощью дополнительной обработки. Необходимо перед удалением самостоятельно проверить базу на наличие перекрестных ссылок разных организаций в одном документе. Эту дополнительную обработку проверки перекрестных ссылок по запросу предоставляем бесплатно нашим покупателям.

6100 руб.

16.03.2015    280646    252    83    

287
Универсальный редактор регистров (Управляемые формы)

Корректировка данных Чистка данных Разработка Инструментарий разработчика 1С:Предприятие 8 1C:Бухгалтерия 1C:ERP 1С:ЗУП 1С:КА 1С:УНФ 1С:УТ 1С:ДО Отраслевые 1С:Бухгалтерия 3.0 1С:ERP Управление предприятием 2 Россия Платные (руб)

Универсальная обработка для быстрой и эффективной корректировки записей любых регистров сведений, накопления и бухгалтерии

12200 руб.

25.11.2025    2357    5    0    

7
Поиск и исправление отрицательных остатков во всех регистрах накопления (с детализацией до документов) в 1С

Задачи пользователя Инструментарий разработчика Корректировка данных Закрытие периода Программист Бизнес-аналитик Бухгалтер Пользователь Руководитель проекта Стажер 1С 8.3 1С:ERP Управление предприятием 2 1С:Управление нашей фирмой 3.0 Управленческий учет Платные (руб)

Обработка предназначена для поиска, анализа и исправления отрицательных остатков во всех регистрах накопления информационной базы 1С.

6100 руб.

27.02.2026    1156    4    0    

7
Сравнение любых данных между базами 1С по реквизитам

Файловый обмен (TXT, XML, DBF), FTP Поиск данных Инструменты администратора БД Корректировка данных Системный администратор Программист 1С:Предприятие 8 1C:Бухгалтерия 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Платные (руб)

Данная обработка позволит Вам легко и просто, а главное - быстро, выполнить сравнение данных между ЛЮБЫМИ базами (и РИБ, по правилам конвертаций) по контрольным суммам выбранных объектов баз 1С, работающих на платформах 8.3 и выше. Удобный и понятный интерфейс в виде "мастера". Высокая скорость сравнения достигается за счет специального алгоритма расчета контрольной суммы объекта/записи и сравнения по данным суммам объектов 2х баз через файл. Имеется возможность выбора реквизитов, по которым система будет сравнивать объекты. Сравнение количества записей в движениях документов, возможность сравнивать данные по правилам конвертации и не только! Выбор объектов конфигурации для КАЖДОГО узла в отдельности с индивидуальным отбором для каждого объекта конфигурации, работа с FTP, сохранение или загрузка настроек, сохранение или загрузка результата сравнения, регистрация на обмен объекта и его движений. (Обновление от 12.11.2024, версия 2.2-2.5)

24400 руб.

27.10.2017    45368    31    13    

49
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. miap 22.07.15 12:03 Сейчас в теме
Если у Вас остатки номенклатуры в регистрах накопления, то при удалении дублей они должны прибавляться к оставшейся позиции. Обработка же просто делает замену; и в случае присутствия такой записи в регистре будет ошибка замены.
Для корректной замены нужно разобраться в структуре регистра накопления на уровне таблиц SQL, там есть важные поля-счетчики.
+ – Ответить
2. Sersh2010 8 22.07.15 13:15 Сейчас в теме
Я это предусмотрел. Как в регистрах накопления так и в регистрах сведений. В регистрах накопления итоги пересчитываются автоматически. В регистрах сведений возможна коллизия, если набор измерений после изменения будет дублироваться. Поэтому для ее избежания запись с неправильной ссылкой просто удаляется из регистра. Это только в том случае, если существует такой же набор измерений, но с правильной ссылкой
tabulyator; cio-rbauto; iones; miap; +4 – Ответить
3. cio-rbauto 11.10.17 11:02 Сейчас в теме
Добрый день
При попытке обновить представление пишет что
"СОМ объекты работают только в операционных системах виндос"
На клиентской маши виндос база на скуле
Прикрепленные файлы:
+ – Ответить
5. Sersh2010 8 11.10.17 22:22 Сейчас в теме
(3) Сервер 1с не на Linux?
+ – Ответить
4. red80 11.10.17 11:06 Сейчас в теме
Чем эта обработка лучше типовой?
+ – Ответить
6. Sersh2010 8 11.10.17 22:30 Сейчас в теме
(4) Быстрая замена ссылок в объектах средствами SQL команд, а не пообъектой записи, как в типовой, т.к. в запросах 1с нет аналогов insert/update
+ – Ответить
7. red80 12.10.17 08:44 Сейчас в теме
(6) Индексирование измененных ссылок и их поиск платформой продолжает работать?
+ – Ответить
8. Sersh2010 8 12.10.17 22:11 Сейчас в теме
(7) Интересная формулировка. Индексирование выполняется автоматически средствами СУБД. Поиск измененных ссылок платформой? Ссылка в базе данных имеет тип binary(16), то есть это по сути число (сформированное из GUID ссылки средствами платформы). Если я в строке таблицы меняю одно число на другое, а потом ищу по другому числу, то я непременно найду эту запись
+ – Ответить
9. Serg O. 318 26.03.19 10:18 Сейчас в теме
не видно - что делает обработка... уменьшил число ссылок с 1000 до 100 ....
даже в обычных формах - зависает больше часа... что-то делает... что именно - непонятно
и непонятно на какой стадии процесс... сколько ждать? ещё час или 24 часа?

замена по коду в 3 цикла идёт... каждый по 100 - 1000 или больше элементов
хотя бы между ними сообщение можно писать...

а ещё лучше как в "стандартной" - прогресс показывать (см. фото)
Прикрепленные файлы:
+ – Ответить
10. Sersh2010 8 14.04.19 17:33 Сейчас в теме
(9) Добавил такую возможность в версии 2.2
+ – Ответить
11. ArsenProg 12.03.23 04:14 Сейчас в теме
Здравствуйте требуется дороботка можете написать мне ?
+ – Ответить
12. Sersh2010 8 20.03.23 21:02 Сейчас в теме
(11) Опишите свой вопрос
+ – Ответить
13. MaximYakimov 13.04.23 08:54 Сейчас в теме
Обработка работает для версии 8.3.17 ? в этой версии были изменения в структуре данных регистра бухгалтерии
+ – Ответить
14. Sersh2010 8 13.04.23 14:07 Сейчас в теме
(13) Проверю этот момент на выходных, отпишусь
+ – Ответить
15. Sersh2010 8 15.04.23 22:24 Сейчас в теме
(13) Проверил, да, не работает, добавилась корреспонденция по субконто в основную таблицу. По ним замена не сработает. Но это исправлено в версии 4.1. Будет выложена на днях, или может даже завтра, если повезет. Она на стадии бета-тестирования
+ – Ответить
16. a.babenko 19.04.23 10:00 Сейчас в теме
Отличная обработка, спасибо!
+ – Ответить
17. Skif1989 18.06.23 14:56 Сейчас в теме
Ошибка при замене дублей.
Дублей (договоров)очень много по одному контрагенту.
Прикрепленные файлы:
+ – Ответить
18. Skif1989 18.06.23 14:56 Сейчас в теме
sel ect distinct ИмяТаблицы, ИмяТаблицыХранения, Назначение, ИмяКолонки, ИмяКолонкиХранения fr om НайденныеСсылки
+ – Ответить
19. Sersh2010 8 06.07.23 22:45 Сейчас в теме
(17) "Подробно" нажми - так не понятно
+ – Ответить
20. Sersh2010 8 06.07.23 22:48 Сейчас в теме
Возможно баг в том, что по одному ключу поиска дублей найдено более 1000 элементов, а пользователь выбрал вариант только первые 1000, я проверю этот момент
+ – Ответить
21. Sersh2010 8 06.07.23 23:07 Сейчас в теме
Проверил, у меня работает это. Не понятно что у тебя не так, нужны подробности.
+ – Ответить
22. user705858_zp 16.07.25 15:45 Сейчас в теме
Здравствуйте.
Обработка и впрямь отличная! Спасибо!
Есть предложения и вопрос.
1. Поиск дублей по Полному Наименованию вышибает из базы. (Наверно, неограниченная длина?)
Ошибка в запросе набора данных
по причине:
{(8, 2)}: Недопустимое поле для группировки "ПолноеНаименование"
<<?>>Таб.ПолноеНаименовани
2. Хорошо бы в ДеревеГрупп на форме выводить УИД Элемента.
3. Количество ссылок в ДЗ, получаемое после поиска ссылок, число большее, чем если расшифровать это количество. Или получить поиском 1С.
4. Тоже столкнулась с ошибкой из (17).
Пытается выполнить запрос sel ectdistinct ИмяТаблицы, ИмяТаблицыХранения, Назначение, ИмяКолонки, ИмяКолонкиХранения fr om НайденныеСсылки.

Ошибка при вызове метода контекста (Open)
{ВнешняяОбработка.ПоискИЗаменаДублейSQL.МодульОбъекта(998)}:RS.Open(Текст);
{ВнешняяОбработка.ПоискИЗаменаДублейSQL.МодульОбъекта(1287)}:ПутиКДанным = ВыполнитьЗапрос(ТекстЗапроса);
…
Произошла исключительная ситуация (Microsoft OLE DB Provider for ODBC Drivers): [Microsoft][ODBC SQL Server Driver]Истекло время ожидания запроса

Не может. И ПутиКДанным получается Неопределено.
Итератор для значения не определен
{ВнешняяОбработка.ПоискИЗаменаДублейSQL.МодульОбъекта(1295)}:Для Каждого Путь Из ПутиКДанным Цикл…

Сначала подумала, что дело в большом количестве ссылок (1,7 млн), но другой элемент справочника с таким же количеством отрабатывается без ошибок. Увеличила в обработке мСоединениеADO.CommandTimeout=900; Не помогло.
Тестирование и исправление не помогло. Есть ли какие еще соображения?
Прикрепленные файлы:
+ – Ответить
Для отправки сообщения требуется регистрация/авторизация