ИИ-поиск и удаление дублей в 1С (GPT/DeepSeek)

Почему дубли в 1С — это проблема

Дубли в справочниках 1С мешают работать: искажают отчёты, путают номенклатуру, создают лишние ссылки. Чем больше база, тем сложнее чистить её вручную. Особенно если дубли отличаются не точным написанием, а смыслом: «Аспирин» и «Ацетилсалициловая кислота», «Глицерин» и «Глицирин», «Натрий хлорид» и «Натрий хлоридд».

Эти обработки для 1С находят точные, похожие и смысловые дубли. А затем помогают безопасно заменить ссылки, пометить лишнее на удаление или удалить полностью.

Что умеют обработки

• 3 режима поиска дублей:

  1. По точному совпадению.

  2. Похожие — алгоритм Левенштейна, нечёткий поиск.

  3. Через ИИ — GPT, DeepSeek и другие модели.

• 3 способа замены дублей:

  1. Просто замена ссылок.

  2. Замена ссылок с установкой пометки на удаление.

  3. Замена ссылок и последующее удаление.

• Замена ссылок выполняется на алгоритмах БСП.

• Поддерживается поиск по нескольким реквизитам сразу.

• Формируется дерево дублей: имя группы показывает, по какому признаку нашлась схожесть.

• Можно удалять лишние группы и элементы прямо из дерева.

• Можно назначать главный элемент вручную. По умолчанию главный — тот, на кого больше ссылок.

• Таблица «Связанные объекты» показывает ссылки. Её можно отключить, чтобы ускорить работу.

• Галочка «Транзакция в рамках одной группы» отменяет все операции в группе, если что-то не удалось.

3 режима поиска дублей

1. По точному совпадению

Работает быстро, не расходует токены API. Находит только то, что совпадает на 100%.

Когда использовать: для первичной чистки, когда нужно быстро убрать явные дубли.

2. Поиск похожих (алгоритм Левенштейна, нечёткий)

Измеряет, насколько две строки похожи друг на друга. Можно указать любой процент сходства.

Пример:

• Глицерин — Глицирин

• Натрий хлорид — Натрий хлоридд

Когда использовать: для поиска опечаток, лишних букв, небольших отличий в написании.

Особенности: работает долго, но не расходует токены API. Может находить похожие по написанию дубли.

3. Поиск через ИИ (GPT, DeepSeek и другие модели)

Находит смысловые дубли, даже если написание сильно отличается. Понимает контекст и синонимы. Можно самому написать, как именно он должен искать дубли — с помощью промпта.

Пример:

• Аспирин — Ацетилсалициловая кислота

Когда использовать: когда обычный поиск бессилен, а дубли отличаются по смыслу.

Особенности: медленнее точного совпадения, платный. Но быстрее поиска похожих по Левенштейну.

Пример: справочник на 5700 элементов

• Поиск похожих по Левенштейну: около 3 часов.

• Поиск через ИИ DeepSeek: около 4 минут.

• Стоимость: примерно 7 центов.

• Результат: больше понравился, ошибок меньше.

Это наглядно показывает, почему ИИ-поиск стоит использовать даже при большом объёме данных.

Как пользоваться

• Выберите объект метаданных, по которому хотите найти дубли.

В поле «Объект» нажмите на «...»

и выберите объект двойным кликом.

• Выберите один из 3 режимов поиска.

• Настройте параметры поиска.

  Доступность полей зависит от режима:

  • «Процент сходства» — для режима «Поиск похожих».

  • «Промпт», «API-ключ» — для режима «ИИ».

  • Для версии с агрегатором дополнительно: «Модель», «Лимит токенов».

• Укажите реквизиты, по которым будет идти поиск.

  Поддерживается поиск по нескольким реквизитам сразу.

• Нажмите «Найти дубли».

• Сформируется дерево дублей.

  Имя группы показывает, по какому признаку нашлась схожесть.

Замена дублей

Доступны 3 варианта:

1. Только замена ссылок.

2. Замена ссылок с установкой пометки на удаление.

3. Замена ссылок и последующее удаление.

Замена ссылок выполняется на алгоритмах БСП.

Что можно настроить:

• Какой элемент главный. По умолчанию — тот, на кого больше ссылок.

• Показывать ли связанные объекты. Галочка «Показывать связанные объекты» экономит время, если нужно просто посмотреть дерево.

• Работать ли в транзакции в рамках одной группы. Галочка «Транзакция в рамках одной группы» отменяет все операции в группе, если что-то не удалось.

То, что не хотите заменять, можно просто удалить из дерева. Как группу, так и сам элемент.

Как получить API-ключ

Для обработки DeepSeek

1. Зарегистрируйтесь на сайте https://chat.deepseek.com/

2. С этой учёткой войдите на https://platform.deepseek.com/

3. Создайте API-ключ.
   Оплата — зарубежной картой или сторонними сервисами.

Для обработки с агрегатором

1. Зарегистрируйтесь на сайте https://aitunnel.ru/

2. На вкладке «API Ключи» создайте ключ.

3. Пополните баланс рублями с карты.

Режим ИИ может справиться с любым объёмом данных: все данные группируются и делятся на пакеты. По умолчанию — 300 000 токенов. В обработке с агрегатором размер пакета можно менять через поле «Лимит токенов». Чем больше лимит, тем лучше результат, но выше расход.

DeepSeek или Агрегатор: что выбрать

Плюсы агрегатора: можно выбрать разные модели, оплата рублями.
Минусы агрегатора: дороже и дольше обрабатывает данные.

Плюсы DeepSeek: меньше ошибок, быстрее, дешевле.
Минус: Нет выбора моделей. Нужна возможность оплачивать зарубежной картой или через сторонние сервисы.

Рекомендации по поиску

Используйте все 3 вида поиска по очереди:

1. Сначала — точное совпадение.

2. Потом — поиск похожих.

3. В конце — поиск через ИИ.

Так вы сэкономите время, токены и деньги. Поиск через ИИ не отменяет предыдущие поиски, но хорошо их дополняет.

Для версии с агрегатором при смене модели учитывайте, какой лимит токенов поставить. Лучше использовать модели с большим лимитом — результат будет лучше.

Безопасность

Перед началом замены и исправления:

• Сделайте резервную копию базы.

• Откройте период (снимите даты запрета изменения данных).

В процедуре перед открытием можно для удобства указать свой API-ключ, модель, лимит токенов, вариант поиска, точность совпадения, свой промпт.

Этими обработками можно пользоваться и без применения ИИ. Поиск через ИИ не отменяет предыдущие поиски, но может их существенно дополнить.

Итог

Два инструмента для 1С: «Поиск дублей (DeepSeek)» и «Поиск дублей (Агрегатор)». Три режима поиска, включая нейросети GPT и DeepSeek.

Три способа замены.

Безопасная замена ссылок по БСП. Гибкие настройки под ваш справочник.

В процедуре перед открытием можно для удобства указать свой:
APIКлюч, Модель, ЛимитТокенов, ВариантПоиска, Точность совпадения, Свой промпт...

&НаКлиенте
Процедура ПриОткрытии(Отказ)
	
	// ++ Здесь можно указать свои настройки по умолчанию.
	
	APIКлюч = "Указываем свой APIКлюч!";
	ПоказыватьГдеИспользуетсяСсылка = Истина;
	УбиратьПустыеСтроки = Истина;
	ВариантПоиска = "Точное совпадение";
	ТочностьСовпадения = 85;
	ЛимитТокенов = 800000;
	Модель = "deepseek-v4-flash";

И главное: этими обработками можно пользоваться без применения ИИ. Поиск через нейросеть не отменяет предыдущие поиски, а хорошо их дополняет. Вы сами решаете, когда подключать ИИ, а когда обойтись точным совпадением или алгоритмом Левенштейна.