Удаление дублей запросом

03.04.14

Разработка - Запросы

Удаляем дубли запросом (из его временной таблицы). Дубли определяем по набору полей сверки. Процедура для обычных форм.

Иногда возникает необходимость убрать дубли из результата запроса. Причём делать это хочется при помощи запроса - так быстрее (критично на больших объёмах данных).

Дубли имеются в виду частичные - т.е. это такие записи, где значения, скажем, по 3 полям совпадают (у двух или более записей), а по остальным полям - нет. Я назвал такие совпадающие поля условно "поля сверки дублей". В общем-то, их может быть сколько угодно - не обязательно именно 3.

Я написал процедуру, убирающую дубли запросом. Она принимает на входе временную таблицу запроса, из которой надо удалить дубли, список полей сверки дублей. Результат помещается в новую временную таблицу того же запроса. Опционально она может показать найденные дубли (и даже вывести их на экран в печатной таблице). Вот код этой процедуры:

Она проверена в 1С:Бухгалтерия 2.5, в ЗУП, возможно, потребуется исправить "ОбщегоНазначения" на "ОбщегоНазначенияЗК".

// Процедура удаления дублей из временной таблице запроса (только для обычных форм).

// Параметры:

// "Запрос" - запрос, содержащий временную таблицу, из которой надо удалить дубли.

// "ИмяВТВход" - имя временной таблицы запроса, из которой надо удалить дубли. Удаляется после проработки процедуры (как более не нужная).

// "ПоляСверкиДубля" - строка вида "Поле1,Поле2,Поле3", содержащая имена тех полей из "ИмяВТВход", по которым мы будем искать дубли.

// "ИмяВТВыход" - имя временной таблицы запроса, в которую помещается результат работы процедуры - т.е. "ИмяВТВход", откуда убрали все дубли.

// "ОставитьВТДубли" - оставить или нет временную таблицу с обнаруженными дублями после проработки процедуры. 

// "ПоказыватьДубли" - выводить или нет печатную таблицу с обнаруженными дублями.

// "ЗаголовокТаблицыДублей" - заголовок для печатной таблицы "ПоказыватьДубли".

Процедура УдалитьДублиВТ(Запрос, ИмяВТВход, ПоляСверкиДубля, ИмяВТВыход, ОставитьВТДубли = Ложь, ПоказыватьДубли = Ложь, ЗаголовокТаблицыДублей = "Таблица найденных дублей")
	//Прототип: http://www.forum.mista.ru/topic.php?id=550537
	
	МПСД = ОбщегоНазначения.РазложитьСтрокуВМассивПодстрок(ПоляСверкиДубля,",");
	
	ПоляЗапроса = "";
	
	ПоляСоединения = "";
	
	Для каждого Элем Из МПСД Цикл
		
		ПоляЗапроса = ПоляЗапроса + ИмяВТВход + "." + Элем + ", ";
		
		ПоляСоединения = ПоляСоединения + "(" + ИмяВТВход + "." + Элем + " = " + "ВТ_ДУБЛИ1." + Элем + ") И ";
	
	КонецЦикла;
	
	ПоляЗапроса = Лев(ПоляЗапроса, СтрДлина(ПоляЗапроса)-2);
	
	ПоляСоединения = Лев(ПоляСоединения, СтрДлина(ПоляСоединения)-3);
	
	Запрос.Текст = "ВЫБРАТЬ СУММА(1) КАК КоличествоДублей, " + ПоляЗапроса + " ПОМЕСТИТЬ ВТ_ДУБЛИ ИЗ " + ИмяВТВход + " КАК " + ИмяВТВход + 
	" СГРУППИРОВАТЬ ПО " + ПоляЗапроса + " ИМЕЮЩИЕ СУММА(1) > 1 ; ВЫБРАТЬ ВТ_ДУБЛИ.*, 1 КАК СтрокаДубля ПОМЕСТИТЬ ВТ_ДУБЛИ1 ИЗ ВТ_ДУБЛИ КАК ВТ_ДУБЛИ; ";
	
	Запрос.Текст = Запрос.Текст + "ВЫБРАТЬ " + ИмяВТВход + ".*, ЕСТЬNULL(ВТ_ДУБЛИ1.СтрокаДубля,0) КАК СтрокаДубля ПОМЕСТИТЬ ВТ_ВЫХОД ИЗ " + ИмяВТВход + " КАК " + ИмяВТВход +
	" ЛЕВОЕ СОЕДИНЕНИЕ ВТ_ДУБЛИ1 КАК ВТ_ДУБЛИ1 ПО " + ПоляСоединения + " ГДЕ ВТ_ДУБЛИ1.СтрокаДубля ЕСТЬ NULL";
	
	Запрос.Выполнить();
	
	Если ПоказыватьДубли Тогда
		
		ДанныеТаблицы = Новый Запрос;
		ДанныеТаблицы.МенеджерВременныхТаблиц = Запрос.МенеджерВременныхТаблиц;
		ДанныеТаблицы.Текст =
		"Выбрать 0 КАК НомерСтроки, *
		|    Из ВТ_ДУБЛИ
		|";
		
		ТЗДубли = ДанныеТаблицы.Выполнить().Выгрузить();
		
		Для Сч = 0 По ТЗДубли.Количество()-1 Цикл
			
			ТЗДубли[Сч].НомерСтроки = Сч + 1;
		
		КонецЦикла;
		
		Построитель=Новый ПостроительОтчета(); 
		Построитель.ИсточникДанных=Новый ОписаниеИсточникаДанных(ТЗДубли); 
		Построитель.ТекстЗаголовка = ЗаголовокТаблицыДублей;
		Построитель.Вывести();
		
	КонецЕсли; 
	
	ДанныеТаблицы = Новый Запрос;
	ДанныеТаблицы.МенеджерВременныхТаблиц = Запрос.МенеджерВременныхТаблиц;
	ДанныеТаблицы.Текст =
	"Выбрать ПЕРВЫЕ 1 *
	|    Из ВТ_ВЫХОД
	|";
	
	ТЗВыход = ДанныеТаблицы.Выполнить().Выгрузить();	
	
	ПоляЗапроса = "";
	
	Для каждого Колонка Из ТЗВыход.Колонки Цикл
		
		Если Колонка.Имя <> "СтрокаДубля" Тогда
			
			ПоляЗапроса = ПоляЗапроса + Колонка.Имя + ", ";
		
		КонецЕсли;
	
	КонецЦикла; 
	
	ПоляЗапроса = Лев(ПоляЗапроса, СтрДлина(ПоляЗапроса)-2);
	
	Запрос.Текст = "ВЫБРАТЬ " + ПоляЗапроса + " ПОМЕСТИТЬ " + ИмяВТВыход + " ИЗ ВТ_ВЫХОД; УНИЧТОЖИТЬ " + ИмяВТВход + 
	"; УНИЧТОЖИТЬ ВТ_ВЫХОД; УНИЧТОЖИТЬ ВТ_ДУБЛИ1";
	
	Если НЕ ОставитьВТДубли Тогда
		
		Запрос.Текст = Запрос.Текст + "; УНИЧТОЖИТЬ ВТ_ДУБЛИ";
	
	КонецЕсли;
	
	Запрос.Выполнить();	
	
КонецПроцедуры

Удаление дублей запросом

См. также

SALE! 15%

Инструментарий разработчика Роли и права Запросы СКД Программист Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

10000 руб.

02.09.2020    160004    881    399    

863

Запросы Программист Бесплатно (free)

Увидел cheatsheet по SQL и захотелось нарисовать подобное, но про запросы.

18.10.2024    10027    sergey279    18    

64

Запросы Программист Платформа 1С v8.3 Запросы Конфигурации 1cv8 Бесплатно (free)

Столкнулся с интересной ситуацией, которую хотел бы разобрать, ввиду её неочевидности. Речь пойдёт про использование функции запроса АВТОНОМЕРЗАПИСИ() и проблемы, которые могут возникнуть.

11.10.2024    5255    XilDen    36    

81

Запросы Программист Запросы Бесплатно (free)

Отлаживая взаимодействие с базой данных, мы регулярно сталкиваемся с зависающими или подозрительно долго выполняющимися обращениями, негативно влияющими на производительность. О том, как в PostgreSQL выявить подозрительные запросы, основываясь на доступной о них информации, расскажем в статье.

16.08.2024    7987    user1840182    5    

28

Математика и алгоритмы Запросы Программист Платформа 1С v8.3 Запросы Бесплатно (free)

Рассмотрим быстрый алгоритм поиска дублей с использованием hash функции по набору полей шапки и табличных частей.

08.07.2024    2423    ivanov660    9    

22

Запросы СКД Программист Стажер Система компоновки данных Россия Бесплатно (free)

Часто при разработке отчетов в СКД возникает ситуация, когда не совсем понятно, почему отчет выводит не те данные, которые нужны, либо не выводит вовсе. Возникает потребность увидеть конечный запрос, который формирует СКД. Как это сделать, рассмотрим в этой статье.

15.05.2024    8797    implecs_team    6    

47

Запросы Программист Стажер Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Часто поступают задачи по произвольному распределению общих сумм. После распределения иногда пропадают копейки. Суть решения добавить АвтоНомерЗаписи() в ВТ распределения, и далее используя функции МАКСИМУМ или МИНИМУМ можем положить разницу копеек в первую или последнюю строку знаменателя распределения.

11.04.2024    3407    andrey_sag    10    

36
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. mikhailovaew 127 14.04.14 16:27 Сейчас в теме
зачем так сложно? если дубли не нужны, пишем ВЫБРАТЬ РАЗЛИЧНЫЕ
Alex Star; +1 Ответить
2. prodines 107 17.04.14 15:41 Сейчас в теме
(1) mikhailovaew, в этом случае будут убраны лишь дублирующиеся записи, а дубли - нет. Это разные вещи.

Дубль - это множество записей с одинаковыми полями сверки, всегда содержащее как минимум 2 элемента (на то они и есть дубли, что их больше одного). Дублей в выборке может быть сколько угодно.

Ваш вариант в каждом дубле оставит одну запись, а остальные (дублирующиеся) уберёт. Мой вариант в каждом дубле не оставит ни одной записи.
Оставьте свое сообщение