gifts2017

INFOSTART EVENT 2012: разбор решений конкурса разработчиков

Опубликовал Алексей Королев (krolya) в раздел Программирование - Практика программирования

В статье проводится разбор присланных решений на конкурс разработчиков от компании "Первый БИТ".  Приводятся планы выполнения запросов и сравниваются показатели быстродействия и оптимизации.

В данной статье я постараюсь дать развернутый анализ наиболее интересных решений с технологической точки зрения решений, присланных на конкурс разработчиков от компании "Первый БИТ". 

Данный конкурс проводился в рамках первой всероссийской конференции INFOSTART EVENT 2012 (ссылка на отчет http://infostart.ru/public/162790/). В конкурсе было две номинации – «знание механизма РАУЗ в УПП» и «разработка в системе 1С:Предприятие». Результаты конкурса опубликованы здесь и здесь. Конкурс проходил в два этапа. Первый этап - соревнование на скорость проходил в режиме реального времени, а второй этап - конкурс на самое оптимальное решение проходил уже в оффлайн режиме и решение присылались на мою на электронную почту. В статье проводится разбор решений присланных на второй этап.

Для начала, давайте посмотрим еще раз на задание из конкурса:

Требуется разработать внешнюю обработку, которая сможет найти все характеристики номенклатуры, которые полностью соответствуют указанному набору свойств и их значениям (Характеристика должна одновременно содержать все указанные свойства и их значения и кроме них не должна содержать других свойств с заполненными значениями).

 

Работать мы будем со справочником "Характеристики" в Управление Торговлей 11 для России (это важно). Ниже показан скриншот со структурой справочника

 

Структура справочника

 

Полностью задание звучит следующим образом (полное описание задания можно скачать в файлах статьи):

Требуется разработать внешнюю обработку, которая будет содержать две табличные части и кнопку"Найти". Пример обработки указан на скриншоте ниже (саму обработку шаблон можно скачать в файлах статьи).

Шаблон обработки


  • В первой табличной части необходимо задать условия поиска.
  • Во второй нужно выводить результат поиска.

В результате поиска нужно найти все характеристики номенклатуры, которые полностью соответствую указанному набору свойств и их значениям. Характеристика должна одновременно содержать все указанные свойства и их значения и кроме них не должна содержать других свойств с заполненными значениями. Предусматривается следующие ограничения: 

  • при вводе параметров поиска (в левой таблице) не должно быть свойств без указания значений.
  • нельзя использовать сравнение на количество строк 

SIC! Прежде чем читать дальше, еще раз внимательно прочитайте условие задачи и постарайтесь ее мысленно решить. На ней погорело очень много кандидатов, считающих себя хорошими программистами с высоким уровнем логического мышления. 


Исходя из задания нам нужно работать с двумя таблицами - эталонной и табличной частью "ДополнительныеРеквизиты" справочника характеристики номенклатуры. Основная хитрость задачи состоит в том, что нужно выбрать все характеристики попадающие под наши условия и проверить, чтобы в них не было лишних заполненных свойств.

 

Для тестирования присланных решений была создана специальная база - были растиражированы следующие элементы:

1)          Характеристика с 4 свойствами: размер - 35, цвет – зеленый, тип кожи – натуральная, полнота – 5 . Количество 20 000 элементов. (Тест №1)

2)          Характеристика с 4 пустыми свойствами: размер, цвет, тип кожи и полнота и дополнительно к ним 100 свойств строкового типа со значением номера свойства (т.е. Свойство1 – значение «1», Свойство2  - значение «2»). Количество 5 000 элементов. (Тест №2)

 

Все запросы приведены «как есть». Время выполнения тестов для каждого из решений приведены для моего личного ноутбука и локального SQL сервера:

Технические характеристики ноутбука - Процессор Intel® Core™ i5-430M 2,26 ГГц, RAM - 4GB DDR3, HDD Sata 320 Gb

Версия SQL - Microsoft SQL Server 2008 R2 (RTM) - 10.50.1617.0 (X64)  (Build 7601: Service Pack 1) 

Версия 1С - 8.2.17.368 (клиент-серверная - x86-64)

 

P.S. Предвосхищая вопрос по коду :) - метод ТекущаяУниверсальнаяДатаВМиллисекундах() появился в 8.2.17

 


 Решение №1.


СписокПустыхЗначений = Новый СписокЗначений;
МассивТипов = Новый Массив(1);
Для каждого
Тип Из Метаданные.ПланыВидовХарактеристик.ДополнительныеРеквизитыИСведения.Тип.Типы() Цикл
    Если
Тип = Тип("Булево") Тогда
        Продолжить;
// Для типа булево нет пустых значений
   
КонецЕсли;
   
МассивТипов[0] = Тип;
   
ОписаниеТипа = Новый ОписаниеТипов(МассивТипов);
   
СписокПустыхЗначений.Добавить(ОписаниеТипа.ПривестиЗначение());
КонецЦикла;
СписокПустыхЗначений.Добавить(Неопределено);

Запрос = Новый Запрос;
Запрос.Текст = "
|ВЫБРАТЬ
|   Свойство КАК Свойство
|   ,Значение КАК Значение
|
|ПОМЕСТИТЬ
|   ЗаданныеСвойства
|
|ИЗ
|   &Свойства КАК Свойства
|
|;
|
|ВЫБРАТЬ
|   Характеристики.Ссылка КАК Характеристика
|
|ИЗ
|   Справочник.ХарактеристикиНоменклатуры КАК Характеристики
|
|ЛЕВОЕ СОЕДИНЕНИЕ
|   ПланВидовХарактеристик.ДополнительныеРеквизитыИСведения КАК План
|
|ПО
|   ИСТИНА
|
|ЛЕВОЕ СОЕДИНЕНИЕ
|   Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК Реквизиты
|
|ПО
|   План.Ссылка = Реквизиты.Свойство
|   И Характеристики.Ссылка = Реквизиты.Ссылка
|
|ЛЕВОЕ СОЕДИНЕНИЕ
|   ЗаданныеСвойства
|
|ПО
|   План.Ссылка = ЗаданныеСвойства.Свойство
|
|СГРУППИРОВАТЬ ПО
|   Характеристики.Ссылка
|
|ИМЕЮЩИЕ
|   МИНИМУМ(
|       ВЫБОР
|           КОГДА ЕСТЬNULL(Реквизиты.Значение, ЗаданныеСвойства.Значение) ЕСТЬ NULL ТОГДА Истина
|           КОГДА ЗаданныеСвойства.Значение ЕСТЬ NULL И Реквизиты.Значение В (&СписокПустыхЗначений) ТОГДА Истина
|           КОГДА Реквизиты.Значение = ЗаданныеСвойства.Значение ТОГДА Истина
|           ИНАЧЕ Ложь
|       КОНЕЦ) = Истина
|"
;

Запрос.УстановитьПараметр("Свойства", Объект.Свойства.Выгрузить());
Запрос.УстановитьПараметр("СписокПустыхЗначений", СписокПустыхЗначений);

НачДата=ТекущаяУниверсальнаяДатаВМиллисекундах();
Результат = Запрос.Выполнить();
КонДата=ТекущаяУниверсальнаяДатаВМиллисекундах();

ВремяВыполнения = КонДата-НачДата;

Сообщить("Время выполнения - "+ВремяВыполнения+" миллисекунд");

 


Разбор решения №1.

Решение построено на следующем принципе:

(1) Получаем декартово произведение справочника характеристики номенклатуры и ПВХ "ДопРеквизитыИСведения". У нас к каждой строке из справочника характеристики соединяются все свойства из ПВХ "ДопРеквизитыИСведения". Т.е. в таблице получаем все возможные комбинации характеристики и ее возможных свойств.  Ориентировочное число строк таблицы ~ 3 125 000 (примерно 25000 элементов справочника на примерно 125 свойств)

(2) К этой таблице (1) присоединяем табличную часть каждой характеристики. Ориентировочное число строк таблицы не меняется ~ 3 125 000

(3) К полученной таблице (2) присоединяем эталонную табличную часть со связью по свойствам из (1)

 

Дальше группируем по характеристике с определенными условиями:

  • Оба свойства (в эталонной и в табличной части) отсутствуют (NULL), т.е. не заданы
  • Когда в эталонной таблице значение отсутствует (NULL), а в табличной части не задано (проверяется на соответствие пустых типов) (&СписокПустыхЗначений)
  • Оба значения равны по значению
 
Логика решения правильная - посмотрим на план выполнения запроса в SQL.
 

1) Общий ПВЗ (здесь и далее план выполнения запроса). 

План выполнения запроса №1

1.а) Разберем подробно первую часть ПВЗ:

 

План выполнения запроса №2

Здесь оптимизатор SQL берет нашу НЕ индексированную эталонную таблицу (#tt7) и сливает с ПВХ "ДопРеквизитыИСведения". Всего свойств у нас 119 в #tt7 для 2 теста загоняется 100 свойств - итого на выходе получаем таблицу в 119 свойств. Пока все еще нормально :)

 

1.б) Вторая часть

 

План выполнения запроса №3

Здесь оптимизатор SQL загоняет во временную таблицу результат действия из 1.а) и далее делает совершенно логичный Nested Loops, т.е. как раз наше декартово произведение с итоговым результатом в 2 985 115 строк (25085 элементов на 119 свойств). Вообщем-то что было написано, то и получили :)

 

ПВЗ1 №4

 

1.в) Ну и напоследок тоже достаточно интересный кусок, когда мы к нашей трехмиллионой таблице добавляем данные с табличным частями

 

ПВЗ №4

 

Попадаем в кластерный индекс при поиске, но это нас не спасает - все равно на это левое соединение слиянием тратим 41% всего запроса. На выходе получаем опять 3 миллионную таблицу (с еще большим количеством колонок - размер таблицы на выходе 325 Мб). Ну и потом 4% времени тратим на расчет агрегата (на трех миллионах строк-то :))

 

В итоге данное решение задачи при всей своей неоднозначности на 2 тесте показывает очень достойные 30,614 секунд, но к сожалению, данное решение полностью проваливается на 1 тесте - 38,798 секунд (что вполне логично, так как первое декартово произведение делается без всякого условия).

 


 Решение №2.

Запрос = Новый Запрос;
Запрос.УстановитьПараметр("ЗаданныеСвойства", Объект.Свойства.Выгрузить());

Запрос.Текст =

"ВЫБРАТЬ
|   ЗаданныеСвойства.Свойство КАК Свойство,
|   ЗаданныеСвойства.Значение КАК Значение
|ПОМЕСТИТЬ ВТЗаданныеСвойства
|ИЗ
|   &ЗаданныеСвойства КАК ЗаданныеСвойства
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ДополнительныеРеквизитыИСведения.Ссылка КАК Ссылка,
|   ДополнительныеРеквизитыИСведения.ТипЗначения
|ПОМЕСТИТЬ ВТНенужныеСвойства
|ИЗ
|   ПланВидовХарактеристик.ДополнительныеРеквизитыИСведения КАК ДополнительныеРеквизитыИСведения
|ГДЕ
|   НЕ ДополнительныеРеквизитыИСведения.Ссылка В
|               (ВЫБРАТЬ
|                   ВТЗаданныеСвойства.Свойство
|               ИЗ
|                   ВТЗаданныеСвойства)
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ХарактеристикиНоменклатуры.Ссылка КАК Ссылка
|ПОМЕСТИТЬ ВТХарактеристикиДляАнализа
|ИЗ
|   Справочник.ХарактеристикиНоменклатуры КАК ХарактеристикиНоменклатуры
|ГДЕ
|   НЕ ХарактеристикиНоменклатуры.ДополнительныеРеквизиты.Свойство В
|               (ВЫБРАТЬ
|                   ВТНенужныеСвойства.Ссылка
|               ИЗ
|                   ВТНенужныеСвойства)
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ХарактеристикиНоменклатурыДополнительныеРеквизиты.Свойство,
|   ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение,
|   ВТХарактеристикиДляАнализа.Ссылка
|ПОМЕСТИТЬ ВТСвойстваДляАнализа
|ИЗ
|   ВТХарактеристикиДляАнализа КАК ВТХарактеристикиДляАнализа
|       ВНУТРЕННЕЕ СОЕДИНЕНИЕ Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК ХарактеристикиНоменклатурыДополнительныеРеквизиты
|       ПО ВТХарактеристикиДляАнализа.Ссылка = ХарактеристикиНоменклатурыДополнительныеРеквизиты.Ссылка
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ВТЗаданныеСвойства.Свойство,
|   ВТЗаданныеСвойства.Значение,
|   ВТХарактеристикиДляАнализа.Ссылка КАК Характеристика
|ПОМЕСТИТЬ ВТЭталонныеХарактеристики
|ИЗ
|   ВТЗаданныеСвойства КАК ВТЗаданныеСвойства
|       ЛЕВОЕ СОЕДИНЕНИЕ ВТХарактеристикиДляАнализа КАК ВТХарактеристикиДляАнализа
|       ПО (ИСТИНА)
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ВЛОЖЕННЫЙ.Характеристика КАК Характеристика,
|   ВЛОЖЕННЫЙ.Счетчик
|ИЗ
|   (ВЫБРАТЬ
|       СУММА(ВЫБОР
|               КОГДА ВТСвойстваДляАнализа.Свойство ЕСТЬ NULL
|                   ТОГДА 1
|               ИНАЧЕ 0
|           КОНЕЦ) КАК Счетчик,
|       ВТЭталонныеХарактеристики.Характеристика КАК Характеристика
|   ИЗ
|       ВТЭталонныеХарактеристики КАК ВТЭталонныеХарактеристики
|           ЛЕВОЕ СОЕДИНЕНИЕ ВТСвойстваДляАнализа КАК ВТСвойстваДляАнализа
|           ПО ВТЭталонныеХарактеристики.Свойство = ВТСвойстваДляАнализа.Свойство
|               И ВТЭталонныеХарактеристики.Значение = ВТСвойстваДляАнализа.Значение
|               И ВТЭталонныеХарактеристики.Характеристика = ВТСвойстваДляАнализа.Ссылка
|
|   СГРУППИРОВАТЬ ПО
|       ВТЭталонныеХарактеристики.Характеристика) КАК ВЛОЖЕННЫЙ
|ГДЕ
|   ВЛОЖЕННЫЙ.Счетчик = 0"
;

НачДата=ТекущаяУниверсальнаяДатаВМиллисекундах();
Результат = Запрос.Выполнить();
КонДата=ТекущаяУниверсальнаяДатаВМиллисекундах();

ВремяВыполнения = КонДата-НачДата;

Сообщить("Время выполнения - "+ВремяВыполнения+" миллисекунд");




 

Разбор решения №2.

 

Решение построено на следующем принципе:

(1) Сначала формируем временную таблицу со всеми свойствами характеристиками НЕ заданными в эталонной таблице

(2) Затем формируем вторую временную таблицу с характеристиками у которых свойства НЕ попадают в таблицу 1

(3) Формируем третью временную таблицу с табличной частью характеристик для характеристик из таблицы 2

(4) В таблице 4 опять наше любимое декартово произведение выбранных характеристик (2) и эталонной таблицы (опять 5000 * 100 ~ 500 000 строк)

(5) Далее соединяем (3) и (4) таблицы во ВЛОЖЕННОЙ таблице и сворачиваем

 

В запросе очевидные проблемы с производительностью. Во-первых, ни одна из временных таблиц не индексирована (это заставляет оптимизатор делать table scan'ы временных таблиц, см. далее). Во-вторых, опять декартово произведение.

 

Посмотрим на ПВЗ. Вообще 1С отправляет каждую инструкцию запроса отдельно (sic!), поэтому понять стоимость каждого отдельного запроса по отношению к пакету тяжело. 

 

(1) Для меня было опять же небольшим открытием, что временная таблица заполняемая по таблице значений формируется построчно, но SQL Profiler все расставил на свои места и действительно первая временная таблица формируется построчно (#tt14)

 

ПВЗ №1 Решения №2

 

(2) Во ПВЗ второго запроса - во первых есть Nested Loops в виде Left Anti Semi Join (Оператор Left Anti Semi Join возвращает каждую строку первого (верхнего) входа, для которой нет соответствующей строки во втором (нижнем) входе. Если в столбце Argument предиката соединения нет, то каждая строка будет считаться подходящей. Left Anti Semi Join is a logical operator.">Left Anti Semi Join является логическим оператором. - http://msdn.microsoft.com/ru-ru/library/ms191158.aspx). У нас предиката нет - поэтому будет по факту nested loops. Сортировка в нижней части запроса с моей точки зрения вызвана тем, что временная таблица #tt14 не проиндексирована. Сам по себе запрос копеечный, так что бог с ним.

 

ПВЗ №2 Решения №2

 

(3) Тут все нормально.

 

ПВЗ №3 Решения №2

 

(4) Декартово произведение (nested loops в виде left outer join) на 500 000 строк. Что удивительно дольше всего занимает вставка во временную таблицу (sic!)

 

ПВЗ №4 Решения №2

 

(5) Завершающий аккорд. Два TABLE SCAN на 500 000 с каждой стороны с сортировкой (индекса то нет) и соединением этих таблиц. Я где-то упустил ПВЗ для заполнения #tt18 тоже на 500 000 строк, но сути дела это не поменяет. 

 

ПВЗ №5 Решения №2

 

В итоге задачка решена верно, но есть проблемы с производительностью на 2 тесте. Разовое время выполнения 2 теста - 61,170 секунд, время выполнения 1 теста - 9,526 секунд. 

 

 


 Решение №3

Запрос = Новый Запрос;

Запрос.Текст =
"ВЫБРАТЬ
|   СвойстваЗначения.Свойство,
|   СвойстваЗначения.Значение
|ПОМЕСТИТЬ СвойстваЗначения
|ИЗ
|   &СвойстваЗначения КАК СвойстваЗначения
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ХарактеристикиНоменклатуры.Ссылка КАК Характеристика,
|   МИНИМУМ(ХарактеристикиНоменклатуры.Исключаем) КАК Исключаем
|ИЗ
|   (ВЫБРАТЬ РАЗЛИЧНЫЕ
|       ХарактеристикиНоменклатурыДополнительныеРеквизиты.Ссылка КАК Ссылка,
|       ВЫБОР
|           КОГДА Свойства.Свойство ЕСТЬ NULL
|                   ИЛИ Свойства.Значение ЕСТЬ NULL
|               ТОГДА ""Исключаем""
|           ИНАЧЕ ""Оставляем""
|       КОНЕЦ КАК Исключаем
|   ИЗ
|       Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК ХарактеристикиНоменклатурыДополнительныеРеквизиты
|           ЛЕВОЕ СОЕДИНЕНИЕ СвойстваЗначения КАК Свойства
|           ПО ХарактеристикиНоменклатурыДополнительныеРеквизиты.Свойство = Свойства.Свойство
|               И (ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение = Свойства.Значение
|                   ИЛИ ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение ЕСТЬ NULL
|                   ИЛИ ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение = НЕОПРЕДЕЛЕНО
|                   ИЛИ ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение = ЗНАЧЕНИЕ(Справочник.ЗначенияСвойствОбъектов.ПустаяСсылка))
|
|   ОБЪЕДИНИТЬ ВСЕ
|
|   ВЫБРАТЬ
|       СвойстваЗначения.Ссылка,
|       ВЫБОР
|           КОГДА ХарактеристикиНоменклатуры.Свойство ЕСТЬ NULL
|               ТОГДА ""Исключаем""
|           ИНАЧЕ ""Оставляем""
|       КОНЕЦ
|   ИЗ
|       (ВЫБРАТЬ РАЗЛИЧНЫЕ
|           ХарактеристикиНоменклатуры.Ссылка КАК Ссылка,
|           СвойстваЗначения.Свойство КАК Свойство,
|           СвойстваЗначения.Значение КАК Значение
|       ИЗ
|           СвойстваЗначения КАК СвойстваЗначения
|               ЛЕВОЕ СОЕДИНЕНИЕ Справочник.ХарактеристикиНоменклатуры КАК ХарактеристикиНоменклатуры
|               ПО (ИСТИНА)) КАК СвойстваЗначения
|           ЛЕВОЕ СОЕДИНЕНИЕ Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК ХарактеристикиНоменклатуры
|           ПО (ХарактеристикиНоменклатуры.Ссылка = СвойстваЗначения.Ссылка)
|               И СвойстваЗначения.Свойство = ХарактеристикиНоменклатуры.Свойство
|               И (СвойстваЗначения.Значение = ХарактеристикиНоменклатуры.Значение
|                   ИЛИ ХарактеристикиНоменклатуры.Значение ЕСТЬ NULL
|                   ИЛИ ХарактеристикиНоменклатуры.Значение = НЕОПРЕДЕЛЕНО
|                   ИЛИ ХарактеристикиНоменклатуры.Значение = ЗНАЧЕНИЕ(Справочник.ЗначенияСвойствОбъектов.ПустаяСсылка))) КАК ХарактеристикиНоменклатуры
|
|СГРУППИРОВАТЬ ПО
|   ХарактеристикиНоменклатуры.Ссылка
|
|ИМЕЮЩИЕ
|   МИНИМУМ(ХарактеристикиНоменклатуры.Исключаем) = ""Оставляем"""
;
ЭтотОбъект = РеквизитФормыВЗначение("Объект");
Запрос.УстановитьПараметр("СвойстваЗначения", ЭтотОбъект.Свойства.Выгрузить());

НачДата=ТекущаяУниверсальнаяДатаВМиллисекундах();
Результат = Запрос.Выполнить();
КонДата=ТекущаяУниверсальнаяДатаВМиллисекундах();

ВремяВыполнения = КонДата-НачДата;

Сообщить("Время выполнения - "+ВремяВыполнения+" миллисекунд");




 

 Разбор решения №3.


Решение №3 определенно похоже на решение №1, но объединяет результаты двух запросов:

(1)  Левое соединение ТЧ характеристик с эталонной таблице по свойству и значению

(2) "Привычное" декартово произведение эталонной таблицы и ВСЕХ характеристик с их табличными частями. Потом к этой таблице присоединяем табличную часть характеристик и определяем характеристики с лишними характеристиками. Ориентировочная оценка количества строк в таблице ~ 2 500 000 (100 строк эталонной ТЧ * 25 000 элементов справочника). 

 

 Как обычно смотрим ПВЗ.

 

(2а)

ПВЗ №1 Решения №3

(2б)

 

ПВЗ №2 Решения №3

 

В ПВЗ (2а) и (2б) видно как раскладывает выполнение этих запросов SQL. В (2а) вверху 1 запрос - затраты на него нулевые, внизу 2 запрос объединения - 50% затрат уходят на сортировку "огромной" (2 508 500 строк по профайлеру) таблицы полученной декартовым произведением эталона со справочником характеристик для соединения с табличной частью свойств (_Reference114_VT1317).  25% уходит на распараллеливание потоков связанных с обработкой этой таблицы. И еще 11% уже в (2б) на расчет агрегата после объединения. Что удивительно NESTED LOOPS декартова произведения достаточно мало затратен - 1%. Ну а в итоге решение №3 показывает достаточно слабый результат во 2 тесте - 66,292 секунд. Но (!) показывает впечатляющий результат на 1 тесте - 1,648 секунд!  

P.S. Не удержался и решил все-таки посмотреть ПВЗ решения №3 на 1 тесте, чтобы понять откуда все-таки берется эта 1 секунда.

 

ПВЗ №3 Решения №3

 

Первое, что необычное бросилось в глаза - это создание Bitmap индекса, а все остальное вроде ожидаемо - 580 000 строк в первой таблице (5 000 элементов  * 100 свойств для 2 теста + 20 000 элементов * 4 свойства для 1 теста) и 100 000 строк во второй таблице (4 строки эталонной на 25 000 характеристик). Не очень понятно пока за счет чего 1 секунда, но факт остается фактом - 1 секунда :)

  


 Решение №4


Запрос = Новый Запрос;

Запрос.Текст =
"ВЫБРАТЬ
|   ТЗСвойств.Свойство КАК Свойство,
|   ТЗСвойств.Значение КАК Значение
|ПОМЕСТИТЬ СВОЙСТВА
|ИЗ
|   &ТЗСвойств КАК ТЗСвойств
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ РАЗЛИЧНЫЕ
|   Характеристики.Ссылка КАК Характеристика
|ПОМЕСТИТЬ ВозможныеХарактеристики
|ИЗ
|   Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК Характеристики
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ВозможныеХарактеристики.Характеристика,
|   СВОЙСТВА.Свойство,
|   СВОЙСТВА.Значение
|ПОМЕСТИТЬ НАБОР
|ИЗ
|   СВОЙСТВА КАК СВОЙСТВА,
|   ВозможныеХарактеристики КАК ВозможныеХарактеристики
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ВозможныеХарактеристики.Характеристика
|ИЗ
|   ВозможныеХарактеристики КАК ВозможныеХарактеристики
|       ЛЕВОЕ СОЕДИНЕНИЕ (ВЫБРАТЬ РАЗЛИЧНЫЕ
|           Свойства.Ссылка КАК Характеристика
|       ИЗ
|           Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК Свойства
|               ЛЕВОЕ СОЕДИНЕНИЕ НАБОР КАК НАБОР
|               ПО Свойства.Ссылка = НАБОР.Характеристика
|                   И Свойства.Свойство = НАБОР.Свойство
|                   И Свойства.Значение = НАБОР.Значение
|       ГДЕ
|           НАБОР.Характеристика ЕСТЬ NULL ) КАК СЛишнимиСвойствами
|       ПО ВозможныеХарактеристики.Характеристика = СЛишнимиСвойствами.Характеристика
|       ЛЕВОЕ СОЕДИНЕНИЕ (ВЫБРАТЬ РАЗЛИЧНЫЕ
|           НАБОР.Характеристика КАК Характеристика
|       ИЗ
|           НАБОР КАК НАБОР
|               ЛЕВОЕ СОЕДИНЕНИЕ Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК Свойства
|               ПО НАБОР.Характеристика = Свойства.Ссылка
|                   И НАБОР.Свойство = Свойства.Свойство
|                   И НАБОР.Значение = Свойства.Значение
|       ГДЕ
|           Свойства.Ссылка ЕСТЬ NULL ) КАК СНедостающимиСвойствами
|       ПО ВозможныеХарактеристики.Характеристика = СНедостающимиСвойствами.Характеристика
|ГДЕ
|   СЛишнимиСвойствами.Характеристика ЕСТЬ NULL
|   И СНедостающимиСвойствами.Характеристика ЕСТЬ NULL "
;


Обработка = РеквизитФормыВЗначение("Объект");

Запрос.УстановитьПараметр("ТЗСвойств", Обработка.Свойства.Выгрузить(, "Свойство, Значение"));

НачДата=ТекущаяУниверсальнаяДатаВМиллисекундах();
Результат = Запрос.Выполнить();
КонДата=ТекущаяУниверсальнаяДатаВМиллисекундах();

ВремяВыполнения = КонДата-НачДата;

Сообщить("Время выполнения - "+ВремяВыполнения+" миллисекунд");

 


 

Разбор решения №4


Пройдемся по технологии:

 

(1) Эталонная таблица

(2) Все характеристики - таблица 25 тыс. строк

(3) Декартово произведение всех характеристик и свойств - таблица 2,5 млн. строк - НАБОР

(4) Левое соединение таблицы (2) с двумя подзапросами (4-1) - Табличные части характеристик левое соединение с (3) таблицей и (4-2) - (3) таблица левое соединение с табличной частью характеристик. В итоге в (4) таблице получаем данные какие свойства для характеристик лишние и недостающие и получаем нужный результат. Интересно, что в обоих подзапросах работает НЕ индексированная таблица (3) размером 2,5 млн. строк

 

Данное решение в итоге выливается в длинный ПВЗ, который не влазит на экран, но мы рассмотрим самую правую часть ПВЗ (его начало), так как в ней сосредоточены основные затраты.

 

 

ПВЗ №1 Решение №4


На ПВЗ одинарным подчеркиванием отмечены действия с таблицей в 2,5 млн строк, а двойным подчеркиванием с таблицей в 0,5 млн строк. Опять привычные 40% на сортировку таблицы в 2,5 млн строк. В итоге решение собирает в себе недостатки производительности решений, рассмотренных до этого, и показывает время на 2 тесте - 120,145 секунд! Но(!), как было сказано вначале статьи, текущие замеры времении показываются по моему ноутбуку, а оценка результатов происходила на тестовом сервере. Каждое решение запускалось 10 раз и выбирались 3 минимальных времени выполнения каждого, так вот это решение на 2 тесте несколько раз показывало уровень быстродействия решения №1, я предполагаю, что SQL в тот момент как-то использовало свой кэш,но увы - получить ПВЗ для быстрого варианта выполнения решения №4 мне не удалось. А на первом тесте решение показывает очень достойный результат в 5,321 секунд. 

 


 

 Решение №5


Запрос = Новый Запрос;

//Считаем, что если свойство не указано - тогда строчка не вноситься в табличную часть "Дополнительные реквизиты".
Запрос.Текст =
"ВЫБРАТЬ
|   Таблица.Свойство КАК Свойство,
|   Таблица.Значение
|ПОМЕСТИТЬ Таблица
|ИЗ
|   &Свойства КАК Таблица
|
|ИНДЕКСИРОВАТЬ ПО
|   Свойство
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   Спр.Ссылка КАК Ссылка,
|   Спр.Свойство КАК Свойство,
|   Спр.Значение
|ПОМЕСТИТЬ Справочник
|ИЗ
|   Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК Спр
|
|ИНДЕКСИРОВАТЬ ПО
|   Свойство,
|   Ссылка
|;
|
|////////////////////////////////////////////////////////////////////////////////
|ВЫБРАТЬ
|   ХарактеристикиНоменклатуры.Ссылка КАК Характеристика
|ИЗ
|   Справочник.ХарактеристикиНоменклатуры КАК ХарактеристикиНоменклатуры
|ГДЕ
|   НЕ 1 В
|               (ВЫБРАТЬ ПЕРВЫЕ 1
|                   1
|               ИЗ
|                   Таблица ЛЕВОЕ СОЕДИНЕНИЕ Справочник
|                       ПО
|                           Таблица.Свойство = Справочник.Свойство
|                               И Справочник.Ссылка = ХарактеристикиНоменклатуры.Ссылка
|               ГДЕ
|                   Справочник.Ссылка ЕСТЬ NULL
|                   ИЛИ Таблица.Значение <> ЕСТЬNULL(Справочник.Значение, НЕОПРЕДЕЛЕНО)
|
|               ОБЪЕДИНИТЬ ВСЕ
|
|               ВЫБРАТЬ ПЕРВЫЕ 1
|                   1
|               ИЗ
|                   Справочник ЛЕВОЕ СОЕДИНЕНИЕ Таблица
|                       ПО
|                           Таблица.Свойство = Справочник.Свойство
|               ГДЕ
|                   Справочник.Ссылка = ХарактеристикиНоменклатуры.Ссылка
|                   И ЕСТЬNULL(Таблица.Значение, НЕОПРЕДЕЛЕНО) <> Справочник.Значение)"
;
Запрос.УстановитьПараметр("Свойства", Объект.Свойства.Выгрузить());
НачДата=ТекущаяУниверсальнаяДатаВМиллисекундах();
Результат = Запрос.Выполнить();
КонДата=ТекущаяУниверсальнаяДатаВМиллисекундах();

ВремяВыполнения = КонДата-НачДата;

 


 

Разбор решения №5


Достаточно оригинальное решение задания. Во-первых, это было первое решение, где временные таблицы были проиндексированы. Во-вторых, подход достаточно интересен (использование конструкции НЕ 1 В (...) ). 

Что получается:

 

(1) Эталонная

(2) Справочник

(3) Выбираем все характеристики, у которых выполняется правило, что не найдено ни одной строки лишней и ни одной строки недостающей. Не часто вообще в 1С можно встретить коррелированные вложенные запросы.

 

И стандартно смотрим на ПВЗ запроса, но перед тем как смотреть, нужно понимать, что данная конструкция

 

|               ВЫБРАТЬ ПЕРВЫЕ 1
|                   1
|               ИЗ
|                   Таблица ЛЕВОЕ СОЕДИНЕНИЕ Справочник
|                       ПО
|                           Таблица.Свойство = Справочник.Свойство
|                               И Справочник.Ссылка = ХарактеристикиНоменклатуры.Ссылка
|               ГДЕ
|                   Справочник.Ссылка ЕСТЬ NULL
|                   ИЛИ Таблица.Значение <> ЕСТЬNULL(Справочник.Значение, НЕОПРЕДЕЛЕНО)
|
|               ОБЪЕДИНИТЬ ВСЕ
|
|               ВЫБРАТЬ ПЕРВЫЕ 1
|                   1
|               ИЗ
|                   Справочник ЛЕВОЕ СОЕДИНЕНИЕ Таблица
|                       ПО
|                           Таблица.Свойство = Справочник.Свойство
|               ГДЕ
|                   Справочник.Ссылка = ХарактеристикиНоменклатуры.Ссылка
|                   И ЕСТЬNULL(Таблица.Значение, НЕОПРЕДЕЛЕНО) <> Справочник.Значение


будет выполняться для КАЖДОГО элемента справочника характеристики. Ну и как обычно - ПВЗ


(1) Первая таблица из объединения внутри конструкции. Проблема в следующем: индекс НЕ работает! На это указывает Nested Loops с левым внешним соединением и Rid Lookup (msdn и blogs.msdn(англ) ). Не работает он из-за колоники "значение", которую нельзя проиндексировать, так как она содержит строки неограниченной длины. Для первой таблицы оптимизатор использовует Table Scan (это выгоднее чем Index Seek + Rid Lookup).

ПВЗ №1 Решение №5


(2) Вторая часть внутренней конструкции, все тоже самое, только еще загоняет в буфер эталонную


ПВЗ №2 Решения №5


 


(3) Ну и последняя часть - как итог (1) и (2).

 

ПВЗ №3 Решение №5

 

Время выполнения 2 теста - 20,110 секунд. Время выполнения 1 теста - 10,176. Я не оценивал запросы на показатели быстродействия с точки зрения СУБД (Reads,Writes,CPU), так как их тяжело просуммировать и вычленить нужные, но мне кажется этот запрос один из самых оптимальных по показателям быстродействия.

 


Итоги


Ниже приведена сводная таблица по времени выполнения каждого решения по обоим тестам.

1 тест, с        

2 тест, с        
Решение №1       38,798 30,614
Решение №2 9,526 61,170
Решение №3 1,648 66,292
Решение №4 5,321 120,145
Решение №5 10,176 20,110

 





На этом я заканчиваю рассмотрение присланных решений (за рамками статьи осталось рассмотрение еще нескольких похожих решений). В своей статье я постарался не просто привести решения, а показать планы выполнения каждого запроса. Чтобы продемонстировать следующие тезисы: во-первых, всегда нужно думать о быстродействии, даже при решении маленьких задач, так как при масштабировании и росте базы - время выполнения одной и той же операции может измениться кардинально (свеж пример одного из решений, которое до тиражирования характеристики для теста №2 сильно опережало остальные по времени выполнения теста №1, а после заполнения базы характеристиками для теста №2 откатилось по времени выполнения на 4-5 место); во-вторых, я постарался показать, что происходит при сложных операциях в запросах на уровне СУБД; в-третьих, нужно стараться всегда помнить о необходимости индексировать временные таблицы, так как отсутствие индекса приводит к table scan'ам и сортировкам, хотя в этом решении индексирование никак не помогает из-за наличия колонки со строкой неограниченной длины (что опять же видно только в SQL Profiler).

 

Надеюсь, что данный труд был не бесполезен и кому-то поможет в будущем - готов обсудить содержание статьи.


-----------

С уважением, Королев Алексей

Руководитель отдела внедрения / Технический руководитель проектов

Офис «м. Савеловская» (Москва) - http://делаемпроекты.рф/

Компания «Первый БИТ» (1С:Бухучет и Торговля)



Скачать файлы

Наименование Файл Версия Размер Кол. Скачив.
Исходное задание
.pdf 255,78Kb
04.12.12
11
.pdf 255,78Kb 11 Скачать
Шаблон обработки
.epf 10,14Kb
04.12.12
18
.epf 10,14Kb 18 Скачать

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Павел Баскир (PBaskir) 25.12.12 11:52
Готовы ответить на вопросы
2. Hany (Hany) 25.12.12 12:34
немного офф:
про псевдоновшество ТекущаяУниверсальнаяДатаВМиллисекундах.
функционал существовал во всех версиях 1С8:

ТекущаяУниверсальнаяДатаВМиллисекундах = (ТекущаяДата() - Дата(0001,01,01)) * 1000

по теме, отклоняясь от типовой конфы:
Если у организации часто и густо выполняется поиск по сочетанию свойств и их значений, то можно и извратиться, чтобы получить выигрыш во времени.
В конфигурацию в ТЧ можно было добавить текстовый реквизит ИндексСвойствоЗначение, куда записывать (в триггере ПриЗаписи) значение Свойство1+Значение1+... и т.д., получая строку, по которой было быстрее искать/соединять и прочее.

В целом - статья супер, побольше б таких здесь, разобрала все запросы с большим удовольствием. Спасибо автору!
3. Трактор Трактор (Трактор) 25.12.12 13:43
(2) Hany,
куда записывать (в триггере ПриЗаписи) значение Свойство1+Значение1+... и т.д., получая строку

Кривое решение. Если изменится представление свойства или значения, то ключ станет недействительным. Если так делать, то надо ещё запрещать изменения в справочнике свойств и всех таблицах, которые могут выступать в качестве значений. Дофигища запретов.

Суть задания в проверке умения писать запросы. Хорошее задание.

Хотелось бы ещё увидеть решение от составителей задачи.
4. Яков Коган (Yashazz) 25.12.12 13:54
Я такие вещи делал, компонуя запрос в цикле по значениям характеристик... Попробую найти и выложить, если интересно. Получалось громоздко, но экономично.
5. Gr0ck (gr0ck) 25.12.12 15:41
Посмотрю запросики. А так спасибо за задачки, интересно иногда порешать что-то такое, мозг размять :)
Жду еще задачек)
6. Сергей (ildarovich) 25.12.12 16:46
Интересно узнать, а насколько решения, использующие запрещенные условиями сравнения на количества строк, выигрывают у победителей на тестовых примерах? - То есть не делают ли эти ограничения задачу "надуманной", далекой от практики?
7. Трактор Трактор (Трактор) 25.12.12 16:54
(6) ildarovich,
То есть не делают ли эти ограничения задачу "надуманной", далекой от практики?

Делают. Я производительность не мерял, но при использовании количества свойств запрос получается гораздо проще.
8. Антон Щекачев (ASchekachev) 25.12.12 16:54
(6) ildarovich, для решения реальной задачи с большими объемами, конечно же такую задачу нужно решать другими способами, как минимум с доработкой типового решения. В рамках этой задачи, ограничение по количеству строк было сделано осмысленно, для усложнения алгоритма запроса. Таким образом мы оценивали два момента: первый, алгоритм. Второй, оптимальность в рамках выбранного алгоритма.

Текст запроса при сравнении на количество строк получается гораздо проще и производительней.
9. Serj (Serj1C) 26.12.12 09:05
(2) Hany,
ТекущаяУниверсальнаяДатаВМиллисекундах()	= 63 492 116 654 638
(ТекущаяДата() - Дата(0001,01,01)) * 1000	= 63 492 116 654 000

какие-то тут округленные миллисекунды
krolya; ildarovich; +2 Ответить 1
10. Hany (Hany) 26.12.12 12:04
(9) Serj1C, да, вы правы, по формуле рассчитываются только секунды.
Поясню, почему я так подумала. В публикации с пом. метода ТекущаяУниверсальнаяДатаВМиллисекундах() рассчитывается длительность выполнения запроса. Я для таких же целей пользуюсь формулой, поэтому и привела ее здесь. Прошу меня извинить сообщество и автора за дезинформацию:)
11. Алексей Королев (krolya) 26.12.12 19:24
Во-первых, всем, спасибо за комментарии!

(2) Hany,
Действительно ТекущаяДата() меряет только секунды, поэтому сравнивать методы неправильно :)

(3) Трактор,
Мы сделаем следующим образом. Я эту задачку дам нашим экспертам для решения с теми же условиями и проведу замеры выполнения их решений :) Договорились? Постараемся на этой неделе организовать.

(6) ildarovich,
Решения с количеством получаются быстрее, но смысл задачки именно в алгоритме. Я думаю вполне возможно придумать задачу, где по количеству уже нельзя сравнивать, а только по содержанию.

2 all: насколько интересны такие конкурсы? я думаю, что мы вполне можем организовывать подобные конкурсы с некоторой регулярностью.
Трактор; +1 Ответить 2
12. Трактор Трактор (Трактор) 26.12.12 23:21
(11) krolya,
насколько интересны такие конкурсы?

Очень интересны.
13. Сергей (ildarovich) 27.12.12 13:40
(11) Конкурсы очень интересны. Тем более с такими задачами (богатыми вариантами решений).

Статья классная. Много ссылок, рисунков, новой и интересной информации, которую нужно еще будет рассмотреть внимательно, а не по-диагонали.

Некоторую неудовлетворенность вызывает то, что рассмотрены не все возможные варианты (готов добавить пару) и не назван правильный.
В результате люди, которые привыкли "выстрелить, перезарядить, и еще раз выстрелить, а не светить фонариком и спрашивать: - "Кто там?"" и не выстрелили и при свете Вашего фонарика так и не узнали: "кто там?".

Вариант 5 ... коррелированные запросы ну очень медленно работают на файловых базах (видимо, поэтому редко встречаются в типовых). И их, кажется, нужно тестировать особо: на первом запросе (для соответствия практике), а не по среднему из трех лучших из 10-ти. Результаты бывают очень разными и не в пользу коррелированных запросов. Впрочем, это нужно еще перепроверить.
14. Алексей Королев (krolya) 27.12.12 15:02
(13) ildarovich,

Спасибо за отзыв, верного решения специально не называю, так как абсолютного верного решения нет. У каждого решения свои плюсы и минусы, какие-то решения работают быстрее, какие-то медленнее.

Замер для статьи я проводил всего один-два раза, а для определения официального победителя несколько раз (около 9-10 запусков и выбором трех минимальных).

Количество решений рассмотренных ограниченно 5, так как очень много времени уходит на разбор каждого решения и оформление этого в статью, но если сообществу интересно готов рассмотреть и дополнить предложенные решения - прогнать на тестовой базе и проинспектировать в профайлере. Отправляйте решения на alkorolev@1cbit.ru - посмотрю обязательно.

Решение от разработчиков не выкладываю, так как оно по сути совпадает с одним из рассмотренных.
15. Алексей Королев (krolya) 27.12.12 20:31
Ну вот и подоспели первые результаты наших экспертов ;) Автор решения: Александр Давыдов. Кстати для верности я готов выслать обработки для тиражирования характеристик, чтобы любой желающий мог проверить приведенные цифры.

СписокПустыхЗначений = Новый СписокЗначений;
МассивТипов = Новый Массив(1);
Для каждого
Тип Из Метаданные.ПланыВидовХарактеристик.ДополнительныеРеквизитыИСведения.Тип.Типы() Цикл
Если
Тип = Тип("Булево") Тогда
Продолжить;
// Для типа булево нет пустых значений
КонецЕсли;
МассивТипов[0] = Тип;
ОписаниеТипа = Новый ОписаниеТипов(МассивТипов);
СписокПустыхЗначений.Добавить(ОписаниеТипа.ПривестиЗначение());
КонецЦикла;
СписокПустыхЗначений.Добавить(Неопределено);

Запрос = Новый Запрос;
Запрос.Текст =
"ВЫБРАТЬ
| Свойства.Свойство КАК Свойство,
| Свойства.Значение КАК Значение
|ПОМЕСТИТЬ ЗаданныеСвойства
|ИЗ
| &Свойства КАК Свойства
|
|ИНДЕКСИРОВАТЬ ПО
| Свойство
|;
|
|////////////////////////////////////////////////////////////­////////////////////
|ВЫБРАТЬ
| ВложенныйЗапрос.Ссылка КАК Характеристика
|ИЗ
| (ВЫБРАТЬ
| ВложенныйЗапрос.Ссылка КАК Ссылка,
| ВложенныйЗапрос.Свойство КАК Свойство,
| СУММА(ВложенныйЗапрос.СвойствоПодходит) КАК СвойствоПодходит
| ИЗ
| (ВЫБРАТЬ
| ХарактеристикиНоменклатуры.Ссылка КАК Ссылка,
| Свойства.Свойство КАК Свойство,
| 1 КАК СвойствоПодходит
| ИЗ
| Справочник.ХарактеристикиНоменклатуры КАК ХарактеристикиНоменклатуры,
| ЗаданныеСвойства КАК Свойства
|
| ОБЪЕДИНИТЬ ВСЕ
|
| ВЫБРАТЬ
| ХарактеристикиНоменклатурыДополнительныеРеквизиты.Ссылка,
| ХарактеристикиНоменклатурыДополнительныеРеквизиты.Свойство,
| ВЫБОР
| КОГДА ЗаданныеСвойства.Значение = ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение
| ТОГДА 1
| ИНАЧЕ 0
| КОНЕЦ
| ИЗ
| Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК ХарактеристикиНоменклатурыДополнительныеРеквизиты
| ЛЕВОЕ СОЕДИНЕНИЕ ЗаданныеСвойства КАК ЗаданныеСвойства
| ПО ХарактеристикиНоменклатурыДополнительныеРеквизиты.Свойство = ЗаданныеСвойства.Свойство
| ГДЕ
| НЕ ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение В (&СписокПустыхЗначений)) КАК ВложенныйЗапрос
|
| СГРУППИРОВАТЬ ПО
| ВложенныйЗапрос.Ссылка,
| ВложенныйЗапрос.Свойство) КАК ВложенныйЗапрос
|
|СГРУППИРОВАТЬ ПО
| ВложенныйЗапрос.Ссылка
|
|ИМЕЮЩИЕ
| МИНИМУМ(ВложенныйЗапрос.СвойствоПодходит) = 2"
;


Запрос.УстановитьПараметр("Свойства", Объект.Свойства.Выгрузить());
Запрос.УстановитьПараметр("СписокПустыхЗначений", СписокПустыхЗначений);

НачДата=ТекущаяУниверсальнаяДатаВМиллисекундах();
Результат = Запрос.Выполнить();
КонДата=ТекущаяУниверсальнаяДатаВМиллисекундах();



Ну и как результат - см. скриншоты

PS Кто меньше? :))))
Прикрепленные файлы:
16. Валерий Агеев (awa) 27.12.12 22:41
Мое решение в статье приведено первым. Согласен, не оптимально, но, как мне кажется, оно единственное удовлетворяет условиям конкурса. Очень удивлен, что рассматривается только скорость выполнения, планы запросов и т.д. Но, такое впечатление, что правильность результатов никто не проверял. А зачем нужно быстрое решение, выдающее неверный ответ?
Выполняя задание, я сделал в базе несколько характеристик для проверки. С разными наборами свойств характеристик и их значений, в том числе с разными пустыми значениями свойств (Неопределено, пустые ссылки некоторых справочников). Теперь же, после публикации решений, я взял все решения и проверил их так, как проверял свое решение.

Первая проверка - что если мы не зададим ни одной характеристики? Очевидно, по условиям конкурса, мы должны найти все характеристики без свойств вообще или только имеющие свойства с пустыми значениями. Результаты проверки всех решений в прикрепленном файле Проверка1.png

Вторая проверка - задаем значения двух свойств, причем в базе есть несколько характеристик, удовлетворяющих условиям, некоторые с пустыми значениями свойств. Результат в прикрепленном файле Проверка2.png

Номера обработок соответствуют номерам решений в статье, номер 6 - это решение из поста (15). Кстати, в этом решении позаимствован кусок кода из моего решения (формирование списка пустых значений), а значит решение было сделано глядя на остальные решения, и тем не менее, оно тоже, имхо, ошибочно.

Считаю проведение конкурса не до конца подготовленным. Сама идея конкурсов великолепна, но требуется более внимательно и аккуратно формировать условия и проверять результаты.
Прикрепленные файлы:
mpudy; krolya; ildarovich; Трактор; +4 Ответить 2
17. Роман Романов (romansun) 27.12.12 23:41
отличная статья, отличный конкурс!!

P.S. заделаем свой 1C-ный sql-ex.ru? ;)
18. Роман Романов (romansun) 28.12.12 12:44
а можно выложить тестовую базу с данными куда-нить?

ну или обработки для тиражирования характеристик
19. Dmitry Malyshev (SaperVodichka) 29.12.12 16:48
Коллеги, не совсем понял ограничения задачи (уточните, пожалуйста), иначе я бы так сделал.

См. ниже:
Таблицу поиска помещаем по временную таблицу, количество свойств поиска задаем в параметре. Делать левое соединение с таблицей допсвойств зарактеристик, где совпадение получает +1, а какое-то другое свойство -1. Группируем по ссылке на характеристику, получая показатель АнализСвойств.
Добавляем условие. В итоге получаем только нужные характеристики. (Для нужной характеристики значение показателя АнализСвойств будет равно количеству свойств поиска, а для неподходящих характеристик - не будет равно.)

Запрос = Новый Запрос;
Запрос.УстановитьПараметр("СвойстваПоиска", Объект.Свойства.Выгрузить());
Запрос.УстановитьПараметр("КоличествоСвойствПоиска", Объект.Свойства.Количество());

Запрос.Текст = "ВЫБРАТЬ
| СвойстваПоиска.Свойство КАК Свойство,
| СвойстваПоиска.Значение КАК Значение
|ПОМЕСТИТЬ ВТСвойстваПоиска
|ИЗ
| &СвойстваПоиска КАК СвойстваПоиска
|
|ИНДЕКСИРОВАТЬ ПО
| Свойство,
| Значение
|;
|
|////////////////////////////////////////////////////////////­////////////////////
|ВЫБРАТЬ
| ВложенныйЗапрос.Ссылка,
| ВложенныйЗапрос.АнализСвойств
|ИЗ
| (ВЫБРАТЬ
| ХарактеристикиНоменклатурыДополнительныеРеквизиты.Ссылка КАК Ссылка,
| СУММА(ВЫБОР
| КОГДА ВТСвойстваПоиска.Значение ЕСТЬ NULL
| ТОГДА -1
| ИНАЧЕ 1
| КОНЕЦ) КАК АнализСвойств
| ИЗ
| Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК ХарактеристикиНоменклатурыДополнительныеРеквизиты
| ЛЕВОЕ СОЕДИНЕНИЕ ВТСвойстваПоиска КАК ВТСвойстваПоиска
| ПО ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение = ВТСвойстваПоиска.Значение
| И ХарактеристикиНоменклатурыДополнительныеРеквизиты.Свойство = ВТСвойстваПоиска.Свойство
|
| СГРУППИРОВАТЬ ПО
| ХарактеристикиНоменклатурыДополнительныеРеквизиты.Ссылка) КАК ВложенныйЗапрос
|ГДЕ
| ВложенныйЗапрос.АнализСвойств = &КоличествоСвойствПоиска";

НачДата = ТекущаяУниверсальнаяДатаВМиллисекундах();
Результат = Запрос.Выполнить();
Сообщить("Время выполнения - "+ТекущаяУниверсальнаяДатаВМиллисекундах() - НачДата + " миллисекунд");
20. Dmitry Malyshev (SaperVodichka) 29.12.12 17:07
Я просто предлогаю свое решение как очень простое. Смотрю у уважаемых колег решения все незаурядные. Цель теста клиентоориентированая была или для проверки смекалки?
21. Dmitry Malyshev (SaperVodichka) 29.12.12 17:09
22. Роман Романов (romansun) 29.12.12 17:37
(21)

&КоличествоСвойствПоиска

не, анализ на количество строк по условиям конкурса недопустим


нельзя использовать сравнение на количество строк
23. Dmitry Malyshev (SaperVodichka) 29.12.12 17:45
(22) romansun, посмотри "на количество строк недопустим" - 1) это значит нельзя передавать в параметры запроса количество строк в таблице свойсв (это у меня сделано); 2) Или нельзя отбирать характеристики по количеству строк в ТЧ Дополнительные свойства (я это не использовал)?
24. Роман Романов (romansun) 29.12.12 20:10
(23) ну, тут всё просто, можно перефразировать так - нельзя в запрос передавать никакой информации про количество чего-либо :)
25. Алексей Королев (krolya) 29.12.12 22:26
Всем, добрый вечер. Отвечаю нерегулярно, так как нахожусь в отпуске. Итак,

(16) awa,

Спасибо за правильный и верный комментарий. Я оценивал на правильность решения по своим тестам, ваши тесты оказались правильней и корректней. Так как ваше решение оказалось максимально правильным, то мы приняли решение наградить вас главным призом конкурса и вручить вам книгу "Профессиональная разработка в системе 1С:Предприятия 8". Прошу сообщить мне в личку - как лучше вам доставить книгу: курьером или заберете лично. Поздравляем!
26. Алексей Королев (krolya) 29.12.12 22:30
(18) romansun,

Базу выложить я не могу, так как база типовая УТ 11. А вот обработки для тиражирования характеристики пожалуйста.

Код для заполнения обработки для теста:

&НаСервере
Процедура ПриСозданииНаСервере(Отказ, СтандартнаяОбработка)
Характеристика = Справочники.ХарактеристикиНоменклатуры.НайтиПоНаименованию("Сто свойств");
Запрос = Новый Запрос;
Запрос.Текст =
"ВЫБРАТЬ
| ХарактеристикиНоменклатурыДополнительныеРеквизиты.Свойство,
| ХарактеристикиНоменклатурыДополнительныеРеквизиты.Значение
|ИЗ
| Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК ХарактеристикиНоменклатурыДополнительныеРеквизиты
|ГДЕ
| ХарактеристикиНоменклатурыДополнительныеРеквизиты.Ссылка = &Ссылка";
Запрос.УстановитьПараметр("Ссылка", Характеристика);

//Выборка = .Выбрать();
Объект.Свойства.Загрузить(Запрос.Выполнить().Выгрузить());

КонецПроцедуры
Прикрепленные файлы:
СозданиеХарактеристики.epf
ТиражированиеХарактеристики.epf
27. Алексей Королев (krolya) 29.12.12 22:36
(24) romansun,

Вы правы. По условиям задачи сравнение на количество свойств не допустимо.
28. abc2000 (abc2000) 04.01.13 03:06
1-ым БИТовцам в копилку:

Декартово произведение - построение новой таблицы из 2-ух или более исходных путем включения в нее строк, образованных всеми возможными вариантами конкатенации (слияния) строк исходных таблиц. Количество строк новой таблицы определяется как произведение количеств строк всех исходных таблиц.

Декартово произведение это Cross Join, ну никак не Левое Соединение.
29. komratov (a.komratov) 10.01.13 11:57
Добрый день,

1) по поводу индексирования временных таблиц. Этот вопрос у меня возник во время выполнения задания, но решил я его в пользу "не индексировать", т.к. не мог сообразить, что больше времени займёт: индексирование временной таблицы или перебор в результирующем запросе. И посчитал, что перебор в результирующем запросе будет всего один раз, поэтому индекс строить не стал. Хотя посмотреть, как будет себя вести индексированный вариант интересно.

2) Решение эксперта из ПервогоБита понравилось.
30. abc2000 (abc2000) 11.01.13 00:37
Решение 1-го Бита из (15), можно тоже признать не прошедшим конкурс. Пустые значения проверили, хотя в задании это не было явно оговорено, а про двойников забыли ?
Прикрепленные файлы:
31. Сергей (ildarovich) 11.01.13 18:39
Вот вариант, как кажется, не содержащий неточностей и показывающий наилучшее время
СписокПустыхЗначений = Новый СписокЗначений; 
МассивТипов = Новый Массив(1); 
Для каждого Тип Из Метаданные.ПланыВидовХарактеристик.ДополнительныеРеквизитыИСведения.Тип.Типы() Цикл 
    Если Тип = Тип("Булево") Тогда 
        Продолжить; // Для типа булево нет пустых значений 
    КонецЕсли; 
    МассивТипов[0] = Тип; 
    ОписаниеТипа = Новый ОписаниеТипов(МассивТипов); 
    СписокПустыхЗначений.Добавить(ОписаниеТипа.ПривестиЗначение()); 
КонецЦикла; 
СписокПустыхЗначений.Добавить(Неопределено); 

Запрос = Новый Запрос; 
Запрос.Текст = 
"ВЫБРАТЬ
|	Свойства.Свойство КАК Свойство,
|	Свойства.Значение КАК Значение
|ПОМЕСТИТЬ ЗаданныеСвойства
|ИЗ
|	&Свойства КАК Свойства
|;
|
|////////////////////////////////////////////////////////////­////////////////////
|ВЫБРАТЬ
|	База.Ссылка КАК Характеристика
|ИЗ
|	Справочник.ХарактеристикиНоменклатуры КАК База
|		ЛЕВОЕ СОЕДИНЕНИЕ (ВЫБРАТЬ РАЗЛИЧНЫЕ
|			ЕСТЬNULL(Образцы.Ссылка, Экземпляры.Ссылка) КАК Ссылка
|		ИЗ
|			(ВЫБРАТЬ
|				Характеристики.Ссылка КАК Ссылка,
|				Свойства.Свойство КАК Свойство,
|				Свойства.Значение КАК Значение
|			ИЗ
|				Справочник.ХарактеристикиНоменклатуры КАК Характеристики,
|				ЗаданныеСвойства КАК Свойства) КАК Образцы
|				ПОЛНОЕ СОЕДИНЕНИЕ Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК Экземпляры
|				ПО Образцы.Ссылка = Экземпляры.Ссылка
|					И Образцы.Свойство = Экземпляры.Свойство
|					И Образцы.Значение = Экземпляры.Значение
|		ГДЕ
|			(Экземпляры.Ссылка ЕСТЬ NULL 
|					ИЛИ Образцы.Ссылка ЕСТЬ NULL 
|						И НЕ Экземпляры.Значение В (&СписокПустыхЗначений))) КАК ВложенныйЗапрос
|		ПО База.Ссылка = ВложенныйЗапрос.Ссылка
|ГДЕ
|	ВложенныйЗапрос.Ссылка ЕСТЬ NULL ";

Запрос.УстановитьПараметр("Свойства", Объект.Свойства.Выгрузить()); 
Запрос.УстановитьПараметр("СписокПустыхЗначений", СписокПустыхЗначений); 

НачДата=ТекущаяУниверсальнаяДатаВМиллисекундах(); 
Результат = Запрос.Выполнить(); 
КонДата=ТекущаяУниверсальнаяДатаВМиллисекундах();
...Показать Скрыть
32. Алексей Королев (krolya) 11.01.13 20:11
(31) ildarovich,

Вы запрос тестировали? У меня на моем ноутбуке выпадает с ошибкой - надо разбираться.
Прикрепленные файлы:
33. Сергей (ildarovich) 12.01.13 02:05
(32) Конечно, тестировал. На моей редакции УТ11 все прекрасно работает и в файловом и в SQL-варианте. Так что это точно не проблемы метода, а ошибка платформы. Она заключается в том, что не работает полное соединение табличных частей объектов, использующих общий реквизит с "разделением" данных. В УТ11 справочник "Характеристики номенклатуры", начиная с определенной редакции, входит в состав объектов, имеющих общий реквизит "ОбластьДанных". Судя по партнерской конференции, ошибка известна разработчикам.
Если Вы все же захотите проверить работу "кажется самого правильного и быстрого для SQL метода", не дожидаясь исправления ошибки в платформе, потребуется убрать одну галочку в конфигурации. Скриншот прилагается. Эта галочка влияет только на " Multitenancy", которая никак с условиями задачи не связана.
Прикрепленные файлы:
34. Сергей (ildarovich) 13.01.13 22:01
Ну и "до кучи" ЕЩЕ ОДИН метод. Не такой интересный как первый. Очень простой и по идее, должен был бы из-за этого запрещен условиями конкурса. Но почему-то оказался (кажется) разрешенным. На втором тесте он предельно быстр. Для разнообразия здесь используется другой, чем у awa, метод анализа пустых значений.
МассивТипов = Новый Массив(1);
СвойстваПлюс = Объект.Свойства.Выгрузить();
Выборка = ПланыВидовХарактеристик.ДополнительныеРеквизитыИСведения.Выбрать();
Пока Выборка.Следующий() Цикл
	Если СвойстваПлюс.Найти(Выборка.Ссылка, "Свойство") = Неопределено И НЕ Выборка.ЭтоГруппа Тогда
		Для Каждого Тип Из Выборка.ТипЗначения.Типы() Цикл
			Если Тип <> Тип("Булево") Тогда
				МассивТипов[0] = Тип;
				ОписаниеТипа = Новый ОписаниеТипов(МассивТипов);
				ЗаполнитьЗначенияСвойств(СвойстваПлюс.Добавить(), Новый Структура("Свойство, Значение", Выборка.Ссылка, ОписаниеТипа.ПривестиЗначение())) 
			КонецЕсли;
		КонецЦикла;
		Если Выборка.ТипЗначения.Типы().Количество() > 1 Тогда
			ЗаполнитьЗначенияСвойств(СвойстваПлюс.Добавить(), Новый Структура("Свойство, Значение", Выборка.Ссылка, Неопределено))
		КонецЕсли
	КонецЕсли
КонецЦикла;
Запрос = Новый Запрос; 
Запрос.Текст = 
"ВЫБРАТЬ
|	Свойства.Свойство КАК Свойство,
|	Свойства.Значение КАК Значение,
|	Свойства.НомерСтроки КАК НомерСтроки
|ПОМЕСТИТЬ Образец
|ИЗ
|	&СвойстваПлюс КАК Свойства
|
|ИНДЕКСИРОВАТЬ ПО
|	Свойство
|;
|
|////////////////////////////////////////////////////////////­////////////////////
|ВЫБРАТЬ
|	Характеристики.Ссылка КАК Характеристика
|ИЗ
|	Справочник.ХарактеристикиНоменклатуры КАК Характеристики
|		ЛЕВОЕ СОЕДИНЕНИЕ Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК Реквизиты
|			ЛЕВОЕ СОЕДИНЕНИЕ Образец КАК Образец
|			ПО Реквизиты.Свойство = Образец.Свойство
|				И Реквизиты.Значение = Образец.Значение
|		ПО Характеристики.Ссылка = Реквизиты.Ссылка
|
|СГРУППИРОВАТЬ ПО
|	Характеристики.Ссылка
|
|ИМЕЮЩИЕ
|	СУММА(ВЫБОР
|			КОГДА Реквизиты.Ссылка ЕСТЬ NULL 
|				ТОГДА 0
|			ИНАЧЕ ЕСТЬNULL(Образец.НомерСтроки, -0.000001)
|		КОНЕЦ) = &СуммаНомеров";

Запрос.УстановитьПараметр("СвойстваПлюс",  СвойстваПлюс); 
Запрос.УстановитьПараметр("СуммаНомеров", СвойстваПлюс.Итог("НомерСтроки")); 

НачДата=ТекущаяУниверсальнаяДатаВМиллисекундах(); 
Результат = Запрос.Выполнить(); 
КонДата=ТекущаяУниверсальнаяДатаВМиллисекундах();
...Показать Скрыть
35. Алексей Королев (krolya) 14.01.13 09:32
(33) ildarovich,

Да, точно! Уже тоже вспомнил :) Кстати, я один запрос который присылали, исправлял из-за этой ошибки через временные таблицы.

PS Попробуем ваш метод.
36. Алексей Королев (krolya) 14.01.13 09:39
(28) abc2000,

left join без дополнительных условий, т.е. "по ИСТИНА" де юре не является декартовым произведением, зато де факто является :) Т.е. по факту получается как раз перемножение двух таблиц.
37. Алексей Королев (krolya) 14.01.13 09:55
(35) krolya, (31) ildarovich,

Прогнал тесты
Прикрепленные файлы:
38. Алексей Королев (krolya) 14.01.13 10:09
(34) ildarovich,

Так же прогнал тесты "запрещенного" препарата :)
Прикрепленные файлы:
39. Сергей (ildarovich) 14.01.13 12:19
(37)(38) Алексей! Большое спасибо за оперативную реакцию. Есть над чем подумать. У меня результаты получались другими относительно друг друга. Однако и тестовая конфигурация была другой (1С: Предприятие сервер 32 бит и MS SQL R1).
40. abc2000 (abc2000) 14.01.13 12:32
(36) krolya,
Разбор решения №4. Там, например нет "Левое соединение по истина"
А так, в общем то выкрутились.;) Вот вы 1Сники все такие - скользкие типы.:)
41. Алексей Королев (krolya) 14.01.13 13:04
(39) ildarovich,

Подскажите ваши нагрузочные параметры? У меня 5000 элементов для теста №2 и 20 000 элементов для теста №1.
42. Сергей (ildarovich) 14.01.13 14:33
(41) У меня все так же. Я брал демо-базу УТ11, создавал там характеристику "Сто свойств" Вашей обработкой (чуть подправил ее - исключил возможность повторного создания тех же свойств) и размножал их Вашими обработками (указал в параметрах 19999 для первого теста и 4999 для второго). Как будет возможность, проапгрейдим тестовую машину под ваши параметры, тогда приведу получившуюся у меня таблицу времени работы методов.
43. Валерий Агеев (awa) 20.03.13 14:32
Огромное спасибо компании «1С:Первый БИТ» и лично Алексею Королеву за шикарный приз!
44. Eugeneer (Eugeneer) 22.04.13 10:50
Всем ДВОЙКА. и родителей в школу.
Во всех запросах идет обращение к справочнику характеристик. НАФИГА?
Он там вообще не нуджен. Соединять тоже нафиг ничего не нужно.

Запрос строится по одному единственному регистру безо всяких соединений с чем либо.
Загоняем списко значений свойств в массив и шлепаем вот такой запрос:

Запрос = Новый Запрос();
Запрос.Текст =
"ВЫБРАТЬ ПЕРВЫЕ 1
| ЗапросПоХарактеристикам.Номенклатура КАК Номенклатура,
| ЗапросПоХарактеристикам.Характеристика КАК Характеристика
|ИЗ
| (ВЫБРАТЬ
| ЗначенияСвойствОбъектов.Объект.Владелец КАК Номенклатура,
| ЗначенияСвойствОбъектов.Объект КАК Характеристика,
| МИНИМУМ(ВЫБОР
| КОГДА ЗначенияСвойствОбъектов.Значение В (&МассивЗначенийСвойств)
| ТОГДА ИСТИНА
| ИНАЧЕ ЛОЖЬ
| КОНЕЦ) КАК ЕстьВсеУказанныеХарактеристики
| ИЗ
| РегистрСведений.ЗначенияСвойствОбъектов КАК ЗначенияСвойствОбъектов
| ГДЕ
| ЗначенияСвойствОбъектов.Объект.Владелец = &Номенклатура
|
| СГРУППИРОВАТЬ ПО
| ЗначенияСвойствОбъектов.Объект.Владелец,
| ЗначенияСвойствОбъектов.Объект) КАК ЗапросПоХарактеристикам
|ГДЕ
| ЗапросПоХарактеристикам.ЕстьВсеУказанныеХарактеристики = ИСТИНА";
45. Eugeneer (Eugeneer) 22.04.13 10:57
Сори это я запрос для УТ10 привел.


Вот запрос для УТ11. Сразу и номенклатуру получаем. Условие по номенклатуре можно убрать.


"ВЫБРАТЬ
| ЗапросПоХарактеристикам.ВладелецХарактеристики КАК ВладелецХарактеристики,
| ЗапросПоХарактеристикам.Характеристика КАК Характеристика
|ИЗ
| (ВЫБРАТЬ
| ЗначенияСвойствОбъектов.Ссылка.Владелец КАК ВладелецХарактеристики,
| ЗначенияСвойствОбъектов.Ссылка КАК Характеристика,
| МИНИМУМ(ВЫБОР
| КОГДА ЗначенияСвойствОбъектов.Значение В (&МассивЗначенийСвойств)
| ТОГДА ИСТИНА
| ИНАЧЕ ЛОЖЬ
| КОНЕЦ) КАК ЕстьВсеУказанныеХарактеристики
| ИЗ
| Справочник.ХарактеристикиНоменклатуры.ДополнительныеРеквизиты КАК ЗначенияСвойствОбъектов
| ГДЕ
| ЗначенияСвойствОбъектов.Ссылка.Владелец = &ВладелецХарактеристики
|
| СГРУППИРОВАТЬ ПО
| ЗначенияСвойствОбъектов.Ссылка.Владелец,
| ЗначенияСвойствОбъектов.Ссылка) КАК ЗапросПоХарактеристикам
|ГДЕ
| ЗапросПоХарактеристикам.ЕстьВсеУказанныеХарактеристики = ИСТИНА";
46. Сергей (ildarovich) 28.08.13 17:25
(44)(45) Это шапкозакидательство. - Знаком этот термин? Задача не такая простая, как Вам кажется. Прочтите внимательно условия, проверьте свой запрос на тестах - сможете понять что к чему. Троечку, может, и заработаете.
47. Eugeneer (Eugeneer) 28.08.13 17:44
(46) смеетесь чтоли) жто рабочее решение применено в моей разработке у которой более 500 клиентов. Все ищет и находит.
48. Сергей (ildarovich) 28.08.13 18:40
(47) Тут ключевое слово "все". А в данной КОНКРЕТНОЙ ЗАДАЧЕ требуется найти не "все", а только то, что конкретно и очень точно оговорено в задании. То есть Ваш алгоритм найдет или лишние позиции номенклатуры или не найдет указанных. Подставьте свой алгоритм в шаблон обработки, заполните демо-базу свойствами с помощью прилагаемых обработок, прогоните тесты, вот тогда скажете "ой". Почитайте повнимательнее условия КОНКУРСА и комментарий (16).
Ну а аргументы типа "работает у 500 клиентов" оставьте для 501-го клиента. Коллег убедит обработка с запросом, проходящая описанные тесты, и, возможно (хотя очень сомневаюсь), демонстрирующая не самое худшее время.
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа