gifts2017

Сложные запросы в динамическом списке или как не надо писать запросы для них

Опубликовал Алексей Бочков (Aleksey.Bochkov) в раздел Программирование - Практика программирования

Задачи вывода в динамическом списке информации из смежных таблиц возникают очень часто, при этом программисты зачастую используют решения "в лоб", которые оказываются не совсем удачными.

Рассмотрим только динамические списки с динамическим считыванием данных, т.к. без динамического считывания данных платформа исполняет обычный запрос, для которого действуют общие правила оптимизации.

Динамические списки достаточно чувствительны к качеству текста запроса. Такие запросы, как правило, выполняются очень часто и многими пользователями, поэтому неоптимальная реализация приводит к повышенной нагрузке на железо и замедлению работы системы в целом.

При написании текста запроса следует учитывать то, что при его исполнении в динамическом списке платформа модифицирует запрос - добавляется выбор порции данных ("ПЕРВЫЕ N"), условие на граничную ссылку, а также сортировка по дате и ссылке или по определенным в настройках полям сортировки. Таким образом, отладка текста запроса через консоль не является правильным, т.к. платформа фактически будет исполнять совсем другой запрос.

Дополнительные неудобства доставляет тот факт, что в платформе нет удобных инструментов для отладки запросов динамических списков. Стандартный замер производительности ничего не покажет. Но получить длительность и план исполнения запроса можно через технологический журнал, или трассировку запросов в СУБД.

Рассмотрим несколько примеров и способов их оптимизации.

Запросы упрощены, чтобы более четко была видна проблема.

 

Пример 1. Вывод простого признака, основываясь на данных других таблиц.

Очень частый сценарий. Например, пользователи просят вывести в списке реализации признак наличия счет-фактуры, или признак наличия прикрепленных файлов и т.д. и т.п.

Много раз сталкивался с тем, что это реализовывали путем левого соединения таблиц с последующей группировкой:

ВЫБРАТЬ
	Р.Ссылка,
	Р.Контрагент,
	Р.Склад,
	МАКСИМУМ(ВЫБОР
			КОГДА Х.Ссылка ЕСТЬ NULL 
				ТОГДА ЛОЖЬ
			ИНАЧЕ ИСТИНА
		КОНЕЦ) КАК ЕстьСФ
ИЗ
	Документ.РеализацияТоваровУслуг КАК Р
		ЛЕВОЕ СОЕДИНЕНИЕ Документ.СчетФактураВыданный КАК Х
		ПО Р.Ссылка = Х.ДокументОснование

СГРУППИРОВАТЬ ПО
	Р.Ссылка,
	Р.Контрагент,
	Р.Склад

При фактическом выполнении запроса получаем такую статистику:

В плане запроса на стрелках обозначено количество обработанных строк из таблиц.

Или такой вариант в комментариях предлагают:

ВЫБРАТЬ
	Р.Ссылка,
	Р.Контрагент,
	Р.Склад,
	ЕСТЬNULL(Х.Признак, ЛОЖЬ) КАК ЕстьСФ
ИЗ
	Документ.РеализацияТоваровУслуг КАК Р
		ЛЕВОЕ СОЕДИНЕНИЕ (ВЫБРАТЬ РАЗЛИЧНЫЕ
			ИСТИНА КАК Признак,
			Х.ДокументОснование КАК ДокументОснование
		ИЗ
			Документ.СчетФактураВыданный КАК Х) КАК Х
		ПО Р.Ссылка = Х.ДокументОснование

Во втором случае ситуация значительно лучше, но когда начинают соединять по 3-4-5 таблиц, а еще и со вложенными запросами без отборов (например, виртуальные таблицы), то время исполнения запроса увеличивается в разы и порядки.

При этом важно понимать, что второй запрос также крайне не оптимален - вложенный подзапрос не содержит отбора.
В MSSQL он работает быстро, т.к. оптимизатор этой СУБД достаточно "умный" и понимает, что можно отфильтровать данные, а не выбирать все.

Пробуем выполнить похожий запрос в файловой базе, и видим, что все плохо.
Выполнение запроса заняло 1,5 секунды, а выборка затронула 27 тысяч строк.

18:36.368001-155991,DBV8DBEng,2,process=1CV8C,Trans=0,Sql="SELECT TOP 45
T4._IDRRef,
T4._Fld2070RRef,
ISNULL(T5.Q_001_F_000_,FALSE),
T4._Marked,
T4._Posted,
T4._Date_Time
FROM _Document59 T4
LEFT OUTER JOIN (SELECT DISTINCT
TRUE AS Q_001_F_000_,
T6._Fld428_TYPE AS Q_001_F_001_TYPE,
T6._Fld428_RTRef AS Q_001_F_001_RTRef,
T6._Fld428_RRRef AS Q_001_F_001_RRRef
FROM _Reference53 T6) T5
ON (0x08 = T5.Q_001_F_001_TYPE AND 0x0000003B = T5.Q_001_F_001_RTRef AND T4._IDRRef = T5.Q_001_F_001_RRRef)
WHERE T4._Date_Time < {ts '2015-05-14 17:49:12'}
ORDER BY (T4._Date_Time) DESC, (T4._IDRRef) DESC",NParams=0,

planSQLText='Fields:(
    T4._IDRRef,
    T4._Fld2070RRef,
    ISNULL(T5.Q_001_F_000_,FALSE),
    T4._Marked,
    T4._Posted,
    T4._Date_Time
)
_DOCUMENT59 (T4) RANGE SCAN USING REVERSE INDEX (_DOCUMENT59_BYDOCDATE_TRL) (1 fields)

NESTED OUTER LOOP BY SELECT RANGE SCAN USING INDEX (AUTOINDEX) (1 fields)

(
    Fields:(
        TRUE,
        T6._Fld428_TYPE,
        T6._Fld428_RTRef,
        T6._Fld428_RRRef
    )
    _REFERENCE53 (T6) FULL SCAN


    WITHOUT DUPLICATES
    SORTING
)
WHERE
        (08 = T5.Q_001_F_001_TYPE)
        AND
        (0000003B = T5.Q_001_F_001_RTRef)
        AND
        (T4._IDRRef = T5.Q_001_F_001_RRRef)

Statistics: RecordsScanned = 27345, ParseTime = 0, ExecuteTime = 79, BuffersMemory = 25699, ResultRecords = 45, RecordSize = 57',Rows=45,Context=ДинамическийСписок.ПолучитьДанные : ВнешняяОбработка.ВнешняяОбработка1.Форма.Форма.Реквизит.ДС

Конкретно в этом примере пользователю не нужна информация из таблицы со счет-фактурами, важен лишь факт, что для текущей реализации там есть хотя бы одна строка.

Запрос можно преобразовать в декларативном стиле:

ВЫБРАТЬ
	Р.Ссылка,
	Р.Контрагент,
	Р.Склад,
	ВЫБОР
		КОГДА 1 В
				(ВЫБРАТЬ ПЕРВЫЕ 1
					1
				ИЗ
					Документ.СчетФактураВыданный КАК Х
				ГДЕ
					Р.Ссылка = Х.ДокументОснование)
			ТОГДА ИСТИНА
		ИНАЧЕ ЛОЖЬ
	КОНЕЦ КАК ЕстьСФ
ИЗ
	Документ.РеализацияТоваровУслуг КАК Р

Несколько раз слышал от "true SQL DBA", что такой подход не очень желателен, т.к. оставляет меньше свободы оптимизатору СУБД на выбор плана исполнения, но работает ведь существенно быстрее!

Оптимизированный запрос:

В файловом варианте все также работает быстро:

31:41.704020-3,DBV8DBEng,2,process=1CV8C,Trans=0,Sql="SELECT TOP 45
T3._IDRRef,
T3._Fld2070RRef,
CASE WHEN EXISTS(SELECT
1 AS Q_001_F_000_
FROM _Reference53 T4
WHERE (0x08 = T4._Fld428_TYPE AND 0x0000003B = T4._Fld428_RTRef AND T3._IDRRef = T4._Fld428_RRRef)) THEN TRUE ELSE FALSE END,
T3._Marked,
T3._Posted,
T3._Date_Time
FROM _Document59 T3
WHERE T3._Date_Time < {ts '2015-05-26 14:54:58'}
ORDER BY (T3._Date_Time) DESC, (T3._IDRRef) DESC",NParams=0,planSQLText='Fields:(
    T3._IDRRef,
    T3._Fld2070RRef,
    CASE  WHEN EXISTS(SELECT
            Fields:(
                1
            )
            _REFERENCE53 (T4) RANGE SCAN USING INDEX (_REFERENC53_BYFIELD8195_RSRL) (3 fields)
            WHERE
                    (0000003B = T4._Fld428_RTRef)
                    AND
                    (T3._IDRRef = T4._Fld428_RRRef)

            ) THEN TRUE ELSE FALSEEND,
    T3._Marked,
    T3._Posted,
    T3._Date_Time
)
_DOCUMENT59 (T3) RANGE SCAN USING REVERSE INDEX (_DOCUMENT59_BYDOCDATE_TRL) (1 fields)


Statistics: RecordsScanned = 61, ParseTime = 1, ExecuteTime = 0, BuffersMemory = 25699, ResultRecords = 45, RecordSize = 57',Rows=45,Context=ДинамическийСписок.ПолучитьДанные : ВнешняяОбработка.ВнешняяОбработка1.Форма.Форма.Реквизит.ДС

При этом исполнение оптимизированного запроса вне динамического списка (без порционной выборки), вероятно, покажет более плохой результат, чем исходный запрос.
т.е. подобная оптимизация работает только при выборке малого количества строк из основной таблицы.

Пример 2. Соединение таблицы с небольшим набором относительно статичных данных.

Из недавних примеров - список документов нужно фильтровать по таблице с разрешенными складами для данного пользователя.
RLS, видимо, тут не подошел.

ВЫБРАТЬ
	Р.Ссылка,
	Р.Контрагент,
	Р.Склад
ИЗ
	Документ.РеализацияТоваровУслуг КАК Р
		ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.РазрешенныеСклады.СрезПоследних(, Пользователь = &Пользователь) КАК РазрешенныеСкладыСрезПоследних
		ПО Р.Склад = РазрешенныеСкладыСрезПоследних.Склад

Тут еще и срез последних без передачи отбора по Складу внутрь параметров виртуальной таблицы...

Но зачем вообще вовлекать регистр сведений в этот запрос? Перечень складов относительно небольшой и статичный, его можно сформировать при открытии формы, а затем передать как параметр запроса динамического списка.

ВЫБРАТЬ
	Р.Ссылка,
	Р.Контрагент,
	Р.Склад
ИЗ
	Документ.РеализацияТоваровУслуг КАК Р
ГДЕ
	Р.Склад В(&Склады)

Понятно, что появляются ограничения - разрешенные склады фактически кэшируются и пользователю придется закрыть и открыть форму заново, чтобы применились изменения в регистре с разрешенными скаладам. В большинстве случаев, это должно быть приемлемо.

 

Пример 3. Использование "В ИЕРАРХИИ" в условии запроса.

Частным сценарием является фильтрация списка по группе элементов (группа складов или группа номенклатуры, например).

Пользователям выносят на форму поле для выбора группы и при его изменении передают параметр в динамический список.

ВЫБРАТЬ
	Р.Ссылка,
	Р.Контрагент,
	Р.Склад
ИЗ
	Документ.РеализацияТоваровУслуг КАК Р
ГДЕ
	Р.Склад В ИЕРАРХИИ(&ГруппаСкладов)

В этом случае, платформа будет формировать перечень складов, входящих в данную группу при каждом обновлении списка. Результат не кэшируется!

Вот трассировка одного обновления формы списка для данного запроса:

Видно, что на формирование иерархии ушло значительно больше ресурсов, чем на непосредственную выборка списка реализаций по этим складам.

Решением может быть самостоятельное формирование списка складов при изменении отбора и передача его в качестве параметра - это позволит заменить "В ИЕРАРХИИ" на просто "В".

Выбраем все склады вне динамического списка:

ВЫБРАТЬ
	Склады.Ссылка
ИЗ
	Справочник.Склады КАК Склады
ГДЕ
	Склады.Ссылка В ИЕРАРХИИ(&ГруппаСкладов)

Выгружаем в массив и передаем в динамический список.

Запрос при этом упрощается до:

ВЫБРАТЬ
	Р.Ссылка,
	Р.Контрагент,
	Р.Склад
ИЗ
	Документ.РеализацияТоваровУслуг КАК Р
ГДЕ
	Р.Склад В (&СписокСкладов)

Количество запросов к MSSQL уменьшается:

При этом следует учесть, что в платформе есть определенное ограничение на количество параметров, передаваемых в запрос (256?).

Если число элементов в параметре "&СписокСкладов" превысит это ограничение, то платформа меняет текст запроса.

Вместо обычной выборки из списка:

WHERE ((T1._Fld8774RRef IN (@P1, @P2, @P3, @P4, @P5, ...)

будет выборка из временной таблицы:

WHERE (T3._Fld8774RRef IN
(SELECT
T4._INVALUELISTRRef AS INVALUELISTRRef
FROM #tt4 T4 WITH(NOLOCK)
WHERE T4._INVALUELISTRRef IS NOT NULL))

А наполнение этой временной таблицы будет происходить при каждом обновлении динамического списка и эффект от оптимизации будет уже менее заметен.

Пример 4. Из смежных таблиц требуется получение дополнительных данных.

Например, в списке реализаций вывести номер выданной счет-фактуры, или отобразить статус документа по данным периодического регистра сведений.

В простых случаях особых проблем с быстродействием не будет заметно, но условия чуть сложнее вызовут существенное замедление.

Вот это, например, работает довольно медленно:

ВЫБРАТЬ
	ДокументСчетФактураПолученный.Ссылка,
	ДокументСчетФактураПолученный.ВерсияДанных,
	ДокументСчетФактураПолученный.ПометкаУдаления,
	ДокументСчетФактураПолученный.Номер,
...
	МАКСИМУМ(ЗначенияСвойствОбъектов.Значение) КАК НомерЗаявкиНаОсвоение
ИЗ
	Документ.СчетФактураПолученный КАК ДокументСчетФактураПолученный
		ЛЕВОЕ СОЕДИНЕНИЕ Документ.СчетФактураПолученный.ДокументыОснования КАК СчетФактураПолученныйДокументыОснования
			ЛЕВОЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияСвойствОбъектов КАК ЗначенияСвойствОбъектов
			ПО СчетФактураПолученныйДокументыОснования.ДокументОснование = ЗначенияСвойствОбъектов.Объект
				И (ЗначенияСвойствОбъектов.Свойство = ЗНАЧЕНИЕ(ПланВидовХарактеристик.СвойстваОбъектов.ПереданОригиналВБухгалтерию))
		ПО (СчетФактураПолученныйДокументыОснования.Ссылка = ДокументСчетФактураПолученный.Ссылка)

СГРУППИРОВАТЬ ПО
	ДокументСчетФактураПолученный.Ссылка,
	ДокументСчетФактураПолученный.ВерсияДанных,
	ДокументСчетФактураПолученный.ПометкаУдаления,
	ДокументСчетФактураПолученный.Номер

Как мне кажется, оптимальным решением тут было бы кэширование результатов в промежуточной таблице.

Создать регистр сведений "КэшЗначенийСчетФактураПолученный" с измерением "Объект" и ресурсом "НомерЗаявкиНаОсвоение".

Запись в этот регистр сведений производить при записи самого счет-фактуры, а также при записи самой "заявки на освоение" (если изменился номер, то найти введенные СФ и обновить номера в регистре).

Дополнительная нагрузка на систему будет создана несущественная, а вот информацию для вывода в динамический список можно будет получить значительно легче.

Запрос получается существенно проще:

ВЫБРАТЬ
	ДокументСчетФактураПолученный.Ссылка,
	ДокументСчетФактураПолученный.ВерсияДанных,
	ДокументСчетФактураПолученный.ПометкаУдаления,
	ДокументСчетФактураПолученный.Номер,
	ЕСТЬNULL(КэшЗначенийСчетФактураПолученный.НомерЗаявкиНаОсвоение, "") КАК НомерЗаявкиНаОсвоение
ИЗ
	Документ.СчетФактураПолученный КАК ДокументСчетФактураПолученный
		ЛЕВОЕ СОЕДИНЕНИЕ РегистрСведений.КэшЗначенийСчетФактураПолученный КАК КэшЗначенийСчетФактураПолученный
		ПО ДокументСчетФактураПолученный.Ссылка = КэшЗначенийСчетФактураПолученный.Объект

Пример 5. Сложные опциональные отборы

Часто пользователям необходимо дать возможность фильтровать списки по некоторым сложным отборам, которые нельзя просто установить в виде параметров отбора.

Пример из нашей практики: есть список документов "Инцидент" и регистр сведений с комментариями пользователей по этим инцидентам. Пользователи просили дать возможность отбирать список документов по пользователям из комментариев, например, показать все инциденты, которые прокомментировал Иванов.

Стандартным отбором тут не обойтись, и как вариант, можно доработать запрос динамического списка:

 

Если параметр "Автор комментария" заполнен пустой ссылкой - срабатывает левая часть условия и показываются все документы.

Если в параметре указан пользователь, то список фильтруется по регистру сведений.

При этом СУБД для обоих вариантов будет строить одинаковый план запроса с выборкой из регистра сведений. В некоторых ситуациях это влияет на производительность весьма негативно.

 

Чтобы обойти эту проблему - необходимо переписать запрос с использованием функционала компоновки. Фактически сделать условие опциональным:

В этом случае, если параметр "Автор комментария" не заполнен, то данный участок исключается из текста запроса.

План запроса при этом получается чуть проще:

Если параметр установлен, то план запроса будет точно таким же, как и в предыдущей ситуации.

Аналогично функционал компоновщика можно задействовать для опционально отображаемых полей, исключая при этом ненужные в данном контексте соединения и поля.

 

Буду признателен за комментарии с дополнениями и собственным опытом.

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Роман Озеряный (rozer) 24.07.15 11:57
а где НЕ В ИЕРАРХИИ? вот где жесть-то )
2. Петр Базелюк (pbazeliuk) 24.07.15 14:08
1. На перед, не известно какой план запроса получится
2. Логику кэширования лучше оставить. У нашей организации бывают пользователи что 14 дней базу не закрывали, и так же обработки. Регламентные работы 1 раз в 14 дней, максимально сеансов бывает и до 600, максимальных соединений до 200.
1,4. Такие запросы признак проблем с проектированием
3. Гость 24.07.15 14:50
Пример 1 ("Запрос можно преобразовать в декларативном стиле") - плохо!
Надо так:
ВЫБРАТЬ
Р.Ссылка,
Р.Контрагент,
Р.Склад,
ЕСТЬNULL(Х.Признак, ЛОЖЬ) КАК ЕстьСФ
ИЗ
Документ.РеализацияТоваровУслуг КАК Р
ЛЕВОЕ СОЕДИНЕНИЕ (ВЫБРАТЬ РАЗЛИЧНЫЕ
ИСТИНА КАК Признак,
Х.ДокументОснование КАК ДокументОснование
ИЗ
Документ.СчетФактураВыданный КАК Х) КАК Х
ПО Р.Ссылка = Х.ДокументОснование
4. Василий Коровин (vasyak319) 24.07.15 15:03
Хаус + запросы = ildarovich

Лучше смените иллюстрацию, а то складывается негативное впечатление, будто вы товарный знак стырили.
Я не говорю, что вы так и сделали, но впечатление складывается.
lextor; YuriFm; dj_serega; ditp; +4 Ответить 1
5. Анна Кузнецова (Nefertary) 24.07.15 15:49
(3) true SQL DBA,
ну если еще глубже посмотреть, то СГРУППИРОВАТЬ ПО оптимальнее чем ВЫБРАТЬ РАЗЛИЧНЫЕ
6. Александр Анисков (vandalsvq) 24.07.15 16:08
Предпочитаю регистры сведений с доп. данными для отдельно взятых случаев (вроде 1 и 4), при этом запись в эти регистры стараюсь делать в фоновых заданиях.
В случаях 2 и 3 обычно как параметр не ставлю в запрос, а накладываю отбор.
7. Василий Коровин (vasyak319) 24.07.15 16:17
А вы уверены, что Пример 1 работоспособен? А то 1С утверждает, что когерентные запросы возможны только в секции "ГДЕ" и мои попытки игнорировать это утверждение всегда натыкались на то, что оно оказывалось верным.

Пример 2: можно просто переписать условие как "Р.Склад В (срез последних)" и никаких тебе соединений таблиц с одной стороны и никаких необходимостей переоткрывать форму - с другой.

Пример 3: А вы смотрели в SQL профайлере, как 1С преобразует конструкцию "В ИЕРАРХИИ"? Я, если что, сам не смотрел, но там по-любому должно быть что-то своё, одинэсовское, потому что SQL про группы не в курсе и без такого анализа ценность вашего предложения нулевая. Вполне возможно, что сервер 1С сам делает преобразование, аналогичное предложенному вами, так что ваш способ будет тормозить даже сильнее, потому что у вас два обращения к серверу вместо одного и передача списка ссылок вместо одной.

Пример 4: "Как мне кажется"
В таких случах надо смотреть план запроса, иначе это не оптимизация, а гадание.
8. Алексей Бочков (Aleksey.Bochkov) 24.07.15 16:17
(4) vasyak319,
Эх.. на выбор картинки ушло больше времени, чем на написание текста :).
Поменял.
9. Алексей Бочков (Aleksey.Bochkov) 24.07.15 16:27
(3) true SQL DBA,
незачет :).
Во вложенной таблице выборка без фильтра.
Даже визуально видна значительно более медленная работа при обновлении динамического списка.
А план запроса покажет перебор большого числа записей из счет-фактур.
10. Алексей Бочков (Aleksey.Bochkov) 24.07.15 16:29
(1) rozer,
На самом деле, такая же ситуация как в третьем примере. Избавление от "В ИЕРАРХИИ" несколько улучшит ситуацию.
11. Алексей Бочков (Aleksey.Bochkov) 24.07.15 16:34
(2) pbazeliuk,
1. На перед, не известно какой план запроса получится

Вполне известно - получается лучше.

2. Логику кэширования лучше оставить. У нашей организации бывают пользователи что 14 дней базу не закрывали, и так же обработки. Регламентные работы 1 раз в 14 дней, максимально сеансов бывает и до 600, максимальных соединений до 200.

Тут нужно найти баланс. Проведение вычислений при каждом обновлении динамического списка мне видится нецелесообразным.
Как вариант - в форме можно сделать обработчик ожидания, срабатывающий каждый час и обновляющий эти значения.

1,4. Такие запросы признак проблем с проектированием

Каким вы видите оптимальное архитектурное решение в обоих случаях?
12. Алексей Бочков (Aleksey.Bochkov) 24.07.15 16:45
(7) vasyak319,

А вы уверены, что Пример 1 работоспособен? А то 1С утверждает, что когерентные запросы возможны только в секции "ГДЕ" и мои попытки игнорировать это утверждение всегда натыкались на то, что оно оказывалось верным.

Данный пример вполне работоспособный.

Пример 2: можно просто переписать условие как "Р.Склад В (срез последних)" и никаких тебе соединений таблиц с одной стороны и никаких необходимостей переоткрывать форму - с другой.

Ситуация не изменится - при каждом обновлении динамического списка система будет вычислять этот сред последних, а уже потом соединять с основной таблицей.
Срез последних сам по себе тяжелый - три уровня вложенности получается (выборка максимальных значений, выборка детальных записей по максимальным значениям, соединение с таблицей документов).

Пример 3: А вы смотрели в SQL профайлере, как 1С преобразует конструкцию "В ИЕРАРХИИ"? Я, если что, сам не смотрел, но там по-любому должно быть что-то своё, одинэсовское, потому что SQL про группы не в курсе и без такого анализа ценность вашего предложения нулевая.

Все четыре примера успешно опробованы не раз на разных базах. "В ИЕРАРХИИ" - это запрос в цикле.

Вполне возможно, что сервер 1С сам делает преобразование, аналогичное предложенному вами, так что ваш способ будет тормозить даже сильнее, потому что у вас два обращения к серверу вместо одного и передача списка ссылок вместо одной.

Вы не обладаете информацией, а делаете далеко идущие выводы.. проверить то не сложно :).
Не делает он такого преобразования, и обращений к серверу СУБД в моем случае получается меньше.

Пример 4: "Как мне кажется"
В таких случах надо смотреть план запроса, иначе это не оптимизация, а гадание.

Решить эту задачу можно разными способами. Фраза "как мне кажется" отражает мое личное мнение, основанное на практическом опыте, относительно эффективности подхода с кешированием в промежуточных таблицах в сравнении с другими вариантами. Тут даже планы запросов не надо смотреть, чтобы увидеть более эффективный вариант.
Кстати, в типовом Документообороте подход с кэшированием успешно применяется для ряда объектов.
13. Алексей Бочков (Aleksey.Bochkov) 24.07.15 16:57
(6) vandalsvq,
Предпочитаю регистры сведений с доп. данными для отдельно взятых случаев (вроде 1 и 4), при этом запись в эти регистры стараюсь делать в фоновых заданиях.

Дополнительная нагрузка, как правило, совсем минимальная, поэтому можно смело вставлять запись в такие регистры в процедуры записи основных объектов.
Информация обновляется оперативнее, да и сложность реализации меньшая.

В случаях 2 и 3 обычно как параметр не ставлю в запрос, а накладываю отбор.

На самом деле, точно такая же ситуация - если делать отбор "В ГРУППЕ", то при каждом обновлении динамического списка будет происходить выборка иерархии.
Выбрав иерархию самостоятельно и передав массив объектов в отбор просто с видом сравнения "В СПИСКЕ" можно ускорить обновление динамического списка.
14. Василий Коровин (vasyak319) 24.07.15 16:59
(12) Aleksey.Bochkov,
Тут даже планы запросов не надо смотреть, чтобы увидеть более эффективный вариант


Да нет, надо. Иногда преобразование запроса, которое вроде бы должно только добавить тормозов, уменьшает время его выполнения на порядок-другой. И даже глядя на результат не понимаешь, почему так. А ответ в плане запроса.
ojiojiowka; +1 Ответить
15. ivanov660 ivanov660 (ivanov660) 24.07.15 18:48
По пункту 4.
Решение с созданием дополнительных таблиц следует использовать если подобная операция довольно частая и вносит "определенную нагрузку".
16. Гость 24.07.15 19:09
(9) Aleksey.Bochkov,
незачет :).
Во вложенной таблице выборка без фильтра.
Даже визуально видна значительно более медленная работа при обновлении динамического списка.
А план запроса покажет перебор большого числа записей из счет-фактур.

Все равно плохо!
Мой запрос работает быстрее, а тот, который вы оптимизируете (с группировками) - еще быстрее!!!
(5) Nefertary - вы правы.
Во вложении картинка с замерами производительности и обработка, с помощью которой они получены (для БП 3.0).

Наиболее правильным решением задачи из Пример 1 является создание отдельного РС с данными, которые нужно получать для списков.
Пример - РС НаличиеПрисоединенныхФайлов в типовой БП 3.0, это механизмы БСП.

Хороших выходных!
Прикрепленные файлы:
ЗапросыСписка.epf
17. Алексей Бочков (Aleksey.Bochkov) 24.07.15 19:58
(16) true SQL DBA,
Так проводить замеры совсем некорректно.
Это как раз и есть решение "в-лоб".
Вы не учли особенности динамического списка - данные выбираются порциями (к тексту запроса добавляется выборка первых записей "ПЕРВЫЕ N", в условие добавляется граничная ссылка на объект и добавляется сортировка). Т.е. фактически платформа выполняет другой запрос.
Создайте динамические списки на основе этих запросов и снимите трассировку через MSSQL Profiler.

Похоже надо расширить статью и показать планы запросов с пояснениями.. не хотелось перегружать на самом деле.
stal76; Трактор; kuntashov; +3 Ответить
18. Александр Анисков (vandalsvq) 24.07.15 21:03
(13) Aleksey.Bochkov,
На самом деле, точно такая же ситуация - если делать отбор "В ГРУППЕ", то при каждом обновлении динамического списка будет происходить выборка иерархии.

Ты меня малость не понял, список элементов формирую как и ты писал, до передачи в отбор. Просто вместо параметра отбор "В СПИСКЕ".

Информация обновляется оперативнее, да и сложность реализации меньшая.

Вопрос что мы записываем туда, реквизиты из объекта, согласен, накладных копейки. А если делаем пересчет статистических показателей - лучше уж в фон. Тем более с использованием БСП проблем никаких, пишешь "правильно" процедуру, тестируешь без фона, потом просто обертку из ДлительныеОперации делаешь и все.

к тексту запроса добавляется выборка первых записей "ПЕРВЫЕ N", в условие добавляется граничная ссылка на объект и добавляется сортировка

Насколько я осведомлен, ПЕРВЫЕ n будут выбираться только если порционное (динамическое) чтение данных стоит, а оно будет если у списка платформа может определить ключ. В свою очередь это относится только к запросам на основании объектов метаданных.

Оффтоп: в этом плане в 1С++ (на 7.7) динамические списки были намного шире, их можно было наполнять собственным запросом при условии установки уникального ключа. Т.е. не было большой необходимости привязываться к метаданным.
JohnyDeath; +1 Ответить 1
19. Алексей Бочков (Aleksey.Bochkov) 24.07.15 22:35
(18) vandalsvq,
Да, согласен по тому, что ты написал.

Насколько я осведомлен, ПЕРВЫЕ n будут выбираться только если порционное (динамическое) чтение данных стоит, а оно будет если у списка платформа может определить ключ.

И таких динамических списков (с динамическим считыванием данных) подавляющее большинство в конфигурациях.
Без этого динамический список уже получается простым табличным полем с запросом, к которому применимы стандартные правила оптимизации запросов.

В свою очередь это относится только к запросам на основании объектов метаданных.

Честно говоря, я не помню, чтобы в динамическом списке можно было определить запрос не на основании метаданных. Что имелось в виду?
20. Александр Анисков (vandalsvq) 25.07.15 00:30
(19) Aleksey.Bochkov,
Честно говоря, я не помню, чтобы в динамическом списке можно было определить запрос не на основании метаданных. Что имелось в виду?

Имел в виду указывать или нет основную таблицу в форме редактирования запроса динамического списка.
21. г. Казань Рустем Гумеров (Rustig) 25.07.15 07:39
(0) в чем преимущества использования динамических списков в сравнении с использованием АРМ разработанным на обычных неуправляемых формах?
делали замеры производительности использования динамических списков и использования списков обычных форм?
22. Алексей Бочков (Aleksey.Bochkov) 25.07.15 22:28
(21) Rustig,
Мне кажется, что сравнивать обычные формы списков и управлямые динамические формы списков нельзя. Слишком большая разница в доступном функционале.
При одинаковых условиях (выборка только из основной таблицы) оба механизма работают одинаково быстро.
Если нужен вывод данных из смежных таблиц - в общем случае, динамический список будет быстрее за счет выполнения одного запроса, т.к. в обычной форме уже нужно использовать процедуру "ПриПолученииДанных".
Плюс в динамическом списке у пользователей значительно больше свободы в настройке отборов, сортировок и т.д. При сложной настройке динамические списки могут работать медленно, но это не говорит о том, что обычные формы лучше. Там просто нельзя сделать аналогичные пользовательские настройки.
23. kabz (Kabz) 25.07.15 22:29
(21) Rustig, НЕ всегда возможно делать обычные списки (особенно когда конфигурация написана в такси :) )
24. Александр Перевислый (sashapere) 26.07.15 00:50
Добрый день! можете подсказать какими инструментами делали анализ производительности запроса?
25. Алексей Бочков (Aleksey.Bochkov) 26.07.15 01:15
(24) sashapere,
SQL Server Profiler
http://infostart.ru/public/252236/
http://infostart.ru/public/291874/

Скрины планов запросов для большей наглядности сделал с помощью http://www.sqlsentry.com/products/plan-explorer/
nsirotkin@mail.ru; +1 Ответить 1
26. Николай Зайков (Mortiferus) 29.07.15 09:15
(25) Aleksey.Bochkov, последняя ссылка не работает.
27. Алексей Бочков (Aleksey.Bochkov) 29.07.15 10:35
(26) Mortiferus,
видимо, автор снял публикацию (там скрины были битые и я просил автора это поправить).
28. Алексей Бочков (Aleksey.Bochkov) 08.09.15 13:34
UPD. Добавил пятый пункт про опциональные отборы.
29. bulpi bulpi (bulpi) 08.09.15 19:10
(3) true SQL DBA,

Запрос, ИМХО, неверный
1)Использование слова РАЗЛИЧНЫЕ во вложенном запросе не оправдано
2)Его нужно использовать в основном запросе, иначе записи не будут уникальными в случае >1 счета-фактуры на 1 реализацию.

ВЫБРАТЬ РАЗЛИЧНЫЕ
Р.Ссылка,
Р.Контрагент,
Р.Склад,
ЕСТЬNULL(Х.Признак, ЛОЖЬ) КАК ЕстьСФ
ИЗ
Документ.РеализацияТоваровУслуг КАК Р
ЛЕВОЕ СОЕДИНЕНИЕ (ВЫБРАТЬ 
ИСТИНА КАК Признак,
Х.ДокументОснование КАК ДокументОснование
ИЗ
Документ.СчетФактураВыданный КАК Х) КАК Х
ПО Р.Ссылка = Х.ДокументОснование
...Показать Скрыть
30. Uladzimir - (nvv1970) 13.09.15 21:58
(29) bulpi,
На самом деле в данном случае различные во вложенном запросе обеспечивает уникальность поля ссылка в основном.
Поле признак избыточно, т.к. можно выводить поле (НЕ x.ДокументОснование есть NULL)
31. Uladzimir - (nvv1970) 13.09.15 22:10
Предложенный пример #1 самый непроизводительный, причем к гигантским отрывом (медленнее в несколько сотен раз) Всех прочих. Подвисания дикие... до нескольких десятков секунд! Вычисление поля в цикле...
ВЫБРАТЬ
    Р.Ссылка,
    Р.Контрагент,
    Р.Склад,
    ВЫБОР
        КОГДА 1 В
                (ВЫБРАТЬ ПЕРВЫЕ 1
                    1
                ИЗ
                    Документ.СчетФактураВыданный КАК Х
                ГДЕ
                    Р.Ссылка = Х.ДокументОснование)
            ТОГДА ИСТИНА
        ИНАЧЕ ЛОЖЬ
    КОНЕЦ КАК ЕстьСФ
ИЗ
    Документ.РеализацияТоваровУслуг КАК Р
...Показать Скрыть
32. Алексей Бочков (Aleksey.Bochkov) 14.09.15 02:42
(31) nvv1970,
Об этом сказано в конце примера - данный запрос хорош ТОЛЬКО для динамического списка с динамическим считыванием данных.
33. Сергей Носков (Sergey.Noskov) 12.01.16 11:48
При этом следует учесть, что в платформе есть определенное ограничение на количество параметров, передаваемых в запрос (256?).


если больше 128 элементов, то платформа будет создавать временную таблицу, причем индексированную
Aleksey.Bochkov; +1 Ответить
34. Антонио (Fragster) 01.03.16 18:20
Про пример 1. А как в таком случае будет работать отбор ДС по полю "признак"? не умрет ли он совсем по сравнению с левым соединением?
35. Антонио (Fragster) 01.03.16 18:22
Про пример 3. Проводили исследования про использование В ИЕРАРХИИ через доп РС с данными для nested sets?
36. Сергей valer (tank68) 24.03.16 10:22
А в динамическом списке возможно ли отображать табличные части документа?
37. Андрей Конев (Infector) 03.06.16 16:18
На днях пришел к выводу, что есть ситуации, когда динамический список вообще стоит выкинуть, прицепить к форме таблицу значений и активнее использовать
Элементы.Таб.ОтборСтрок

У меня это оказалась обработка из серии рабочее место кладовщика, которая долгое время медленно обрастала новыми требованиями. В итоге запрос оброс множеством параметров, а сам динамический список стал очень медленно отрабатывать.
38. Алексей Черняев (intehof) 30.06.16 21:00
(28) Aleksey.Bochkov, Направьте меня пожалуйста на опциональные функции компоновщика - где почитать?
Правильно ли понимаю для Примера 5: Если параметр "Автор комментария" не заполнен и поля второй таблицы заключены в фиг скобки то левого соединения не происходит?
Покажите пример где опционально поле второй таблицы (по параметру) не выводится и не происходит соединения.
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа