История оптимизации одного большого запроса средствами MSSQL Profiler и 1С

Публикация № 252236 21.01.14

Приемы и методы разработки - Практика программирования

оптимизация запрос profiler план выполнения запроса

Я думаю многие из Вас сталкивались с необходимостью оптимизации больших запросов, которые трудно поддаются рефакторингу. Иногда такие запросы бывают настолько объемны (несколько тысяч строк кода и десятки запросов в пакете), что просто не знаешь с какой стороны к ним подступиться. В статье я описал историю оптимизации заполнения документа «Начисление зарплаты сотрудникам» в ЗУП 2.5 на одном из проектов. В итоге получился некий «мини-гайд» как можно использовать SQL Profiler и План выполнения запроса для выявления неоптимальных/некорректных участков кода для больших запросов.

Добрый день, уважаемые коллеги.

Небольшая предыстория. Основной целью проекта являлась консолидация двух достаточно больших нетиповых баз ЗУП 2.5 (общее количество подразделений 140, сотрудников 4700). Базы ЗУП до нас дорабатывались и сопровождались другими подрядчиками, а нас привлекли именно на консолидацию. После консолидации пользователи сообщили о сильно возросшей длительности операции заполнения документа «Начисление зарплата сотрудникам». Собственно с этого момента я подключился к этому вопросу.

 

Часть I – Подготовительная:

 

Если театр начинается с вешалки, то любая оптимизация начинается с установки подсистемы «Замеры производительности» из БСП. Как внедрять и что за подсистема неплохо описано, например, в этой статье //infostart.ru/public/193233/, поэтому на этом подробно останавливаться не буду. Описание самой методики APDEX хорошо дано на kb.1c.ru, а так же у Славы Гилева http://www.gilev.ru/apdex-teoriya/ и Антона Гусева (наш сотрудник - http://antongusev.ru/article2.html).

Если вкратце, то методика APDEX является широко распространенным международным стандартом оценки производительности информационных систем и является:

  • объективной: оценка не зависит от субъективных факторов (эмоции, мнения и т.п.);
  • прикладной: оценка отражает реальную производительность прикладных операций, а не абстрактные технические показатели;
  • интегральной: оценка учитывает все аспекты работы системы, все требования бизнес-логики системы и удобство работы каждого пользователя;
  • количественной: оценка является численной для того, чтобы можно было сравнивать производительность, полученную при разных обстоятельствах (например, до и после оптимизации);
  • качественной: оценка интерпретируется в терминах «хорошо» - «плохо».

Сказать, что у нас дела были плохо – это значит не сказать ничего Undecided. Оценка показывала «неприемлемо».

 Оценка производительности

 Время выполнения в максимуме иногда достигало 20 минут (см. ниже).

 Замеры времени


Теперь понятно, ЧТО нужно оптимизировать, пока непонятно КАК. Идем дальше…

 

Часть II – Неудачная, но длинная

 

Естественно, что первым делам был сделан замер производительности средствами 1С. Он обрадовал и не обрадовал одновременно. 95% на один запрос из 10 минут - это конечно хорошо, так как мы сходу нашли «узкое место», с другой стороны – не стоит рассказывать про монструозность запросов в ЗУП о которых ходят легенды. Запросы на тысячу строк кода и десятками временных таблиц, собираемый по кусочкам из разных мест. К сожалению, мне попался именно такой запрос – соответственно, как я говорил выше, провести нормальный рефакторинг кода, учитывая полное отсутствие каких-либо комментариев со стороны разработчиков ЗУП, дело мягко говоря неблагодарное.

Простой перезапуск запроса через консоль в тестовой базе подтвердил достаточно длительное время выполнения запроса, но пытаться найти вручную один «плохой» запрос из пары десятков не очень хотелось. Было принято решение запустить запрос через SQL Profiler, т.к. через него я смогу сузить область поиска «плохого» запроса.

Запускаем Microsoft SQL Profiler (performance tools в Пуск). Как запустить SQL Profiler и подключиться к нужному серверу – выходит за рамки статьи – это более подробно описано в других местах (sql.ru / BOL).

Запускаем новый trace со следующим набором событий (Events) (см. ниже). Можно уменьшить выборку колонок, которые будут собираться, но для упрощения можно просто выделить все - пока не принципиально.

 Trace

 

Не забываем установить фильтры событий, чтобы не собирать всякий «мусор» (т.е. события других баз, в т.ч. основной базы, напоминаю, что мы работаем в тестовой базе). Чтобы узнать ID базы можно выполнить запрос select DB_ID ( [ 'database_name' ] ) в SQL Server Management Studio

 Filter

Стартуем трейс перед началом заполнения и останавливаем после завершения. Дальше выгружаем его в таблицу для удобства работы.

 Выгрузка в таблицу

Для простоты можно выгрузить в tempdb с каким-нибудь простым именем, потом эту таблицу можно не задумываясь удалить. Находим длительные операции запросом

SELECT *

FROM [tempdb].[dbo].[temp]

ORDER BY Duration DESC

//temp – название таблицы в которую выгрузили трейс из Profiler

Пример выполнения запроса на скриншоте ниже (немного другого :), но суть та же)

 Результат

Видим две строчки с ОЧЕНЬ высоким Duration с ними и будем разбираться. В MS SQL Profiler находим по StartTime – EndTime (все строчки расположены по возрастанию EndTime). Проанализируем вторую строчку, как наибольшую. Находим строчку в замере Profiler’а.

Пример трейса

Смотрим план запроса (это строчка сразу НАД найденной строкой). Этим кстати и объясняются все танцы с бубном вокруг выгрузки трейса в таблицу, так как у планов выполнения запроса нет метрики Duration и найти план выполнения запроса без привязки к основному запросу крайне затруднительно. Не буду приводить полный ПВЗ, а покажу только его часть – в ПВЗ видим постоянные table scan с весом в 14% каждый с одной и той же таблицей #tt38.

 

 ПВЗ

 

Смотрим таблицу #tt38 в ней обнаруживается 2 миллиона строк (см. ниже)!!! Явная ошибка именно в этой таблице -  в данных по зарплате по одному подразделению не может быть такого количества записей даже с самой маленькой детализацией (если только не предположить, что у сотрудников посекундная тарификация :))

 tt38

Находим наш запрос в 1С. Вот он - куча левых соединений с таблицей ЗначенияПоказателей.

 Запрос1С

Я думаю у многих возникает вопрос: «А как найти аналог запроса 1С по известному нам запросу SQL?». Для этого есть следующие «помощники»:

  • известные объекты в запросе SQL (т.е. когда SQL обращается не к временной, а к какой-то физической таблице). Соответствие между объектами 1С и объектами СУБД можно получить при помощи метода ПолучитьСтруктуруХраненияБазыДанных(), а дальше уже поиском находим нужный запрос
  • необычные агрегатные функции (максимум, среднее или количество различных)
  • структура запроса (например: два левых соединения и одно прямое с вложенным подзапросом) достаточно точно указывает на запрос 1С
  • условия соединений

Это последний (результирующий) запрос в пакете. Разбираться надо с таблицей #tt38 (это кстати вторая строка по длительности в трейсе – insert into #tt38). Аналогичным образом находим ПВЗ для таблицы #tt38 (см. ниже).

  ПВЗ№2

Проблема начинается в выделенном фрагменте (именно с этого момента возникает 2 миллиона строк), на входе у нас приходит две таблицы на 3000 строк, которые объединяются. Подумал, что стоит на всякий случай проверить - нет ли ошибки при объединении, так как уже было сказано выше - 2 млн. строк быть не должно.

Мы уже знаем, что нам нужна таблица ЗначенияПоказателей - ниже приведен текст проблемного запроса. И действительно была обнаружена ошибка в соединении, которая выделена подчеркиванием (в конце запроса).

 

ВЫБРАТЬ
   
ПоследниеЗначенияПоказателей.Период КАК ПериодДействия,
   
ЗначенияПоказателей.Физлицо,
   
ЗначенияПоказателей.Показатель,
   
ЗначенияПоказателей.ИсходноеЗначение,
   
ЗначенияПоказателей.Значение,
   
ЗначенияПоказателей.Валюта,
   
ЗначенияПоказателей.ВводитсяВВалюте,
   
ЗначенияПоказателей.КурсВалюты,
//pma(
   
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоДолжности,
//++ SMI 29.04.13
   
ВЫБОР
        КОГДА
ЗначенияПоказателей.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
               
ИЛИ ЗначенияПоказателей.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
           
ТОГДА ИСТИНА
        ИНАЧЕ ЛОЖЬ
    КОНЕЦ
КАК ПоПодразделению,
//-- SMI 29.04.13
   
ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.Подразделения.ПустаяСсылка)) КАК Подразделение,
   
ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) КАК Должность
//pma)
ПОМЕСТИТЬ ЗначенияПоказателей
ИЗ
   
ЗначенияПоказателейИсходныйПериодДействия КАК ЗначенияПоказателей
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ (ВЫБРАТЬ
           
МАКСИМУМ(ЗначенияПоказателей.ПериодДействия) КАК ПериодДействия,
           
ПериодыФизлиц.Период КАК Период,
           
ЗначенияПоказателей.Физлицо КАК Физлицо,
           
ЗначенияПоказателей.Показатель КАК Показатель,
//pma(
       
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоДолжности,
       
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоПодразделению,
           
ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.Подразделения.ПустаяСсылка)) КАК Подразделение,
           
ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) КАК Должность
//pma)
       
ИЗ
           
ЗначенияПоказателейИсходныйПериодДействия КАК ЗначенияПоказателей
                ВНУТРЕННЕЕ СОЕДИНЕНИЕ ПериодыФизлиц КАК ПериодыФизлиц
                ПО ЗначенияПоказателей.Физлицо = ПериодыФизлиц.ФизЛицо
                    И ЗначенияПоказателей.ПериодДействия <= ПериодыФизлиц.Период

        СГРУППИРОВАТЬ ПО
           
ЗначенияПоказателей.Физлицо,
//pma(
           
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ,
           
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ,
           
ЗначенияПоказателей.Подразделение,
           
ЗначенияПоказателей.Должность,
//pma)
           
ПериодыФизлиц.Период,
           
ЗначенияПоказателей.Показатель) КАК ПоследниеЗначенияПоказателей
        ПО ЗначенияПоказателей.Физлицо = ПоследниеЗначенияПоказателей.Физлицо
            И ЗначенияПоказателей.Показатель = ПоследниеЗначенияПоказателей.Показатель
            И ЗначенияПоказателей.ПериодДействия = ПоследниеЗначенияПоказателей.ПериодДействия
//pma(
           
И (ПоследниеЗначенияПоказателей.ПоДолжности И ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) = ПоследниеЗначенияПоказателей.Подразделение ИЛИ Не ПоследниеЗначенияПоказателей.ПоДолжности)
           
И (ПоследниеЗначенияПоказателей.ПоДолжности И ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) = ПоследниеЗначенияПоказателей.Должность ИЛИ Не ПоследниеЗначенияПоказателей.ПоДолжности)
//pma)

Как обычно получили две новости – хорошую и плохую. Начинаем с «хорошей» – нашли ошибку в старом коде. «Плохая» – ошибка не влияет ни на качество (нет данных, на которых она бы проявилась), ни (что логично исходя из кода) на производительность операции (повторный аналогичный анализ опять показал 3000 записей на входе и 2 млн строк при объединении). Но, как говорится, – «все что ни делается – всё к лучшему» (с). Во-первых, ошибку все равно нашли, а во-вторых, еще больше сузили область поиска проблемного запроса. Теперь стало понятно, что ошибка кроется в большом количестве записей на входе (3000) в таблицу ЗначенияПоказателей.

Часть III – Удачная и короткая:

 

Чтобы проанализировать запрос заполнения таблицы ЗначенияПоказателей, пришлось собрать текст запроса из двух разных мест (хорошо, что только из двух :)). Итоговый текст ~1200 строк и 25 запросов в пакете (напоминаю, что это только ЧАСТЬ(!) общего запроса).

После беглого анализа результатов запроса в консоли 1С было обнаружено следующее, что в таблице ЗначенияЕжемесячныхПоказателей было декартово произведение сотрудников подразделения и всех значений показателя ОтработаноДнейВДолжности по всем подразделениям и сотрудникам организации, а нам этот показатель нужен только для подразделения, значит не хватает условия по подразделению и сотруднику в условии соединения.

Смотрим запрос:

ВЫБРАТЬ РАЗЛИЧНЫЕ
   
ЗначенияПоказателейСхемМотивации.ПериодДействия КАК ПериодДействия,
   
ДвиженияРаботников.Физлицо КАК Физлицо,
   
ЗначенияПоказателейСхемМотивации.Подразделение КАК Подразделение,
   
ЗначенияПоказателейСхемМотивации.Показатель КАК Показатель,
   
ЗначенияПоказателейСхемМотивации.Значение КАК Значение,
   
ЗначенияПоказателейСхемМотивации.Валюта КАК Валюта
ПОМЕСТИТЬ ЗначенияЕжемесячныхПоказателей
ИЗ
   
ВТДвиженияРаботников КАК ДвиженияРаботников
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияПоказателейСхемМотивации КАК ЗначенияПоказателейСхемМотивации
        ПО (ЗначенияПоказателейСхемМотивации.Организация = ЗНАЧЕНИЕ(Справочник.Организации.ПустаяСсылка))
           
И (ЗначенияПоказателейСхемМотивации.ПериодДействия = НАЧАЛОПЕРИОДА(&парамНачало, МЕСЯЦ))
           
И (ВЫБОР
                КОГДА
ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.Индивидуальный)
                       
ИЛИ ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя ЕСТЬ NULL
                    ТОГДА
ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
                   
ТОГДА ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
                   
ТОГДА ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                            И ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                ИНАЧЕ ИСТИНА
            КОНЕЦ
)

ОБЪЕДИНИТЬ

ВЫБРАТЬ РАЗЛИЧНЫЕ
   
ЗначенияПоказателейСхемМотивации.ПериодДействия,
   
ДвиженияРаботников.ФизЛицо,
   
ЗначенияПоказателейСхемМотивации.Подразделение,
   
ПоказателиСхемМотивации.Ссылка,
   
ЗначенияПоказателейСхемМотивации.Значение,
   
ЗначенияПоказателейСхемМотивации.Валюта
ИЗ
   
ВТДвиженияРаботников КАК ДвиженияРаботников
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияПоказателейСхемМотивации КАК ЗначенияПоказателейСхемМотивации
        ПО (ЗначенияПоказателейСхемМотивации.Организация = ЗНАЧЕНИЕ(Справочник.Организации.ПустаяСсылка))
           
И (ЗначенияПоказателейСхемМотивации.ПериодДействия = ДОБАВИТЬКДАТЕ(НАЧАЛОПЕРИОДА(&парамНачало, МЕСЯЦ), МЕСЯЦ, -1))
           
И (ВЫБОР
                КОГДА
ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.Индивидуальный)
                       
ИЛИ ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя ЕСТЬ NULL
                    ТОГДА
ДвиженияРаботников.ФизЛицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
                   
ТОГДА ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
                   
ТОГДА ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                            И ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                ИНАЧЕ ИСТИНА
            КОНЕЦ
)
            ВНУТРЕННЕЕ СОЕДИНЕНИЕ
Справочник.ПоказателиСхемМотивации КАК ПоказателиСхемМотивации
            ПО ЗначенияПоказателейСхемМотивации.Показатель = ПоказателиСхемМотивации.ПоказательПредыдущегоПериода
                И (ПоказателиСхемМотивации.ПредыдущийПериод)

 

 

При заполнении временной  таблицы ЗначенияЕжемесячныхПоказателей идет соединение Движений и ЗначенийПоказателей в условии соединения идет ВЫБОР КОГДА с различными вариантами по ВидамПоказателей

Были указаны виды:

  • Индивидуальный
  • ПоПодразделению
  • ПоПодразделениюИСотруднику

Если не один из указанных, то ИСТИНА (то есть без ограничений), т.е. если вид показателя не равен ни одному из указанных, то фактически появляется соединение по ИСТИНА, что равно перемножению таблиц. Излишне говорить, что именно это и происходило Smile

Причина ошибки - в программу предыдущими разработчиками было добавлено новое значение перечисления показателя «ПоКадровымДаннымСотрудника», который заполняется по подразделению и должности и который не был описан в условии соединения.

Решение – добавить новое условие в ВЫБОР КОГДА по новому виду показателя.

Скорректированный код запроса приводить не буду – логика понятна.

Время выполнения текущего запроса снизилось с 2 секунд до 0.2 секунд и снизилось количество записей до 300. 

 

IV часть – Заключительная и опять короткая :)

 

Результаты оптимизации стали видны сразу:

  • Невооруженным взглядом – время заполнения документа изменилось с «очень долго» на «практически мгновенно».
  • Вооруженным – APDEX изменился с «неприемлимо» до «отлично».

 Оценка2

 

 Замеры выполнения ДО и ПОСЛЕ оптимизации разделены красным маркером.


Замеры2

 

ВЫВОДЫ

  1. План выполнения запросов MSSQL из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах и либо находить, либо сужать область поиска неоптимального или некорректного кода, особенно когда проводить рефакторинг кода запроса крайне затруднительно или невозможно.
  2. Анализ планов выполнения запроса так же помогает выявить запросы, которые сами по себе выполняются достаточно быстро по отношению к общему времени выполнения запроса, но которые критическим образом сказываются на общем времени выполнения. Такие "некорректные" запросы очень тяжело выявить используя только стандартные средства 1С без визуализации плана выполнения.
  3. Когда у тебя руки чешутся, чтобы сделать что-нибудь полезное – проверь не сделал ли это кто-нибудь до тебя (с) Здесь я имею ввиду – Консоль запросов 1С с одновременной возможностью просмотра плана выполнения запроса из SQL Profiler. Такая обработка уже есть – //infostart.ru/public/56973/ - автор Ararat. Пока, к сожалению, воспользоваться ей не довелось, но судя по отзывам и рекомендациям – там все нормально, и она отработает так как надо. Думаю, что с такой обработкой я бы решил задачу быстрее, так как с Profiler'ом было бы поменьше работы. Так что думаю обработка из разряда - must have.
  4. Начинать любую оптимизацию лучше всего с внедрения подсистемы «Оценка производительности» и установки замеров времени выполнения, чтобы четко отслеживать результаты оптимизации. 
  5. На производительности могут сказываться неочевидные и труднонаходимые ошибки в коде. (с) Капитан Очевидность
  6. Очередное подтверждение правила, если что-то стало медленно работать – 90% что надо искать «кривой» код

В качестве P.S., крайне рекомендую к прочтению статью Славы Гилева «Влияние оптимизатора запросов на производительность 1С» - в ней очень хорошо показана вся внутренняя кухня оптимизатора СУБД, плана выполнения запроса и всего остального. Статья из разряда «must read», особенно тем, кто готовится к Эксперту по ТВ или просто хочет чуть лучше понимать как оно "ТАМ" работает :)

 

Специальные предложения

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. awk 733 21.01.14 22:32 Сейчас в теме
А почему profiler, а не технологический журнал?
3. Armando 1396 21.01.14 22:45 Сейчас в теме
Согласен с (1). По ТЖ проще найти проблемный запрос в 1С.
4. barelpro 1235 21.01.14 22:56 Сейчас в теме
(1)(3) Парни, а разве ТЖ показывает ПВЗ?
6. headMade 143 21.01.14 23:41 Сейчас в теме
(4) barelpro,

да, начиная с 8.2.14 показывает

"Реализована возможность помещения в технологический журнал плана запроса СУБД. Для этого в конфигурационный файл технологического журнала добавлен элемент <planSQL> и свойство "planSQLText" для событий исполнения операторов SQL различных СУБД."

см. Версия 8.2.14
8. krolya 307 21.01.14 23:54 Сейчас в теме
(6) headMade,

Спасибо за информацию, как говорится "Век живи, век учись" (с).

Упустил я видимо этот момент. Но если я правильно понимаю там ПВЗ в виде текста, а визуализировать его хз как, да и найти в дебрях ТЖ нужный нам запрос, тоже занятие не из приятных я думаю. Парсеров не так много и я не уверен, что парсеры отрабатывают свойство planSQLText.

И кстати там ПВЗ с расширенной аналитикой по таблицам? (т.е. количество строк, предикаты, вес и т.д.)?
9. headMade 143 22.01.14 00:28 Сейчас в теме
(8) krolya,

для MSQL в ТЖ пишет Rows, Executes, EstimateRows, EstimateIO, EstimateCPU, AvgRowSize, TotalSubtreeCost, EstimateExecutions, StmtText.

Для визуализации обратите внимание на Инструменты разработчика вот пример трассировки запроса
(также не забываем про сервисы Гилева)

Ну а что касается вашей ситуации (нашли замером производительности долгий запрос), то как мне кажется profiler тут подходит как ничто другое.
10. tormozit 6466 22.01.14 00:35 Сейчас в теме
(9) Да, в ИР есть неплохая иллюстрация того, что дает собирать техножурнал по выполняемым запросам в определенной мере независимо от СУБД. План запроса естественно СУБД специфичен. В видео показан анализ плана запроса СУБД MS SQL.
5. krolya 307 21.01.14 23:30 Сейчас в теме
(1) awk,

По ТЖ можно найти самый долгий запрос. В нашем случае - это будет последний запрос (где соединяется несколько раз таблица на 2 млн. строк), но проблема то не в нем, а запросе, который эти 2 млн. строк формирует, а он то как раз выполняется гораздо быстрее чем последний :), а запрос в котором на самом деле была ошибка, вообще за 2 секунды выполняется. И как здесь поможет ТЖ? :) Или я чего-то не знаю про возможности ТЖ
2. Armando 1396 21.01.14 22:44 Сейчас в теме
7. krolya 307 21.01.14 23:51 Сейчас в теме
(2) Armando,

Не за что, рад что пригодился.
11. asved.ru 35 22.01.14 03:03 Сейчас в теме
Попробуйте ЦУП и забудьте ручное ковыряние в трассировке и сопоставление с текстами запросов/метаданными как страшный сон.
Gilev.Vyacheslav; +1 Ответить
12. Gilev.Vyacheslav 1884 22.01.14 06:45 Сейчас в теме
я так и не понял, а зачем все это надо было делать, есть же бесплатные сервисы http://www.gilev.ru/online/
зачем изобретать велосипед?
18. awk 733 22.01.14 10:30 Сейчас в теме
(12) Gilev.Vyacheslav, Не отовсюду к ним достучатся можно. Одно слово - online. :) Вот и приходится по старинке.
20. Gilev.Vyacheslav 1884 22.01.14 10:47 Сейчас в теме
(18) awk, а ЦУП использовать который не онлайн что мешает?
и потом, что значит "онлайн" - у вас нет интернета? не верю! разверните подробней
25. Evgen.Ponomarenko 557 22.01.14 11:46 Сейчас в теме
(20) Gilev.Vyacheslav,
Вячеслав, если бы не данная статья с ссылками на ваши работы, раскатал бы вас здесь и сейчас за неуместную рекламу своего велосипеда пусть даже с хорошим моторчиком (рука так и тянулась к минусу)
Берите пример с tormozit - мягко и не навязчиво продвигается на пользу себе и людям )))
28. Gilev.Vyacheslav 1884 22.01.14 11:53 Сейчас в теме
(25) Evgen.Ponomarenko, ни от вас и ни от автора не услышал, зачем нужен профайлер при наличии огромного выбора альтернатив, и не только моих инструментов - кроме как простыми путями не идем

любой уважающий себя программист может легко руками настроить logfcg.xml и в течении пары минут посмотреть план запроса в логах ТЖ, не обманывайте себя и других
38. krolya 307 22.01.14 14:57 Сейчас в теме
(28) Gilev.Vyacheslav,

любой уважающий себя программист может легко руками настроить logfcg.xml и в течении пары минут посмотреть план запроса в логах ТЖ, не обманывайте себя и других


Любой уважающий себя программист волен быть свободен в выборе инструментов для достижения целей и я не вижу чем вариант получения плана выполнения запроса через SQL Profiler принципиально отличается от получения плана выполнения запроса через ТЖ.

Ну и любой уважающий себя программист может легко подключиться к SQL Profiler'у и посмотреть план запроса в трейсе - не обманывайте других!

Только ПОСМОТРЕТЬ план запроса в логах ТЖ, это еще не решение задачи - нужно ПОСМОТРЕТЬ план выполнения НУЖНОГО ЗАПРОСА (просто посмотреть план выполнения первого попавшегося запроса я думаю смогу секунд за 30, что называется кто быстрее :)))). А найти план выполнения нужного запроса из пары десятков в логах выполнения ТЖ мне почему-то кажется занимает дольше двух минут :)
49. awk 733 23.01.14 10:15 Сейчас в теме
(20) Gilev.Vyacheslav, ЦУП - це круто. Нет, ну правда. Хорошо когда есть деньги. Тогда не сильно задумываешься на тему: "А как дальше жить". Но у многих их нет. И живут же они как-то. Просто они немного больше думают (делают). Так и здесь. Хорошо когда заказчик купил КИП, да еще и на сервере терминальном открыл доступ в интернет. А вот когда не открыл и не купил? Да еще и ТЖ поднимает сам по служебке через неделю? После пары таких клиентов и бинарники становятся исходниками. Просто работа моя увеличивает время и стоимость. Наверное, КИП и ваш сервис будет дешевле (даже не наверное, а скорее всего). Но жадных - надо учить рублем.
36. krolya 307 22.01.14 12:27 Сейчас в теме
(12)Gilev.Vyacheslav,
(14)Gilev.Vyacheslav,


Вячеслав, добрый день. Отвечу один раз на все сообщения.

Когда я написал фразу: "использовать SQL Profiler для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах", то я в первую очередь имел ввиду не сам SQL Profiler, а именно план выполнения запроса. Если вы заметили, я в Выводах к статье прямым текстом написал, что есть консоль запросов 1С, которая умеет показывать план выполнения запроса и именно ее рекомендовал к использованию для получения плана выполнения более быстрым и удобным способом. Мне без разницы как получить план выполнения запроса, главное чтобы он был. Получу я его через SQL Profiler, консоль или Ваш сервис - мне все равно. Я использовал инструмент, который был под рукой. Он НЕ САМЫЙ УДОБНЫЙ, НЕ САМЫЙ ЛУЧШИЙ и вообще не самый-самый и я нигде в статье не говорил, что это единственный и самый удобный инструмент (очевидно, что это не так).

Целью статьи было показать логику и методику проведения оптимизации для очень больших запросов с использованием плана выполнения запроса на одном примере, а не сравнить все возможные средства получения плана выполнения запросов или рассмотреть все возможные методики проведения оптимизации.

Ну и повторюсь - самый долгий запрос в пакете запросов (не равно) неоптимальный или некорректный, причина его неоптимальности, часто лежит в других запросах.
41. Gilev.Vyacheslav 1884 22.01.14 16:34 Сейчас в теме
(36) , (37) , (38) , (39) krolya, Алексей, по существу статьи - можно было откинуть про инструментарий и написать :
берем жирный запрос, смотрим на левую и правую части соединения,
смотрим на скорость правой части, смотрим на скорость левой части, смотрим на скорость "обоих частей вместе" - далее смотрим кто из них самый явно долгий,
далее "проваливаемся вглубь" этого долгого и повторяем итерацию

таким образом какой бы не был огромный запрос, не обязательно мегасхемы рисовать, можно автоматизированно локализовать узкое место,
я не прав?

ценное зерно (не ходившим на 1С:эксперта) в статье про нехватку отборов при перемножении - не буду придираться

у меня ваша заметка вызвала такую реакцию потому что напоминает софтпоинтовое "много воды и чуть-чуть полезного"
вообщем вцелом не обращайте на мое ворчание внимание, ваша статья найдет своего благодарного читателя, профайлером тоже надо уметь пользоваться
AlexeyFreeLife; unoDosTres; Samosval; Восьмой; teflon; DLysikov; pbazeliuk; allegrosoft; barelpro; Evgen.Ponomarenko; krolya; +11 Ответить
42. krolya 307 22.01.14 16:42 Сейчас в теме
(41) Gilev.Vyacheslav,

Алексей, по существу статьи - можно было откинуть про инструментарий и написать :
берем жирный запрос, смотрим на левую и правую части соединения,
смотрим на скорость правой части, смотрим на скорость левой части, смотрим на скорость "обоих частей вместе" - далее смотрим кто из них самый явно долгий,
далее "проваливаемся вглубь" этого долгого и повторяем итерацию


Вячеслав, согласен, но тогда это будет не та статья, которую я задумывал :), т.к. я хотел показать весь путь оптимизации одного запроса от начала и до конца. Если в статье доносить только главную мысль "без воды", то она не будет воспринята (хотя возможно я не прав в этом).

вообщем вцелом не обращайте на мое ворчание внимание, ваша статья найдет своего благодарного читателя, профайлером тоже надо уметь пользоваться


ОК. Договорились :)
13. Confucius 80 22.01.14 06:52 Сейчас в теме
Довольно не тривиальный путь поиска ошибок...это как для диагностики не исправности у авто самому спаять плату для диагностики... есть же велосипеды уже.
Gilev.Vyacheslav; +1 Ответить
30. Evgen.Ponomarenko 557 22.01.14 11:54 Сейчас в теме
(13) Confucius,
Довольно не тривиальный путь поиска ошибок...это как для диагностики не исправности у авто самому спаять плату для диагностики... есть же велосипеды уже.

Я тоже сначала так подумал... но из контекста статьи видно, что автор разбирался с чужим-чужим-чужим черным ящиком. Он использовал формальный подход и штатные средства - классика жанра, зачетно!
32. Gilev.Vyacheslav 1884 22.01.14 11:58 Сейчас в теме
(30) Evgen.Ponomarenko,
использовал формальный подход и штатные средства
штатные средства - это технологический журнал, хватит людей обманывать!
33. Evgen.Ponomarenko 557 22.01.14 12:01 Сейчас в теме
(32) Gilev.Vyacheslav,
Это с какой стороны посмотреть, с точки зрения ADB - штатное средство профайлер микрософта в данном случае.
34. Gilev.Vyacheslav 1884 22.01.14 12:03 Сейчас в теме
(33) Evgen.Ponomarenko, с точки зрения АДБ он не правит запросы в 1С
35. Evgen.Ponomarenko 557 22.01.14 12:15 Сейчас в теме
(34) Gilev.Vyacheslav,
Я 5 лет проработал в секторе администрирования БД. Мы постоянно мониторили производительность, вместе с программистами решали задачи оптимизации. Под Oracle в 2000 году были такие средства оптимизации, что 1С еще шагать и шагать. К примеру, можно было провести анализ нарушений 3-й нормальной формы. Автоматизация позволяла выгребать ошибки сторонних разработчиков тоннами. В данном случае в статье речь идет об альтернативе, которая имеет место быть. А чем больше возможностей - тем оптимальней решение.
14. Gilev.Vyacheslav 1884 22.01.14 06:56 Сейчас в теме
Вот план запроса в наших сервисах

нафига такой огород с профайлером?
Evil Beaver; +1 1 Ответить
45. German 874 22.01.14 19:58 Сейчас в теме
(14)(17) Раз уж все отметились, вот интерактивный!! план запросов в Ei

awa; JohnyDeath; krolya; lustin; tormozit; +5 Ответить
46. tormozit 6466 22.01.14 20:00 Сейчас в теме
(45) В чем его интерактивность? Он может выполнять по шагам операции плана? =)
asved.ru; +1 Ответить
48. German 874 22.01.14 20:09 Сейчас в теме
(46) пока при наведении расшифровка, при клике на таблице переход к индексам и структуре, на остальное пока особо фантазии не хватило :)

В общем там чистый HTML, можно хоть скачущего ПОНИ прилипить
15. DoctorRoza 22.01.14 08:12 Сейчас в теме
Ну вот, нормальная статья. Не всякие теоретические сопли скопипастенные из интернета, а реальный, боевой опыт!
Evgen.Ponomarenko; +1 1 Ответить
19. Gilev.Vyacheslav 1884 22.01.14 10:38 Сейчас в теме
(15) DoctorRoza, опыт - однозначно да
однако описание как работать профайлером на не 1с-ких форумах мульён!
сейчас новички вместо того чтобы сходить почитать документацию к 1С:ЦУП прочтут эту статью, решать что они теперь "НЕО" и знают "кунфу" и потом понесутся "гневные письма в 1С" про то что приходится бороться с мнимыми трудностями

по поводу консоли запросов с планом запроса - у нас она тоже есть, взял выполнил запрос и сразу увидел план не выходя из 1С

Не всякие теоретические сопли скопипастенные из интернета
при всем уважение - это не просто сопли, а извините достаточно "старые"

я вот так и не увидел

из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах

извините за прямоту...
21. JohnyDeath 300 22.01.14 11:12 Сейчас в теме
(19) Gilev.Vyacheslav,
сейчас новички вместо того чтобы сходить почитать документацию к 1С:ЦУП прочтут эту статью

а ЦУП использовать который не онлайн что мешает?

Озвучь, пожалуйста, ценник на ЦУП. Всё встанет на свои места. А профайлер или ИР есть здесь и сейчас (Сергею Седых за это огромное спасибо).
по поводу консоли запросов с планом запроса - у нас она тоже есть, взял выполнил запрос и сразу увидел план не выходя из 1С

Где можно посмотреть? Или она только для внутреннего использования?
23. Gilev.Vyacheslav 1884 22.01.14 11:19 Сейчас в теме
(21) JohnyDeath, вы красиво смешали ЦУП, которые накапливает статистику и ранжирует проблемы и консоль ИР - она на сколько я последний раз, ничего подобного не умела, я не прав, уже задублировала бесплатно ЦУП?
29. JohnyDeath 300 22.01.14 11:54 Сейчас в теме
(23) Gilev.Vyacheslav, Вы тоже красиво умолчали о стоимости. В данной конкретной проблеме ИРа бы хватило. Мы ведь обсуждаем то, почему автор не использовал ЦУП, верно?
(27) Спасибо, не знал. И нигде раньше этого не слышал. По-моему, я у вас давным-давно спрашивал про разрешение имен таблиц в имена таблиц 1С.
(26) Оно оказывается тоже платное. ( Посмотреть не получится. И она скорее всего идет в составе всей конфы. Верно?
31. Gilev.Vyacheslav 1884 22.01.14 11:57 Сейчас в теме
(29) JohnyDeath, о стоимости ЦУПа - любой разработчик может себе позволить НФР версию цупа (по памяти это тысяч десять рублей) имхо это не заоблачная стоимость и ее легко включить в общую стоимость проекта, в рамках которого оптимизируете запрос, если вы франч и делаете это для клиента, то цуп должен вообще купить клиент, для вас он будет бесплатен
ну и где здесь сложности?
26. Gilev.Vyacheslav 1884 22.01.14 11:46 Сейчас в теме
(21) JohnyDeath,
Где можно посмотреть? Или она только для внутреннего использования?
http://www.gilev.ru/querytj_plus/
JohnyDeath; +1 Ответить
39. krolya 307 22.01.14 15:02 Сейчас в теме
(19) Gilev.Vyacheslav,

я вот так и не увидел

...из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах...

извините за прямоту...


Извиняю, но Вячеслав, вы при цитировании опустили принципиальную часть моей фразы, которая искажает ее смысл.

План выполнения запросов MSSQL из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах и либо находить, либо сужать область поиска неоптимального или некорректного кода, особенно когда проводить рефакторинг кода запроса крайне затруднительно или невозможно.


Я могу с легкостью из нее убрать ссылку на SQL Profiler (она не потеряет смысла и останется верной), а суть ее сводится к тому, что план выполнения запросов МОЖЕТ(!) хорошо помочь в решении задачи оптимизации больших запросов. И повторюсь, что мне без разницы каким способом я получу нужный мне план выполнения запросов в следующий раз - будет ли это Profiler, ваш сервис или логи ТЖ.
16. StaticUnsafe 22.01.14 08:58 Сейчас в теме
17. tormozit 6466 22.01.14 09:31 Сейчас в теме
Вот скриншот плана запроса из инструмента "Анализ техножурнала" инструментов разработчика. Обратите внимание, здесь имена полей и таблиц уже переведены в термины метаданных (опция).
Прикрепленные файлы:
Восьмой; slavap; lustin; pumbaE; krolya; headMade; JohnyDeath; +7 Ответить
22. JohnyDeath 300 22.01.14 11:17 Сейчас в теме
По поводу плана запроса. Помимо ЦУПа, Онлайна Вячеслава и ИР Сергея есть еще Enterprise Integrator от Германа Кудякова. С недавних пор план запроса у него свой: с шахматами и барышнями http://main.1c-ei.ru/Home/help/profiler/view/planquery
У Вячеслава пока чуть хуже чем у Сергея - не определяются автоматом имена таблиц 1С, да и выглядит заметно хуже.
Кстати, а кто как определяет имена таблиц? Я сделал вьюхи на все таблицы и потом смотрю "зависимости" в интересуемой таблице вида "_InfoRg43"
27. Gilev.Vyacheslav 1884 22.01.14 11:49 Сейчас в теме
(22) JohnyDeath,
У Вячеслава пока чуть хуже чем у Сергея - не определяются автоматом имена таблиц 1С, да и выглядит заметно хуже.
показываются, если подключен сервис http://www.gilev.ru/sqlsize/
так сделано, потому что сервис Анализа запросов не авторизуется и не подключается к базе (т.е. максимально безопасный насколько это вообще в природе возможно)
Второй сервис выполняет ком-подключение к исследуемой базе и требует ввести логин пароль.
24. Evgen.Ponomarenko 557 22.01.14 11:44 Сейчас в теме
Ну, что сказать?! Точно в цель!!! И по теме и по содержимому. В деле SQL-тюнинга, визуальный план выполнения запросов - это наше все! Важно, что решение предполагает только штатные средства.
Ссылки на другие источники уместны и респектабельны ))) Так, что автору "Респект и уважуха!" (С).
Статья просится в золотой фонд Инфостарта. Знаю, что вернусь к ней еще не раз.

Для меня она, как точка входа на другие ресурсы (такая себе дверь в коморке Папы-карлы). Так, что... бросаю якорь в закладках )))
Прикрепленные файлы:
Tedman; krolya; DitriX; +3 Ответить
37. krolya 307 22.01.14 12:43 Сейчас в теме
Кстати, что интересно - вот в соседней статье Использование yEd для понимания картины запроса обсуждается проблема визуализации больших запросов на примере ЗУП 2.5 и там используются ну совсем не штатные средства :)
40. asved.ru 35 22.01.14 15:04 Сейчас в теме
// offtop

Enterprise Integrator от Германа Кудякова


Какой, простите, вырвиглазный сайт. Сделайте меня развидеть это!
43. lustin 22.01.14 18:15 Сейчас в теме
(0) перечитал спокойно, хотя хотел в пылу написать с утра.

Возникли следующие мысли:

1. Знать и уметь использовать профайлер вкупе с методом ПолучитьСтруктуруХранения() - НУЖНО
2. В реальной работе лучше использовать ИнструментыРазработчика, КонсольЗАпросов и КонсольКода с трассировками, не забываем про EnterpriseIntegrator от Германа.
3. APDEX и ЦУП знать нужно - но это инструментарий который вначале нужно внедрить, а только потом использовать.

Однако меня больше заинтересовало другое:


Решение – добавить новое условие в ВЫБОР КОГДА по новому виду показателя.


совместно с вот этим
Причина ошибки - в программу предыдущими разработчиками было добавлено новое значение перечисления показателя «ПоКадровымДаннымСотрудника», который заполняется по подразделению и должности и который не был описан в условии соединения.


Я правильно понял, что когда другой разработчик добавит новое значение показателя ПоКакимНибудьНовымДаннымСотрудникаИлиВЗависимостиОтФазыЛуны - проблема вновь возникнет ? И тогда придется повторно вспоминать данный кейс.

Если я все правильно понял, то это не решение - это HOTFIX.
Нужно избавится от конструкции ВЫБОР внутри условия соединения и тогда я думаю будет еще чуть быстрей за счет отказа от CASE подобных конструкций и в будущем не рухнет вновь.
teflon; krolya; awa; Odinas; awk; JohnyDeath; +6 Ответить
44. krolya 307 22.01.14 18:40 Сейчас в теме
(43) lustin,

Алексей, спасибо за комментарии.

Я правильно понял, что когда другой разработчик добавит новое значение показателя ПоКакимНибудьНовымДаннымСотрудникаИлиВЗависимостиОтФазыЛуны - проблема вновь возникнет ? И тогда придется повторно вспоминать данный кейс.


Правильно, но этого не будет - см. ниже :)

Предыдущие разработчики добавили новый вид перечисления, что я считаю некорректно, я практически уверен что задачу, которую они решали можно было реализовать либо используя типовые механизмы либо минимально корректируя существующие. По крайней мере не влезая в корректировку перечислений, так как в коде типовых ОЧЕНЬ ЧАСТО перечисления обрабатываются структурой ЕСЛИ ... ИНАЧЕ ЕСЛИ ... КОНЕЦЕСЛИ;. И изменение списка значений для перечисления приводит к масштабным изменениям по всему коду конфигурации.

Поэтому совсем правильным вариантом я считаю будет - провести рефакторинг изменений, которые привели к необходимости корректировки этого перечисления и оставить типовой код запроса :), но так я думаю никто сейчас делать не будет.

А чтобы избавиться от конструкции ВЫБОР, это нужно проводить рефакторинг кода этого запроса и корректировать типовую, что во-первых, накладно, а во-вторых соотношение полученного результата (ускорения) к стоимости его достижения мне кажется будет не в его пользу. Т.е. не стоит оно того имхо :)
JohnyDeath; lustin; +2 Ответить
47. lustin 22.01.14 20:07 Сейчас в теме
(44) ну значит я с Hotfix'ом угадал. А вот про типовую я забыл.

Скорее всего ты прав - необходимо посмотреть где им не хватило типовой и зачем и тогда рефакторить (причем может быть даже процессы а не конфигурацию).
50. Sorm 53 23.01.14 10:30 Сейчас в теме
А не смутило сразу, что TABLE SCAN используется? Может, стоило бы для начала помочь оптимизатору?
51. krolya 307 23.01.14 12:19 Сейчас в теме
(50) Sorm,

Я в первую очередь разбирался с ошибками, которые потенциально дешевле в устранении. Принцип Парето работает безотказно - 80% торможения можно устранить за 20% затрат. Мне в тот момент гораздо выгоднее было разобраться с 2 млн строк, чем устранять table scan :)
52. Sorm 53 23.01.14 12:47 Сейчас в теме
(51) krolya, Проиндексировать эту таблицу вместо анализа запроса(анализ, конечно, правильней, не спорю) не проще был сначала попробовать? Как бы это первое, что приходит в голову.
53. krolya 307 23.01.14 12:51 Сейчас в теме
(52) Sorm,

Сложно судить, но мне почему-то как раз пришло в голову именно с таблицей разобраться, чем пытаться помочь с TABLE SCAN'ом )

Интересно как другие думают? :)
54. Gilev.Vyacheslav 1884 23.01.14 13:23 Сейчас в теме
(52) Sorm, зачем ускорять "ненужную" работу, лучше ее минимизировать как (53)
55. Sorm 53 23.01.14 14:18 Сейчас в теме
(54) Gilev.Vyacheslav, согласен, но здесь вопрос во времени. Разобраться в запросе всяко дольше, чем индекс привинтить. А с учетом индекса, возможно, нагрузка на сервер станет непринципиальной. Ну, это только мое мнение. Просто часто разбираюсь с большими сложными SQL-процедурами, в которых "годичные" наслоения кода. Первый метод - все что можно выносится во временные таблицы, индексируется.. ну и т.д. Второй - сидеть разбираться в процедуре применительно к данным.
56. krolya 307 23.01.14 15:31 Сейчас в теме
(55) Sorm,

Первый метод: крайне трудоемок для громоздких запросов и не факт что приведет к нужным результатам.
Второй метод: анализ самих данных я не использовал на первом этапе "широкого" поиска, а только на более позднем, когда я сузил область поиска некорректного кода до 1-2 запросов.
57. Sorm 53 23.01.14 16:18 Сейчас в теме
(56) krolya, "Первый метод: крайне трудоемок для громоздких запросов" - собственно, почему? Уточню - я имею в виду хранимые процедуры и функции.
58. krolya 307 27.01.14 15:09 Сейчас в теме
(57) Sorm,

Долго придумывал какую аналогию привести, чтобы обосновать свое решение. Пришла в голову следующая идея:

по-большому счету любую операцию можно рассматривать как V=f(P,T), где V объем, т.е. количество выполненных операций за все время, P производительность, т.е. скорость выполнения этих операций в единицу времени) и T время затрачиваемое на работу, т.е. общее время выполнения операции. Предположим (для упрощения, но можно проверить и составить реальный график по реальным данным) график будет линейным (V=P*T).

Предположим, что у нас на начальном этапе скорость обработки данных - 100 единиц в единицу времени, а объем необходимый для производства равен 100 000 единиц (у нас цифры были другие 2 млн строк и 2 минуты), тогда время которое необходимо затратить, чтобы произвести (обработать) 100 000 единиц - 100 000 / 100 = 1000 единиц времени.

Двигаемся дальше - скорость оставляем НЕИЗМЕННОЙ, а значительным образом уменьшим количество записей до 1000, тогда время будет равно 10 единицам, а теперь подумаем во сколько раз нам нужно увеличить скорость выполнения операций при НАЧАЛЬНЫХ условиях объема 100 000 и заданном времени T=10, скорость выполнения операции должна стать 10 000, т.е. вырасти в 100 раз (математика первый класс :)))).

Ну, а в нашем случае, у нас было 2 млн. строк и я планировал его уменьшить до 2000 примерно, соответственно скорость выполнения нужно было увеличить в 1000 раз, чтобы получить сравнимый прирост :)

С моей точки зрения, я мог с высокой степенью гарантии уменьшить количество записей до 2000, но получить прирост в 1000 раз при добавлении индекса - я получил бы вряд ли.

P.S. Я проверю это на каком-нибудь SQL и выложу результаты. Самому интересно :)


59. krolya 307 28.01.14 15:44 Сейчас в теме
Здесь был комментарий :)
60. unoDosTres 20.06.14 10:59 Сейчас в теме
Автору спасибо за известную методу, но можно все проще сделать (я сейчас о конкретно в этой статье описанном случае), без всяких профайлеров, если знаешь текст проблемного запроса, берешь любую консоль запросов, либо допиливаешь, либо готовую с расчетом времени выполнения каждой ВТшки, и с вероятностью 90% самый долгий по выполнению Пакет и будет проблемным, и тут уже либо менять БизнесЛОгику запроса для оптимизации, либо чисто технически оптимизровать пакетник. для большинства пользователей, чтение планов запроса не даст полезной инфы, подумаешь table scan, подумаешь nested loops, и т .п.
61. unoDosTres 20.06.14 11:05 Сейчас в теме
(60) unoDosTres,
вдогонку к своему посту, скрин проблемного запроса из консоли запросов, и сразу видно что проблема в отмеченной Втшке, по-моему удобней и быстрей для описанного в теме случая, ну или хотя бы достойная альтенатива, конечно такого глубокого анализа как из плана запроса не получить, но узкое место сразу как на лодони
Прикрепленные файлы:
62. krolya 307 20.06.14 11:57 Сейчас в теме
(61) unoDosTres,

Да, разумная альтернатива и ее бы хватило для этого случая, по идее можно еще и количество строк смотреть - потому что у меня проблемный запрос не был самым долгим, но он влиял на другие. Так что анализ по количеству строк + время выполнения вполне себе пристойный инструмент для анализа запросов.

Ну и еще одна тонкость - иногда бывает достаточно сложно собрать все кусочки в единый запрос.
Оставьте свое сообщение

См. также

Аналог PIVOT в запросе 1С (как выполнить транспонирование таблицы в запросе 1С) Промо

Практика программирования v8 Бесплатно (free)

В статье показывается простой метод реализации аналога оператора PIVOT в запросе 1С без использования соединений.

12.12.2020    5149    Eugen-S    24    

СКД: 5 советов, как сделать лучше

Практика программирования v8 v8::СКД 8.3.14 Бесплатно (free)

Несколько примеров решения задач с использованием разных подходов

27.10.2021    5525    Neti    19    

Полезные примеры СКД, ч.2

Практика программирования v8 v8::СКД Бесплатно (free)

Еще несколько примеров решения задач в СКД.

06.04.2021    11747    Neti    8    

Неочевидные нюансы записи управляемой формы

Практика программирования v8 v8::УФ Платформа 1C v8.2 1cv8.cf Бесплатно (free)

Разберем несколько нюансов записи управляемой формы.

02.04.2021    14445    SeiOkami    54    

Использование классов .Net в 1С для новичков Промо

Разработка внешних компонент Универсальные функции Практика программирования v7.7 v8 Бесплатно (free)

Руководство для новичков. Написав статью http://infostart.ru/public/238584/, я понял, что многие не понимают того, что написано. Поэтому в этой статье постараюсь более подробно остановиться на азах и без кода на вражеском языке (C#)

27.01.2016    86661    Serginio    116    

Обзор полезных методов БСП 3.1.4

БСП (Библиотека стандартных подсистем) Практика программирования v8 1cv8.cf Бесплатно (free)

Библиотека стандартных подсистем (далее - БСП) является частью любой типовой конфигурации, поэтому умение применять готовые процедуры и функции повышает качество разработки и избавляет от написания лишнего кода. К сожалению, не у всех есть время и упорство овладеть всей документацией, поэтому я собрал воедино наиболее популярный функционал.

25.03.2021    46686    rayastar    53    

Звуковое управление в 1С 8.3

Практика программирования v8 1cv8.cf Бесплатно (free)

В данной статье описано создание библиотеки для звукового управления (выполнение команд голосом) для платформы 1С 8.3. Задача была поставлена так, чтобы модуль функционировал непосредственно на клиенте 1С, осуществляя управление формами, и взаимодействовал с интерфейсом.

16.03.2021    7619    velemir    33    

Доработка проведения в ERP 2.5. (Регистры накопления, Регистры сведений)

Практика программирования v8 ERP2 БУ Бесплатно (free)

Покажу точки входа для доработки "типового" проведения документов в ERP для регистров оперативного учета. Рассмотрим три основные ситуации: нужно изменить имеющееся проведение документа; нужно сделать записи в существующие регистры; нужно с нуля описать алгоритм проведения в добавленный регистр. Пример реализован на 1С:ERP Управление предприятием 2 (2.5.4.120)

10.01.2021    11868    BuriyLesha    10    

Использование программных перечислений, ч.1: строковые константы Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Часто ли у вас возникает необходимость в коде выполнять сравнение на строку?

10.12.2016    41347    unichkin    74    

Serverless (Faas) в 1С. Создание и вызов Yandex Cloud Functions

Универсальные функции Практика программирования v8 Бесплатно (free)

"Я не могу просто взять и скопировать код с гитхаба", "у нас 1С микросервисами окружена", "возможностей мало" - частые фразы 1С разработчиков. которым не хватает возможностей платформы в современном мире. Faas, конечно, история не новая, но нас сдерживало 152ФЗ и задержки по пингам. Для того, чтобы действительно использовать в 1С код, к примеру, на Python, надо было приложить усилия. Теперь всё намного проще - берём и используем.

28.12.2020    9366    comol    31    

Базовые вещи БСП, которые облегчат жизнь программисту 1С

БСП (Библиотека стандартных подсистем) Практика программирования v8 1cv8.cf Россия Бесплатно (free)

В данной публикации я опишу полезные процедуры и функции модуля общего назначения библиотеки стандартных подсистем, обязательные к использованию любым программистом 1С.

30.08.2020    21576    quazare    34    

Вспомогательные инструкции в коде 1С Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Помогаем редактору кода 1С помогать нам писать и анализировать код.

15.10.2018    36609    tormozit    106    

Серверные вызовы, которые нельзя вызывать

Практика программирования v8 v8::УФ 1cv8.cf Бесплатно (free)

Не баян, а классика. Рассмотрим особенность платформы настолько же древнюю, как сами УФ.

12.05.2020    9788    SeiOkami    34    

Форма выбора (подбор) в управляемых формах

Практика программирования v8 v8::УФ 1cv8.cf Россия Бесплатно (free)

Разбор небольших примеров того, как правильно открывать форму выбора (подбора) в управляемых формах, не прибегая к модальным окнам.

08.05.2020    88233    user5300    28    

Конвертация расширения cfe в конфигурацию сf руками

Практика программирования v8 1cv8.cf Бесплатно (free)

Как быстро преобразовать расширение в конфигурацию (для дальнейшего переноса в основную конфигурацию, например).

18.03.2020    11559    wtlz    35    

Оформление и рефакторинг сложных логических выражений Промо

Практика программирования v8 Россия Бесплатно (free)

В сложных логических выражениях нередко самому автору спустя какое-то время тяжело разобраться, не говоря уже о других программистах. Предлагаемая методика позволяет повысить наглядность таких выражений путем оформления в виде И-ИЛИ дерева и одновременно выполнять их рефакторинг.

20.09.2012    83175    tormozit    131    

Эволюция расширения конфигурации

Практика программирования v8 1cv8.cf Бесплатно (free)

С каждым днем всё больше возможностей появляется в расширении конфигурации, но не все до сих пор работают даже на платформе 8.3.6! Давайте окунемся в историю появления и эволюции расширения конфигурации, чтобы знать и понимать, когда можно применить тот или иной функционал!

06.02.2020    16286    Xershi    47    

Программная работа с настройками СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Нюансы программной работы с настройками системы компоновки данных в отчетах и динамических списках. Обзор всех видов настроек компоновки. Что в каких случаях правильно применять. В качестве примера рассмотрена работа с отборами и группировками.

27.01.2020    70029    ids79    27    

[СКД] Программное создание схемы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Сделаем отчет на СКД полностью программно, без использования макета "схема компоновки данных".

15.01.2020    45740    John_d    22    

Запись значения в поле ввода/формы со срабатыванием события ПриИзменении Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Иногда возникает необходимость после записи значения в какое либо поле ввода/формы вызвать для него обработчик события ПриИзменении, а о вызове самого события приходится только мечтать. В этой статье приводится программный способ вызова этого события.

11.07.2007    55093    tormozit    51    

Последовательности событий при проведении документа 1С. Шпаргалка + про формы + про расширения

Практика программирования v8 Россия Бесплатно (free)

Собрал информацию о событиях/подписках/расширениях в одном месте.

30.12.2019    37653    kuzyara    38    

Мониторим производительность с помощью 1С RAS

Практика программирования v8 1cv8.cf Бесплатно (free)

Подключаемся и анализируем данные через 1С RAS. Необходимо выполнить 5 пунктов и серьезный инструмент мониторинга будет у вас в руках.

19.12.2019    15861    ivanov660    51    

30 задач. Странных и не очень

Практика программирования v8 Бесплатно (free)

30 задач на знание языка программирования 1С и некоторого поведения платформы. Маленьких. Странных и не очень.

02.12.2019    25576    YPermitin    63    

Как сделать из &НаКлиентеНаСервереБезКонтекста почти &НаКлиентеНаСервере Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Как сделать метод формы, доступный на клиенте и на сервере одновременно, и сохранить при этом удобство разработки

10.09.2017    51854    tormozit    74    

Обновление релиза измененной типовой конфигурации

Практика программирования v8 1cv8.cf Бесплатно (free)

Пригодится тем, кому еще не приходилось обновлять измененную типовую конфигурацию.

29.11.2019    15915    John_d    76    

Как передать IP адрес, который вызвал HTTP запрос в 1C (для веб-сервера Apache)

Практика программирования v8 Бесплатно (free)

Столкнулся с задачей получения IP адреса, который вызывает http сервис 1С. Итак, решение:

22.11.2019    13047    Sibars    19    

Шпаргалка (БСП). Добавление в новый документ механизма печати дополнительных печатных форм

Практика программирования v8 1cv8.cf Бесплатно (free)

Постоянно приходится вспоминать, как добавить механизм печати (БСП) в новый документ. Поэтому решил написать шпаргалку.

10.10.2019    32476    John_d    21    

Выгрузка документа по условию Промо

Практика программирования v8 Бесплатно (free)

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    18162    m-rv    3    

Таблица значений. Нюансы

Практика программирования v8 Бесплатно (free)

Обзор некоторых аспектов использования общеизвестного инструмента 1С.

01.10.2019    55326    Yashazz    56    

[Шпаргалка] Программное создание элементов формы

Работа с интерфейсом Практика программирования v8 1cv8.cf Бесплатно (free)

Программное создание практически всех популярных элементов формы.

06.09.2019    110534    rpgshnik    77    

Агрегатные функции СКД, о которых мало кто знает

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    81536    ids79    56    

Как прикрутить ГУИД к регистру сведений Промо

Практика программирования v8 Бесплатно (free)

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    23584    m-rv    18    

Регистры бухгалтерии. Общая информация

Математика и алгоритмы Практика программирования v8 v8::БУ БУ Бесплатно (free)

Общая информация о внутреннем устройстве регистров бухгалтерии.

05.09.2019    48696    YPermitin    27    

Три костыля. Сказ про фокусы в коде

Практика программирования v8 Бесплатно (free)

Три интересных (или странных) костыля в коде, которые могут помочь в повседневных и не очень задачах.

03.09.2019    30605    YPermitin    81    

Отслеживание выполнения фонового задания

Практика программирования v8 1cv8.cf Бесплатно (free)

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    46468    ids79    22    

Как сделать запрос на изменение данных Промо

Практика программирования v8 v8::Запросы 1cv8.cf Бесплатно (free)

В статье приведены особенности внутренней архитектуры и примеры работы с расширением языка запросов 1С.

01.06.2018    37769    m-rv    23    

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    161337    ids79    77    

Фоновое выполнение кода в 1С - это просто

Практика программирования v8 1cv8.cf Бесплатно (free)

Как легко запускать выполнение в фоне, не прибегая к долгому описанию фоновых процедур.

02.08.2019    63825    avalakh    27    

Разбираемся с параметрами редактирования СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Связь по типу, Параметры выбора, Связи параметров выбора

31.07.2019    44327    json    17    

Метод формирования движений в типовых регистрах нетиповыми регистраторами Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Вариант решения задач с проведением по типовым регистрам нетиповыми регистраторами. Зачем - чтобы при сравнении конфигурации не обращать внимание на свойства регистров и исключить вероятность допущения горькой оплошности при обновлении информационных баз, заменив типы регистраторов основной конфигурации типами конфигурации поставщика. Для программных продуктов, имеющих в своем составе метаданных документ "Корректировка регистров"("Корректировка записей регистров").

05.12.2017    30939    itriot11    34    

СКД - наборы данных и связи между ними, создание собственной иерархии, вложенные отчеты

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Набор данных объект. Использование в схеме компоновки нескольких наборов данных. Различные варианты связи наборов: объединение, соединение. Использование иерархии в отчетах на СКД. Создание собственной иерархии, иерархия детальных записей. Использование вложенных схем в отчетах на СКД.

26.07.2019    111143    ids79    18    

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ

Практика программирования v8 v8::СКД Бесплатно (free)

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    50002    ids79    27    

Регистры сведений. За кулисами

Практика программирования v8 1cv8.cf Бесплатно (free)

Небольшие заметки по внутреннему устройству регистров сведений.

09.07.2019    34932    YPermitin    15    

"Меньше копипаста!", или как Вася универсальную процедуру писал

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    22811    SeiOkami    53    

Работа с настройками системы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Варианты отчетов, работа с настройками вариантов: структура группировок, поля отчета, отборы, сортировка, условное оформление, другие настройки, настройки отображения диаграмм.

02.07.2019    88312    ids79    18    

Регистры накопления. Виртуальные таблицы. Часть №2: "Остатки" и "Остатки и обороты"

Практика программирования v8 1cv8.cf Бесплатно (free)

Описание работы платформы 1С:Предприятие 8.2 с виртуальными таблицами регистров накопления "Остатки" и "Остатки и обороты". Анализ SQL-запрос при работе с виртуальными таблицами

22.05.2019    46978    YPermitin    9    

1Script.Web. Интернет-приложения на языке 1С

Практика программирования v8 Бесплатно (free)

Запросы рынка таковы, что любое современное клиент-серверное приложение должно иметь веб-интерфейс. Почему бы не писать такие приложения на языке 1С? Андрей Овсянкин расскажет о возможностях разработки веб-приложений на базе 1Script, рассмотрит перспективы этого направления и в качестве демонстрации покажет «боевое» веб-приложение на новом движке – кроссплатформенную консоль администрирования парка кластеров 1С.

20.05.2019    22617    Evil Beaver    33    

Регистры накопления. Структура хранения в базе данных

Практика программирования v8 1cv8.cf Бесплатно (free)

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    66625    YPermitin    31    

Мониторинг SQL Server с помощью Extended Events (и не только) для 1С. Как держать руку на пульсе?

HighLoad оптимизация Бесплатно (free)

Что и как мониторить в работе SQL Server, чтобы держать Вашу систему в форме.

05.05.2019    46887    YPermitin    23