gifts2017

История оптимизации одного большого запроса средствами MSSQL Profiler и 1С

Опубликовал Алексей Королев (krolya) в раздел Программирование - Практика программирования

Я думаю многие из Вас сталкивались с необходимостью оптимизации больших запросов, которые трудно поддаются рефакторингу. Иногда такие запросы бывают настолько объемны (несколько тысяч строк кода и десятки запросов в пакете), что просто не знаешь с какой стороны к ним подступиться. В статье я описал историю оптимизации заполнения документа «Начисление зарплаты сотрудникам» в ЗУП 2.5 на одном из проектов. В итоге получился некий «мини-гайд» как можно использовать SQL Profiler и План выполнения запроса для выявления неоптимальных/некорректных участков кода для больших запросов.

Добрый день, уважаемые коллеги.

Небольшая предыстория. Основной целью проекта являлась консолидация двух достаточно больших нетиповых баз ЗУП 2.5 (общее количество подразделений 140, сотрудников 4700). Базы ЗУП до нас дорабатывались и сопровождались другими подрядчиками, а нас привлекли именно на консолидацию. После консолидации пользователи сообщили о сильно возросшей длительности операции заполнения документа «Начисление зарплата сотрудникам». Собственно с этого момента я подключился к этому вопросу.

 

Часть I – Подготовительная:

 

Если театр начинается с вешалки, то любая оптимизация начинается с установки подсистемы «Замеры производительности» из БСП. Как внедрять и что за подсистема неплохо описано, например, в этой статье http://infostart.ru/public/193233/, поэтому на этом подробно останавливаться не буду. Описание самой методики APDEX хорошо дано на kb.1c.ru, а так же у Славы Гилева http://www.gilev.ru/apdex-teoriya/ и Антона Гусева (наш сотрудник - http://antongusev.ru/article2.html).

Если вкратце, то методика APDEX является широко распространенным международным стандартом оценки производительности информационных систем и является:

  • объективной: оценка не зависит от субъективных факторов (эмоции, мнения и т.п.);
  • прикладной: оценка отражает реальную производительность прикладных операций, а не абстрактные технические показатели;
  • интегральной: оценка учитывает все аспекты работы системы, все требования бизнес-логики системы и удобство работы каждого пользователя;
  • количественной: оценка является численной для того, чтобы можно было сравнивать производительность, полученную при разных обстоятельствах (например, до и после оптимизации);
  • качественной: оценка интерпретируется в терминах «хорошо» - «плохо».

Сказать, что у нас дела были плохо – это значит не сказать ничего Undecided. Оценка показывала «неприемлемо».

 Оценка производительности

 Время выполнения в максимуме иногда достигало 20 минут (см. ниже).

 Замеры времени


Теперь понятно, ЧТО нужно оптимизировать, пока непонятно КАК. Идем дальше…

 

Часть II – Неудачная, но длинная

 

Естественно, что первым делам был сделан замер производительности средствами 1С. Он обрадовал и не обрадовал одновременно. 95% на один запрос из 10 минут - это конечно хорошо, так как мы сходу нашли «узкое место», с другой стороны – не стоит рассказывать про монструозность запросов в ЗУП о которых ходят легенды. Запросы на тысячу строк кода и десятками временных таблиц, собираемый по кусочкам из разных мест. К сожалению, мне попался именно такой запрос – соответственно, как я говорил выше, провести нормальный рефакторинг кода, учитывая полное отсутствие каких-либо комментариев со стороны разработчиков ЗУП, дело мягко говоря неблагодарное.

Простой перезапуск запроса через консоль в тестовой базе подтвердил достаточно длительное время выполнения запроса, но пытаться найти вручную один «плохой» запрос из пары десятков не очень хотелось. Было принято решение запустить запрос через SQL Profiler, т.к. через него я смогу сузить область поиска «плохого» запроса.

Запускаем Microsoft SQL Profiler (performance tools в Пуск). Как запустить SQL Profiler и подключиться к нужному серверу – выходит за рамки статьи – это более подробно описано в других местах (sql.ru / BOL).

Запускаем новый trace со следующим набором событий (Events) (см. ниже). Можно уменьшить выборку колонок, которые будут собираться, но для упрощения можно просто выделить все - пока не принципиально.

 Trace

 

Не забываем установить фильтры событий, чтобы не собирать всякий «мусор» (т.е. события других баз, в т.ч. основной базы, напоминаю, что мы работаем в тестовой базе). Чтобы узнать ID базы можно выполнить запрос select DB_ID ( [ 'database_name' ] ) в SQL Server Management Studio

 Filter

Стартуем трейс перед началом заполнения и останавливаем после завершения. Дальше выгружаем его в таблицу для удобства работы.

 Выгрузка в таблицу

Для простоты можно выгрузить в tempdb с каким-нибудь простым именем, потом эту таблицу можно не задумываясь удалить. Находим длительные операции запросом

SELECT *

FROM [tempdb].[dbo].[temp]

ORDER BY Duration DESC

//temp – название таблицы в которую выгрузили трейс из Profiler

Пример выполнения запроса на скриншоте ниже (немного другого :), но суть та же)

 Результат

Видим две строчки с ОЧЕНЬ высоким Duration с ними и будем разбираться. В MS SQL Profiler находим по StartTime – EndTime (все строчки расположены по возрастанию EndTime). Проанализируем вторую строчку, как наибольшую. Находим строчку в замере Profiler’а.

Пример трейса

Смотрим план запроса (это строчка сразу НАД найденной строкой). Этим кстати и объясняются все танцы с бубном вокруг выгрузки трейса в таблицу, так как у планов выполнения запроса нет метрики Duration и найти план выполнения запроса без привязки к основному запросу крайне затруднительно. Не буду приводить полный ПВЗ, а покажу только его часть – в ПВЗ видим постоянные table scan с весом в 14% каждый с одной и той же таблицей #tt38.

 

 ПВЗ

 

Смотрим таблицу #tt38 в ней обнаруживается 2 миллиона строк (см. ниже)!!! Явная ошибка именно в этой таблице -  в данных по зарплате по одному подразделению не может быть такого количества записей даже с самой маленькой детализацией (если только не предположить, что у сотрудников посекундная тарификация :))

 tt38

Находим наш запрос в 1С. Вот он - куча левых соединений с таблицей ЗначенияПоказателей.

 Запрос1С

Я думаю у многих возникает вопрос: «А как найти аналог запроса 1С по известному нам запросу SQL?». Для этого есть следующие «помощники»:

  • известные объекты в запросе SQL (т.е. когда SQL обращается не к временной, а к какой-то физической таблице). Соответствие между объектами 1С и объектами СУБД можно получить при помощи метода ПолучитьСтруктуруХраненияБазыДанных(), а дальше уже поиском находим нужный запрос
  • необычные агрегатные функции (максимум, среднее или количество различных)
  • структура запроса (например: два левых соединения и одно прямое с вложенным подзапросом) достаточно точно указывает на запрос 1С
  • условия соединений

Это последний (результирующий) запрос в пакете. Разбираться надо с таблицей #tt38 (это кстати вторая строка по длительности в трейсе – insert into #tt38). Аналогичным образом находим ПВЗ для таблицы #tt38 (см. ниже).

  ПВЗ№2

Проблема начинается в выделенном фрагменте (именно с этого момента возникает 2 миллиона строк), на входе у нас приходит две таблицы на 3000 строк, которые объединяются. Подумал, что стоит на всякий случай проверить - нет ли ошибки при объединении, так как уже было сказано выше - 2 млн. строк быть не должно.

Мы уже знаем, что нам нужна таблица ЗначенияПоказателей - ниже приведен текст проблемного запроса. И действительно была обнаружена ошибка в соединении, которая выделена подчеркиванием (в конце запроса).

 

ВЫБРАТЬ
   
ПоследниеЗначенияПоказателей.Период КАК ПериодДействия,
   
ЗначенияПоказателей.Физлицо,
   
ЗначенияПоказателей.Показатель,
   
ЗначенияПоказателей.ИсходноеЗначение,
   
ЗначенияПоказателей.Значение,
   
ЗначенияПоказателей.Валюта,
   
ЗначенияПоказателей.ВводитсяВВалюте,
   
ЗначенияПоказателей.КурсВалюты,
//pma(
   
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоДолжности,
//++ SMI 29.04.13
   
ВЫБОР
        КОГДА
ЗначенияПоказателей.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
               
ИЛИ ЗначенияПоказателей.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
           
ТОГДА ИСТИНА
        ИНАЧЕ ЛОЖЬ
    КОНЕЦ
КАК ПоПодразделению,
//-- SMI 29.04.13
   
ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.Подразделения.ПустаяСсылка)) КАК Подразделение,
   
ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) КАК Должность
//pma)
ПОМЕСТИТЬ ЗначенияПоказателей
ИЗ
   
ЗначенияПоказателейИсходныйПериодДействия КАК ЗначенияПоказателей
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ (ВЫБРАТЬ
           
МАКСИМУМ(ЗначенияПоказателей.ПериодДействия) КАК ПериодДействия,
           
ПериодыФизлиц.Период КАК Период,
           
ЗначенияПоказателей.Физлицо КАК Физлицо,
           
ЗначенияПоказателей.Показатель КАК Показатель,
//pma(
       
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоДолжности,
       
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоПодразделению,
           
ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.Подразделения.ПустаяСсылка)) КАК Подразделение,
           
ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) КАК Должность
//pma)
       
ИЗ
           
ЗначенияПоказателейИсходныйПериодДействия КАК ЗначенияПоказателей
                ВНУТРЕННЕЕ СОЕДИНЕНИЕ ПериодыФизлиц КАК ПериодыФизлиц
                ПО ЗначенияПоказателей.Физлицо = ПериодыФизлиц.ФизЛицо
                    И ЗначенияПоказателей.ПериодДействия <= ПериодыФизлиц.Период

        СГРУППИРОВАТЬ ПО
           
ЗначенияПоказателей.Физлицо,
//pma(
           
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ,
           
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ,
           
ЗначенияПоказателей.Подразделение,
           
ЗначенияПоказателей.Должность,
//pma)
           
ПериодыФизлиц.Период,
           
ЗначенияПоказателей.Показатель) КАК ПоследниеЗначенияПоказателей
        ПО ЗначенияПоказателей.Физлицо = ПоследниеЗначенияПоказателей.Физлицо
            И ЗначенияПоказателей.Показатель = ПоследниеЗначенияПоказателей.Показатель
            И ЗначенияПоказателей.ПериодДействия = ПоследниеЗначенияПоказателей.ПериодДействия
//pma(
           
И (ПоследниеЗначенияПоказателей.ПоДолжности И ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) = ПоследниеЗначенияПоказателей.Подразделение ИЛИ Не ПоследниеЗначенияПоказателей.ПоДолжности)
           
И (ПоследниеЗначенияПоказателей.ПоДолжности И ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) = ПоследниеЗначенияПоказателей.Должность ИЛИ Не ПоследниеЗначенияПоказателей.ПоДолжности)
//pma)

Как обычно получили две новости – хорошую и плохую. Начинаем с «хорошей» – нашли ошибку в старом коде. «Плохая» – ошибка не влияет ни на качество (нет данных, на которых она бы проявилась), ни (что логично исходя из кода) на производительность операции (повторный аналогичный анализ опять показал 3000 записей на входе и 2 млн строк при объединении). Но, как говорится, – «все что ни делается – всё к лучшему» (с). Во-первых, ошибку все равно нашли, а во-вторых, еще больше сузили область поиска проблемного запроса. Теперь стало понятно, что ошибка кроется в большом количестве записей на входе (3000) в таблицу ЗначенияПоказателей.

Часть III – Удачная и короткая:

 

Чтобы проанализировать запрос заполнения таблицы ЗначенияПоказателей, пришлось собрать текст запроса из двух разных мест (хорошо, что только из двух :)). Итоговый текст ~1200 строк и 25 запросов в пакете (напоминаю, что это только ЧАСТЬ(!) общего запроса).

После беглого анализа результатов запроса в консоли 1С было обнаружено следующее, что в таблице ЗначенияЕжемесячныхПоказателей было декартово произведение сотрудников подразделения и всех значений показателя ОтработаноДнейВДолжности по всем подразделениям и сотрудникам организации, а нам этот показатель нужен только для подразделения, значит не хватает условия по подразделению и сотруднику в условии соединения.

Смотрим запрос:

ВЫБРАТЬ РАЗЛИЧНЫЕ
   
ЗначенияПоказателейСхемМотивации.ПериодДействия КАК ПериодДействия,
   
ДвиженияРаботников.Физлицо КАК Физлицо,
   
ЗначенияПоказателейСхемМотивации.Подразделение КАК Подразделение,
   
ЗначенияПоказателейСхемМотивации.Показатель КАК Показатель,
   
ЗначенияПоказателейСхемМотивации.Значение КАК Значение,
   
ЗначенияПоказателейСхемМотивации.Валюта КАК Валюта
ПОМЕСТИТЬ ЗначенияЕжемесячныхПоказателей
ИЗ
   
ВТДвиженияРаботников КАК ДвиженияРаботников
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияПоказателейСхемМотивации КАК ЗначенияПоказателейСхемМотивации
        ПО (ЗначенияПоказателейСхемМотивации.Организация = ЗНАЧЕНИЕ(Справочник.Организации.ПустаяСсылка))
           
И (ЗначенияПоказателейСхемМотивации.ПериодДействия = НАЧАЛОПЕРИОДА(&парамНачало, МЕСЯЦ))
           
И (ВЫБОР
                КОГДА
ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.Индивидуальный)
                       
ИЛИ ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя ЕСТЬ NULL
                    ТОГДА
ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
                   
ТОГДА ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
                   
ТОГДА ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                            И ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                ИНАЧЕ ИСТИНА
            КОНЕЦ
)

ОБЪЕДИНИТЬ

ВЫБРАТЬ РАЗЛИЧНЫЕ
   
ЗначенияПоказателейСхемМотивации.ПериодДействия,
   
ДвиженияРаботников.ФизЛицо,
   
ЗначенияПоказателейСхемМотивации.Подразделение,
   
ПоказателиСхемМотивации.Ссылка,
   
ЗначенияПоказателейСхемМотивации.Значение,
   
ЗначенияПоказателейСхемМотивации.Валюта
ИЗ
   
ВТДвиженияРаботников КАК ДвиженияРаботников
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияПоказателейСхемМотивации КАК ЗначенияПоказателейСхемМотивации
        ПО (ЗначенияПоказателейСхемМотивации.Организация = ЗНАЧЕНИЕ(Справочник.Организации.ПустаяСсылка))
           
И (ЗначенияПоказателейСхемМотивации.ПериодДействия = ДОБАВИТЬКДАТЕ(НАЧАЛОПЕРИОДА(&парамНачало, МЕСЯЦ), МЕСЯЦ, -1))
           
И (ВЫБОР
                КОГДА
ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.Индивидуальный)
                       
ИЛИ ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя ЕСТЬ NULL
                    ТОГДА
ДвиженияРаботников.ФизЛицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
                   
ТОГДА ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
                   
ТОГДА ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                            И ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                ИНАЧЕ ИСТИНА
            КОНЕЦ
)
            ВНУТРЕННЕЕ СОЕДИНЕНИЕ
Справочник.ПоказателиСхемМотивации КАК ПоказателиСхемМотивации
            ПО ЗначенияПоказателейСхемМотивации.Показатель = ПоказателиСхемМотивации.ПоказательПредыдущегоПериода
                И (ПоказателиСхемМотивации.ПредыдущийПериод)

 

 

При заполнении временной  таблицы ЗначенияЕжемесячныхПоказателей идет соединение Движений и ЗначенийПоказателей в условии соединения идет ВЫБОР КОГДА с различными вариантами по ВидамПоказателей

Были указаны виды:

  • Индивидуальный
  • ПоПодразделению
  • ПоПодразделениюИСотруднику

Если не один из указанных, то ИСТИНА (то есть без ограничений), т.е. если вид показателя не равен ни одному из указанных, то фактически появляется соединение по ИСТИНА, что равно перемножению таблиц. Излишне говорить, что именно это и происходило Smile

Причина ошибки - в программу предыдущими разработчиками было добавлено новое значение перечисления показателя «ПоКадровымДаннымСотрудника», который заполняется по подразделению и должности и который не был описан в условии соединения.

Решение – добавить новое условие в ВЫБОР КОГДА по новому виду показателя.

Скорректированный код запроса приводить не буду – логика понятна.

Время выполнения текущего запроса снизилось с 2 секунд до 0.2 секунд и снизилось количество записей до 300. 

 

IV часть – Заключительная и опять короткая :)

 

Результаты оптимизации стали видны сразу:

  • Невооруженным взглядом – время заполнения документа изменилось с «очень долго» на «практически мгновенно».
  • Вооруженным – APDEX изменился с «неприемлимо» до «отлично».

 Оценка2

 

 Замеры выполнения ДО и ПОСЛЕ оптимизации разделены красным маркером.


Замеры2

 

ВЫВОДЫ

  1. План выполнения запросов MSSQL из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах и либо находить, либо сужать область поиска неоптимального или некорректного кода, особенно когда проводить рефакторинг кода запроса крайне затруднительно или невозможно.
  2. Анализ планов выполнения запроса так же помогает выявить запросы, которые сами по себе выполняются достаточно быстро по отношению к общему времени выполнения запроса, но которые критическим образом сказываются на общем времени выполнения. Такие "некорректные" запросы очень тяжело выявить используя только стандартные средства 1С без визуализации плана выполнения.
  3. Когда у тебя руки чешутся, чтобы сделать что-нибудь полезное – проверь не сделал ли это кто-нибудь до тебя (с) Здесь я имею ввиду – Консоль запросов 1С с одновременной возможностью просмотра плана выполнения запроса из SQL Profiler. Такая обработка уже есть – http://infostart.ru/public/56973/ - автор Ararat. Пока, к сожалению, воспользоваться ей не довелось, но судя по отзывам и рекомендациям – там все нормально, и она отработает так как надо. Думаю, что с такой обработкой я бы решил задачу быстрее, так как с Profiler'ом было бы поменьше работы. Так что думаю обработка из разряда - must have.
  4. Начинать любую оптимизацию лучше всего с внедрения подсистемы «Оценка производительности» и установки замеров времени выполнения, чтобы четко отслеживать результаты оптимизации. 
  5. На производительности могут сказываться неочевидные и труднонаходимые ошибки в коде. (с) Капитан Очевидность
  6. Очередное подтверждение правила, если что-то стало медленно работать – 90% что надо искать «кривой» код

В качестве P.S., крайне рекомендую к прочтению статью Славы Гилева «Влияние оптимизатора запросов на производительность 1С» - в ней очень хорошо показана вся внутренняя кухня оптимизатора СУБД, плана выполнения запроса и всего остального. Статья из разряда «must read», особенно тем, кто готовится к Эксперту по ТВ или просто хочет чуть лучше понимать как оно "ТАМ" работает :)

 

См. также

Подписаться Добавить вознаграждение

Комментарии

1. Василий Казьмин (awk) 21.01.14 22:32
А почему profiler, а не технологический журнал?
2. Armando Armando (Armando) 21.01.14 22:44
3. Armando Armando (Armando) 21.01.14 22:45
Согласен с (1). По ТЖ проще найти проблемный запрос в 1С.
4. Валерий Федоров (barelpro) 21.01.14 22:56
(1)(3) Парни, а разве ТЖ показывает ПВЗ?
5. Алексей Королев (krolya) 21.01.14 23:30
(1) awk,

По ТЖ можно найти самый долгий запрос. В нашем случае - это будет последний запрос (где соединяется несколько раз таблица на 2 млн. строк), но проблема то не в нем, а запросе, который эти 2 млн. строк формирует, а он то как раз выполняется гораздо быстрее чем последний :), а запрос в котором на самом деле была ошибка, вообще за 2 секунды выполняется. И как здесь поможет ТЖ? :) Или я чего-то не знаю про возможности ТЖ
6. Анатолий Бритько (headMade) 21.01.14 23:41
(4) barelpro,

да, начиная с 8.2.14 показывает

"Реализована возможность помещения в технологический журнал плана запроса СУБД. Для этого в конфигурационный файл технологического журнала добавлен элемент <planSQL> и свойство "planSQLText" для событий исполнения операторов SQL различных СУБД."

см. Версия 8.2.14
7. Алексей Королев (krolya) 21.01.14 23:51
(2) Armando,

Не за что, рад что пригодился.
8. Алексей Королев (krolya) 21.01.14 23:54
(6) headMade,

Спасибо за информацию, как говорится "Век живи, век учись" (с).

Упустил я видимо этот момент. Но если я правильно понимаю там ПВЗ в виде текста, а визуализировать его хз как, да и найти в дебрях ТЖ нужный нам запрос, тоже занятие не из приятных я думаю. Парсеров не так много и я не уверен, что парсеры отрабатывают свойство planSQLText.

И кстати там ПВЗ с расширенной аналитикой по таблицам? (т.е. количество строк, предикаты, вес и т.д.)?
9. Анатолий Бритько (headMade) 22.01.14 00:28
(8) krolya,

для MSQL в ТЖ пишет Rows, Executes, EstimateRows, EstimateIO, EstimateCPU, AvgRowSize, TotalSubtreeCost, EstimateExecutions, StmtText.

Для визуализации обратите внимание на Инструменты разработчика вот пример трассировки запроса
(также не забываем про сервисы Гилева)

Ну а что касается вашей ситуации (нашли замером производительности долгий запрос), то как мне кажется profiler тут подходит как ничто другое.
10. Сергей Старых (tormozit) 22.01.14 00:35
(9) Да, в ИР есть неплохая иллюстрация того, что дает собирать техножурнал по выполняемым запросам в определенной мере независимо от СУБД. План запроса естественно СУБД специфичен. В видео показан анализ плана запроса СУБД MS SQL.
11. Антон Стеклов (asved.ru) 22.01.14 03:03
Попробуйте ЦУП и забудьте ручное ковыряние в трассировке и сопоставление с текстами запросов/метаданными как страшный сон.
Gilev.Vyacheslav; +1 Ответить
12. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 06:45
я так и не понял, а зачем все это надо было делать, есть же бесплатные сервисы http://www.gilev.ru/online/
зачем изобретать велосипед?
13. Серега Путин (Confucius) 22.01.14 06:52
Довольно не тривиальный путь поиска ошибок...это как для диагностики не исправности у авто самому спаять плату для диагностики... есть же велосипеды уже.
Gilev.Vyacheslav; +1 Ответить 1
14. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 06:56
Вот план запроса в наших сервисах

нафига такой огород с профайлером?
Evil Beaver; +1 1 Ответить 2
15. Алексей Роза (DoctorRoza) 22.01.14 08:12
Ну вот, нормальная статья. Не всякие теоретические сопли скопипастенные из интернета, а реальный, боевой опыт!
Evgen.Ponomarenko; +1 1 Ответить 1
16. Osiris_ (StaticUnsafe) 22.01.14 08:58
17. Сергей Старых (tormozit) 22.01.14 09:31
Вот скриншот плана запроса из инструмента "Анализ техножурнала" инструментов разработчика. Обратите внимание, здесь имена полей и таблиц уже переведены в термины метаданных (опция).
Прикрепленные файлы:
Восьмой; slavap; lustin; pumbaE; krolya; headMade; JohnyDeath; +7 Ответить 1
18. Василий Казьмин (awk) 22.01.14 10:30
(12) Gilev.Vyacheslav, Не отовсюду к ним достучатся можно. Одно слово - online. :) Вот и приходится по старинке.
19. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 10:38
(15) DoctorRoza, опыт - однозначно да
однако описание как работать профайлером на не 1с-ких форумах мульён!
сейчас новички вместо того чтобы сходить почитать документацию к 1С:ЦУП прочтут эту статью, решать что они теперь "НЕО" и знают "кунфу" и потом понесутся "гневные письма в 1С" про то что приходится бороться с мнимыми трудностями

по поводу консоли запросов с планом запроса - у нас она тоже есть, взял выполнил запрос и сразу увидел план не выходя из 1С

Не всякие теоретические сопли скопипастенные из интернета
при всем уважение - это не просто сопли, а извините достаточно "старые"

я вот так и не увидел

из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах

извините за прямоту...
20. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 10:47
(18) awk, а ЦУП использовать который не онлайн что мешает?
и потом, что значит "онлайн" - у вас нет интернета? не верю! разверните подробней
21. Евгений Мартыненков (JohnyDeath) 22.01.14 11:12
(19) Gilev.Vyacheslav,
сейчас новички вместо того чтобы сходить почитать документацию к 1С:ЦУП прочтут эту статью

а ЦУП использовать который не онлайн что мешает?

Озвучь, пожалуйста, ценник на ЦУП. Всё встанет на свои места. А профайлер или ИР есть здесь и сейчас (Сергею Седых за это огромное спасибо).
по поводу консоли запросов с планом запроса - у нас она тоже есть, взял выполнил запрос и сразу увидел план не выходя из 1С

Где можно посмотреть? Или она только для внутреннего использования?
22. Евгений Мартыненков (JohnyDeath) 22.01.14 11:17
По поводу плана запроса. Помимо ЦУПа, Онлайна Вячеслава и ИР Сергея есть еще Enterprise Integrator от Германа Кудякова. С недавних пор план запроса у него свой: с шахматами и барышнями http://main.1c-ei.ru/Home/help/profiler/view/planquery
У Вячеслава пока чуть хуже чем у Сергея - не определяются автоматом имена таблиц 1С, да и выглядит заметно хуже.
Кстати, а кто как определяет имена таблиц? Я сделал вьюхи на все таблицы и потом смотрю "зависимости" в интересуемой таблице вида "_InfoRg43"
23. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 11:19
(21) JohnyDeath, вы красиво смешали ЦУП, которые накапливает статистику и ранжирует проблемы и консоль ИР - она на сколько я последний раз, ничего подобного не умела, я не прав, уже задублировала бесплатно ЦУП?
24. Евгений Пономаренко (Evgen.Ponomarenko) 22.01.14 11:44
Ну, что сказать?! Точно в цель!!! И по теме и по содержимому. В деле SQL-тюнинга, визуальный план выполнения запросов - это наше все! Важно, что решение предполагает только штатные средства.
Ссылки на другие источники уместны и респектабельны ))) Так, что автору "Респект и уважуха!" (С).
Статья просится в золотой фонд Инфостарта. Знаю, что вернусь к ней еще не раз.

Для меня она, как точка входа на другие ресурсы (такая себе дверь в коморке Папы-карлы). Так, что... бросаю якорь в закладках )))
Прикрепленные файлы:
Tedman; krolya; DitriX; +3 Ответить
25. Евгений Пономаренко (Evgen.Ponomarenko) 22.01.14 11:46
(20) Gilev.Vyacheslav,
Вячеслав, если бы не данная статья с ссылками на ваши работы, раскатал бы вас здесь и сейчас за неуместную рекламу своего велосипеда пусть даже с хорошим моторчиком (рука так и тянулась к минусу)
Берите пример с tormozit - мягко и не навязчиво продвигается на пользу себе и людям )))
26. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 11:46
(21) JohnyDeath,
Где можно посмотреть? Или она только для внутреннего использования?
http://www.gilev.ru/querytj_plus/
JohnyDeath; +1 Ответить 1
27. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 11:49
(22) JohnyDeath,
У Вячеслава пока чуть хуже чем у Сергея - не определяются автоматом имена таблиц 1С, да и выглядит заметно хуже.
показываются, если подключен сервис http://www.gilev.ru/sqlsize/
так сделано, потому что сервис Анализа запросов не авторизуется и не подключается к базе (т.е. максимально безопасный насколько это вообще в природе возможно)
Второй сервис выполняет ком-подключение к исследуемой базе и требует ввести логин пароль.
28. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 11:53
(25) Evgen.Ponomarenko, ни от вас и ни от автора не услышал, зачем нужен профайлер при наличии огромного выбора альтернатив, и не только моих инструментов - кроме как простыми путями не идем

любой уважающий себя программист может легко руками настроить logfcg.xml и в течении пары минут посмотреть план запроса в логах ТЖ, не обманывайте себя и других
29. Евгений Мартыненков (JohnyDeath) 22.01.14 11:54
(23) Gilev.Vyacheslav, Вы тоже красиво умолчали о стоимости. В данной конкретной проблеме ИРа бы хватило. Мы ведь обсуждаем то, почему автор не использовал ЦУП, верно?
(27) Спасибо, не знал. И нигде раньше этого не слышал. По-моему, я у вас давным-давно спрашивал про разрешение имен таблиц в имена таблиц 1С.
(26) Оно оказывается тоже платное. ( Посмотреть не получится. И она скорее всего идет в составе всей конфы. Верно?
30. Евгений Пономаренко (Evgen.Ponomarenko) 22.01.14 11:54
(13) Confucius,
Довольно не тривиальный путь поиска ошибок...это как для диагностики не исправности у авто самому спаять плату для диагностики... есть же велосипеды уже.

Я тоже сначала так подумал... но из контекста статьи видно, что автор разбирался с чужим-чужим-чужим черным ящиком. Он использовал формальный подход и штатные средства - классика жанра, зачетно!
31. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 11:57
(29) JohnyDeath, о стоимости ЦУПа - любой разработчик может себе позволить НФР версию цупа (по памяти это тысяч десять рублей) имхо это не заоблачная стоимость и ее легко включить в общую стоимость проекта, в рамках которого оптимизируете запрос, если вы франч и делаете это для клиента, то цуп должен вообще купить клиент, для вас он будет бесплатен
ну и где здесь сложности?
32. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 11:58
(30) Evgen.Ponomarenko,
использовал формальный подход и штатные средства
штатные средства - это технологический журнал, хватит людей обманывать!
33. Евгений Пономаренко (Evgen.Ponomarenko) 22.01.14 12:01
(32) Gilev.Vyacheslav,
Это с какой стороны посмотреть, с точки зрения ADB - штатное средство профайлер микрософта в данном случае.
34. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 12:03
(33) Evgen.Ponomarenko, с точки зрения АДБ он не правит запросы в 1С
35. Евгений Пономаренко (Evgen.Ponomarenko) 22.01.14 12:15
(34) Gilev.Vyacheslav,
Я 5 лет проработал в секторе администрирования БД. Мы постоянно мониторили производительность, вместе с программистами решали задачи оптимизации. Под Oracle в 2000 году были такие средства оптимизации, что 1С еще шагать и шагать. К примеру, можно было провести анализ нарушений 3-й нормальной формы. Автоматизация позволяла выгребать ошибки сторонних разработчиков тоннами. В данном случае в статье речь идет об альтернативе, которая имеет место быть. А чем больше возможностей - тем оптимальней решение.
36. Алексей Королев (krolya) 22.01.14 12:27
(12)Gilev.Vyacheslav,
(14)Gilev.Vyacheslav,


Вячеслав, добрый день. Отвечу один раз на все сообщения.

Когда я написал фразу: "использовать SQL Profiler для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах", то я в первую очередь имел ввиду не сам SQL Profiler, а именно план выполнения запроса. Если вы заметили, я в Выводах к статье прямым текстом написал, что есть консоль запросов 1С, которая умеет показывать план выполнения запроса и именно ее рекомендовал к использованию для получения плана выполнения более быстрым и удобным способом. Мне без разницы как получить план выполнения запроса, главное чтобы он был. Получу я его через SQL Profiler, консоль или Ваш сервис - мне все равно. Я использовал инструмент, который был под рукой. Он НЕ САМЫЙ УДОБНЫЙ, НЕ САМЫЙ ЛУЧШИЙ и вообще не самый-самый и я нигде в статье не говорил, что это единственный и самый удобный инструмент (очевидно, что это не так).

Целью статьи было показать логику и методику проведения оптимизации для очень больших запросов с использованием плана выполнения запроса на одном примере, а не сравнить все возможные средства получения плана выполнения запросов или рассмотреть все возможные методики проведения оптимизации.

Ну и повторюсь - самый долгий запрос в пакете запросов (не равно) неоптимальный или некорректный, причина его неоптимальности, часто лежит в других запросах.
37. Алексей Королев (krolya) 22.01.14 12:43
Кстати, что интересно - вот в соседней статье Использование yEd для понимания картины запроса обсуждается проблема визуализации больших запросов на примере ЗУП 2.5 и там используются ну совсем не штатные средства :)
38. Алексей Королев (krolya) 22.01.14 14:57
(28) Gilev.Vyacheslav,

любой уважающий себя программист может легко руками настроить logfcg.xml и в течении пары минут посмотреть план запроса в логах ТЖ, не обманывайте себя и других


Любой уважающий себя программист волен быть свободен в выборе инструментов для достижения целей и я не вижу чем вариант получения плана выполнения запроса через SQL Profiler принципиально отличается от получения плана выполнения запроса через ТЖ.

Ну и любой уважающий себя программист может легко подключиться к SQL Profiler'у и посмотреть план запроса в трейсе - не обманывайте других!

Только ПОСМОТРЕТЬ план запроса в логах ТЖ, это еще не решение задачи - нужно ПОСМОТРЕТЬ план выполнения НУЖНОГО ЗАПРОСА (просто посмотреть план выполнения первого попавшегося запроса я думаю смогу секунд за 30, что называется кто быстрее :)))). А найти план выполнения нужного запроса из пары десятков в логах выполнения ТЖ мне почему-то кажется занимает дольше двух минут :)
39. Алексей Королев (krolya) 22.01.14 15:02
(19) Gilev.Vyacheslav,

я вот так и не увидел

...из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах...

извините за прямоту...


Извиняю, но Вячеслав, вы при цитировании опустили принципиальную часть моей фразы, которая искажает ее смысл.

План выполнения запросов MSSQL из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах и либо находить, либо сужать область поиска неоптимального или некорректного кода, особенно когда проводить рефакторинг кода запроса крайне затруднительно или невозможно.


Я могу с легкостью из нее убрать ссылку на SQL Profiler (она не потеряет смысла и останется верной), а суть ее сводится к тому, что план выполнения запросов МОЖЕТ(!) хорошо помочь в решении задачи оптимизации больших запросов. И повторюсь, что мне без разницы каким способом я получу нужный мне план выполнения запросов в следующий раз - будет ли это Profiler, ваш сервис или логи ТЖ.
40. Антон Стеклов (asved.ru) 22.01.14 15:04
// offtop

Enterprise Integrator от Германа Кудякова


Какой, простите, вырвиглазный сайт. Сделайте меня развидеть это!
41. Вячеслав Гилёв (Gilev.Vyacheslav) 22.01.14 16:34
(36) , (37) , (38) , (39) krolya, Алексей, по существу статьи - можно было откинуть про инструментарий и написать :
берем жирный запрос, смотрим на левую и правую части соединения,
смотрим на скорость правой части, смотрим на скорость левой части, смотрим на скорость "обоих частей вместе" - далее смотрим кто из них самый явно долгий,
далее "проваливаемся вглубь" этого долгого и повторяем итерацию

таким образом какой бы не был огромный запрос, не обязательно мегасхемы рисовать, можно автоматизированно локализовать узкое место,
я не прав?

ценное зерно (не ходившим на 1С:эксперта) в статье про нехватку отборов при перемножении - не буду придираться

у меня ваша заметка вызвала такую реакцию потому что напоминает софтпоинтовое "много воды и чуть-чуть полезного"
вообщем вцелом не обращайте на мое ворчание внимание, ваша статья найдет своего благодарного читателя, профайлером тоже надо уметь пользоваться
AlexeyFreeLife; unoDosTres; Samosval; Восьмой; teflon; DLysikov; pbazeliuk; allegrosoft; barelpro; Evgen.Ponomarenko; krolya; +11 Ответить 1
42. Алексей Королев (krolya) 22.01.14 16:42
(41) Gilev.Vyacheslav,

Алексей, по существу статьи - можно было откинуть про инструментарий и написать :
берем жирный запрос, смотрим на левую и правую части соединения,
смотрим на скорость правой части, смотрим на скорость левой части, смотрим на скорость "обоих частей вместе" - далее смотрим кто из них самый явно долгий,
далее "проваливаемся вглубь" этого долгого и повторяем итерацию


Вячеслав, согласен, но тогда это будет не та статья, которую я задумывал :), т.к. я хотел показать весь путь оптимизации одного запроса от начала и до конца. Если в статье доносить только главную мысль "без воды", то она не будет воспринята (хотя возможно я не прав в этом).

вообщем вцелом не обращайте на мое ворчание внимание, ваша статья найдет своего благодарного читателя, профайлером тоже надо уметь пользоваться


ОК. Договорились :)
43. Алексей Лустин (lustin) 22.01.14 18:15
(0) перечитал спокойно, хотя хотел в пылу написать с утра.

Возникли следующие мысли:

1. Знать и уметь использовать профайлер вкупе с методом ПолучитьСтруктуруХранения() - НУЖНО
2. В реальной работе лучше использовать ИнструментыРазработчика, КонсольЗАпросов и КонсольКода с трассировками, не забываем про EnterpriseIntegrator от Германа.
3. APDEX и ЦУП знать нужно - но это инструментарий который вначале нужно внедрить, а только потом использовать.

Однако меня больше заинтересовало другое:


Решение – добавить новое условие в ВЫБОР КОГДА по новому виду показателя.


совместно с вот этим
Причина ошибки - в программу предыдущими разработчиками было добавлено новое значение перечисления показателя «ПоКадровымДаннымСотрудника», который заполняется по подразделению и должности и который не был описан в условии соединения.


Я правильно понял, что когда другой разработчик добавит новое значение показателя ПоКакимНибудьНовымДаннымСотрудникаИлиВЗависимостиОтФазыЛуны - проблема вновь возникнет ? И тогда придется повторно вспоминать данный кейс.

Если я все правильно понял, то это не решение - это HOTFIX.
Нужно избавится от конструкции ВЫБОР внутри условия соединения и тогда я думаю будет еще чуть быстрей за счет отказа от CASE подобных конструкций и в будущем не рухнет вновь.
teflon; krolya; awa; Odinas; awk; JohnyDeath; +6 Ответить 1
44. Алексей Королев (krolya) 22.01.14 18:40
(43) lustin,

Алексей, спасибо за комментарии.

Я правильно понял, что когда другой разработчик добавит новое значение показателя ПоКакимНибудьНовымДаннымСотрудникаИлиВЗависимостиОтФазыЛуны - проблема вновь возникнет ? И тогда придется повторно вспоминать данный кейс.


Правильно, но этого не будет - см. ниже :)

Предыдущие разработчики добавили новый вид перечисления, что я считаю некорректно, я практически уверен что задачу, которую они решали можно было реализовать либо используя типовые механизмы либо минимально корректируя существующие. По крайней мере не влезая в корректировку перечислений, так как в коде типовых ОЧЕНЬ ЧАСТО перечисления обрабатываются структурой ЕСЛИ ... ИНАЧЕ ЕСЛИ ... КОНЕЦЕСЛИ;. И изменение списка значений для перечисления приводит к масштабным изменениям по всему коду конфигурации.

Поэтому совсем правильным вариантом я считаю будет - провести рефакторинг изменений, которые привели к необходимости корректировки этого перечисления и оставить типовой код запроса :), но так я думаю никто сейчас делать не будет.

А чтобы избавиться от конструкции ВЫБОР, это нужно проводить рефакторинг кода этого запроса и корректировать типовую, что во-первых, накладно, а во-вторых соотношение полученного результата (ускорения) к стоимости его достижения мне кажется будет не в его пользу. Т.е. не стоит оно того имхо :)
JohnyDeath; lustin; +2 Ответить 1
45. Герман (German) 22.01.14 19:58
(14)(17) Раз уж все отметились, вот интерактивный!! план запросов в Ei

awa; JohnyDeath; krolya; lustin; tormozit; +5 Ответить 1
46. Сергей Старых (tormozit) 22.01.14 20:00
(45) В чем его интерактивность? Он может выполнять по шагам операции плана? =)
47. Алексей Лустин (lustin) 22.01.14 20:07
(44) ну значит я с Hotfix'ом угадал. А вот про типовую я забыл.

Скорее всего ты прав - необходимо посмотреть где им не хватило типовой и зачем и тогда рефакторить (причем может быть даже процессы а не конфигурацию).
48. Герман (German) 22.01.14 20:09
(46) пока при наведении расшифровка, при клике на таблице переход к индексам и структуре, на остальное пока особо фантазии не хватило :)

В общем там чистый HTML, можно хоть скачущего ПОНИ прилипить
49. Василий Казьмин (awk) 23.01.14 10:15
(20) Gilev.Vyacheslav, ЦУП - це круто. Нет, ну правда. Хорошо когда есть деньги. Тогда не сильно задумываешься на тему: "А как дальше жить". Но у многих их нет. И живут же они как-то. Просто они немного больше думают (делают). Так и здесь. Хорошо когда заказчик купил КИП, да еще и на сервере терминальном открыл доступ в интернет. А вот когда не открыл и не купил? Да еще и ТЖ поднимает сам по служебке через неделю? После пары таких клиентов и бинарники становятся исходниками. Просто работа моя увеличивает время и стоимость. Наверное, КИП и ваш сервис будет дешевле (даже не наверное, а скорее всего). Но жадных - надо учить рублем.
50. Сергей Костяков (Sorm) 23.01.14 10:30
А не смутило сразу, что TABLE SCAN используется? Может, стоило бы для начала помочь оптимизатору?
51. Алексей Королев (krolya) 23.01.14 12:19
(50) Sorm,

Я в первую очередь разбирался с ошибками, которые потенциально дешевле в устранении. Принцип Парето работает безотказно - 80% торможения можно устранить за 20% затрат. Мне в тот момент гораздо выгоднее было разобраться с 2 млн строк, чем устранять table scan :)
52. Сергей Костяков (Sorm) 23.01.14 12:47
(51) krolya, Проиндексировать эту таблицу вместо анализа запроса(анализ, конечно, правильней, не спорю) не проще был сначала попробовать? Как бы это первое, что приходит в голову.
53. Алексей Королев (krolya) 23.01.14 12:51
(52) Sorm,

Сложно судить, но мне почему-то как раз пришло в голову именно с таблицей разобраться, чем пытаться помочь с TABLE SCAN'ом )

Интересно как другие думают? :)
54. Вячеслав Гилёв (Gilev.Vyacheslav) 23.01.14 13:23
(52) Sorm, зачем ускорять "ненужную" работу, лучше ее минимизировать как (53)
55. Сергей Костяков (Sorm) 23.01.14 14:18
(54) Gilev.Vyacheslav, согласен, но здесь вопрос во времени. Разобраться в запросе всяко дольше, чем индекс привинтить. А с учетом индекса, возможно, нагрузка на сервер станет непринципиальной. Ну, это только мое мнение. Просто часто разбираюсь с большими сложными SQL-процедурами, в которых "годичные" наслоения кода. Первый метод - все что можно выносится во временные таблицы, индексируется.. ну и т.д. Второй - сидеть разбираться в процедуре применительно к данным.
56. Алексей Королев (krolya) 23.01.14 15:31
(55) Sorm,

Первый метод: крайне трудоемок для громоздких запросов и не факт что приведет к нужным результатам.
Второй метод: анализ самих данных я не использовал на первом этапе "широкого" поиска, а только на более позднем, когда я сузил область поиска некорректного кода до 1-2 запросов.
57. Сергей Костяков (Sorm) 23.01.14 16:18
(56) krolya, "Первый метод: крайне трудоемок для громоздких запросов" - собственно, почему? Уточню - я имею в виду хранимые процедуры и функции.
58. Алексей Королев (krolya) 27.01.14 15:09
(57) Sorm,

Долго придумывал какую аналогию привести, чтобы обосновать свое решение. Пришла в голову следующая идея:

по-большому счету любую операцию можно рассматривать как V=f(P,T), где V объем, т.е. количество выполненных операций за все время, P производительность, т.е. скорость выполнения этих операций в единицу времени) и T время затрачиваемое на работу, т.е. общее время выполнения операции. Предположим (для упрощения, но можно проверить и составить реальный график по реальным данным) график будет линейным (V=P*T).

Предположим, что у нас на начальном этапе скорость обработки данных - 100 единиц в единицу времени, а объем необходимый для производства равен 100 000 единиц (у нас цифры были другие 2 млн строк и 2 минуты), тогда время которое необходимо затратить, чтобы произвести (обработать) 100 000 единиц - 100 000 / 100 = 1000 единиц времени.

Двигаемся дальше - скорость оставляем НЕИЗМЕННОЙ, а значительным образом уменьшим количество записей до 1000, тогда время будет равно 10 единицам, а теперь подумаем во сколько раз нам нужно увеличить скорость выполнения операций при НАЧАЛЬНЫХ условиях объема 100 000 и заданном времени T=10, скорость выполнения операции должна стать 10 000, т.е. вырасти в 100 раз (математика первый класс :)))).

Ну, а в нашем случае, у нас было 2 млн. строк и я планировал его уменьшить до 2000 примерно, соответственно скорость выполнения нужно было увеличить в 1000 раз, чтобы получить сравнимый прирост :)

С моей точки зрения, я мог с высокой степенью гарантии уменьшить количество записей до 2000, но получить прирост в 1000 раз при добавлении индекса - я получил бы вряд ли.

P.S. Я проверю это на каком-нибудь SQL и выложу результаты. Самому интересно :)


59. Алексей Королев (krolya) 28.01.14 15:44
Здесь был комментарий :)
60. uno dos (unoDosTres) 20.06.14 10:59
Автору спасибо за известную методу, но можно все проще сделать (я сейчас о конкретно в этой статье описанном случае), без всяких профайлеров, если знаешь текст проблемного запроса, берешь любую консоль запросов, либо допиливаешь, либо готовую с расчетом времени выполнения каждой ВТшки, и с вероятностью 90% самый долгий по выполнению Пакет и будет проблемным, и тут уже либо менять БизнесЛОгику запроса для оптимизации, либо чисто технически оптимизровать пакетник. для большинства пользователей, чтение планов запроса не даст полезной инфы, подумаешь table scan, подумаешь nested loops, и т .п.
61. uno dos (unoDosTres) 20.06.14 11:05
(60) unoDosTres,
вдогонку к своему посту, скрин проблемного запроса из консоли запросов, и сразу видно что проблема в отмеченной Втшке, по-моему удобней и быстрей для описанного в теме случая, ну или хотя бы достойная альтенатива, конечно такого глубокого анализа как из плана запроса не получить, но узкое место сразу как на лодони
Прикрепленные файлы:
62. Алексей Королев (krolya) 20.06.14 11:57
(61) unoDosTres,

Да, разумная альтернатива и ее бы хватило для этого случая, по идее можно еще и количество строк смотреть - потому что у меня проблемный запрос не был самым долгим, но он влиял на другие. Так что анализ по количеству строк + время выполнения вполне себе пристойный инструмент для анализа запросов.

Ну и еще одна тонкость - иногда бывает достаточно сложно собрать все кусочки в единый запрос.
Для написания сообщения необходимо авторизоваться
Прикрепить файл
Дополнительные параметры ответа