История оптимизации одного большого запроса средствами MSSQL Profiler и 1С

Публикация № 252236

Разработка - Практика программирования

оптимизация запрос profiler план выполнения запроса

Я думаю многие из Вас сталкивались с необходимостью оптимизации больших запросов, которые трудно поддаются рефакторингу. Иногда такие запросы бывают настолько объемны (несколько тысяч строк кода и десятки запросов в пакете), что просто не знаешь с какой стороны к ним подступиться. В статье я описал историю оптимизации заполнения документа «Начисление зарплаты сотрудникам» в ЗУП 2.5 на одном из проектов. В итоге получился некий «мини-гайд» как можно использовать SQL Profiler и План выполнения запроса для выявления неоптимальных/некорректных участков кода для больших запросов.

Добрый день, уважаемые коллеги.

Небольшая предыстория. Основной целью проекта являлась консолидация двух достаточно больших нетиповых баз ЗУП 2.5 (общее количество подразделений 140, сотрудников 4700). Базы ЗУП до нас дорабатывались и сопровождались другими подрядчиками, а нас привлекли именно на консолидацию. После консолидации пользователи сообщили о сильно возросшей длительности операции заполнения документа «Начисление зарплата сотрудникам». Собственно с этого момента я подключился к этому вопросу.

 

Часть I – Подготовительная:

 

Если театр начинается с вешалки, то любая оптимизация начинается с установки подсистемы «Замеры производительности» из БСП. Как внедрять и что за подсистема неплохо описано, например, в этой статье //infostart.ru/public/193233/, поэтому на этом подробно останавливаться не буду. Описание самой методики APDEX хорошо дано на kb.1c.ru, а так же у Славы Гилева http://www.gilev.ru/apdex-teoriya/ и Антона Гусева (наш сотрудник - http://antongusev.ru/article2.html).

Если вкратце, то методика APDEX является широко распространенным международным стандартом оценки производительности информационных систем и является:

  • объективной: оценка не зависит от субъективных факторов (эмоции, мнения и т.п.);
  • прикладной: оценка отражает реальную производительность прикладных операций, а не абстрактные технические показатели;
  • интегральной: оценка учитывает все аспекты работы системы, все требования бизнес-логики системы и удобство работы каждого пользователя;
  • количественной: оценка является численной для того, чтобы можно было сравнивать производительность, полученную при разных обстоятельствах (например, до и после оптимизации);
  • качественной: оценка интерпретируется в терминах «хорошо» - «плохо».

Сказать, что у нас дела были плохо – это значит не сказать ничего Undecided. Оценка показывала «неприемлемо».

 Оценка производительности

 Время выполнения в максимуме иногда достигало 20 минут (см. ниже).

 Замеры времени


Теперь понятно, ЧТО нужно оптимизировать, пока непонятно КАК. Идем дальше…

 

Часть II – Неудачная, но длинная

 

Естественно, что первым делам был сделан замер производительности средствами 1С. Он обрадовал и не обрадовал одновременно. 95% на один запрос из 10 минут - это конечно хорошо, так как мы сходу нашли «узкое место», с другой стороны – не стоит рассказывать про монструозность запросов в ЗУП о которых ходят легенды. Запросы на тысячу строк кода и десятками временных таблиц, собираемый по кусочкам из разных мест. К сожалению, мне попался именно такой запрос – соответственно, как я говорил выше, провести нормальный рефакторинг кода, учитывая полное отсутствие каких-либо комментариев со стороны разработчиков ЗУП, дело мягко говоря неблагодарное.

Простой перезапуск запроса через консоль в тестовой базе подтвердил достаточно длительное время выполнения запроса, но пытаться найти вручную один «плохой» запрос из пары десятков не очень хотелось. Было принято решение запустить запрос через SQL Profiler, т.к. через него я смогу сузить область поиска «плохого» запроса.

Запускаем Microsoft SQL Profiler (performance tools в Пуск). Как запустить SQL Profiler и подключиться к нужному серверу – выходит за рамки статьи – это более подробно описано в других местах (sql.ru / BOL).

Запускаем новый trace со следующим набором событий (Events) (см. ниже). Можно уменьшить выборку колонок, которые будут собираться, но для упрощения можно просто выделить все - пока не принципиально.

 Trace

 

Не забываем установить фильтры событий, чтобы не собирать всякий «мусор» (т.е. события других баз, в т.ч. основной базы, напоминаю, что мы работаем в тестовой базе). Чтобы узнать ID базы можно выполнить запрос select DB_ID ( [ 'database_name' ] ) в SQL Server Management Studio

 Filter

Стартуем трейс перед началом заполнения и останавливаем после завершения. Дальше выгружаем его в таблицу для удобства работы.

 Выгрузка в таблицу

Для простоты можно выгрузить в tempdb с каким-нибудь простым именем, потом эту таблицу можно не задумываясь удалить. Находим длительные операции запросом

SELECT *

FROM [tempdb].[dbo].[temp]

ORDER BY Duration DESC

//temp – название таблицы в которую выгрузили трейс из Profiler

Пример выполнения запроса на скриншоте ниже (немного другого :), но суть та же)

 Результат

Видим две строчки с ОЧЕНЬ высоким Duration с ними и будем разбираться. В MS SQL Profiler находим по StartTime – EndTime (все строчки расположены по возрастанию EndTime). Проанализируем вторую строчку, как наибольшую. Находим строчку в замере Profiler’а.

Пример трейса

Смотрим план запроса (это строчка сразу НАД найденной строкой). Этим кстати и объясняются все танцы с бубном вокруг выгрузки трейса в таблицу, так как у планов выполнения запроса нет метрики Duration и найти план выполнения запроса без привязки к основному запросу крайне затруднительно. Не буду приводить полный ПВЗ, а покажу только его часть – в ПВЗ видим постоянные table scan с весом в 14% каждый с одной и той же таблицей #tt38.

 

 ПВЗ

 

Смотрим таблицу #tt38 в ней обнаруживается 2 миллиона строк (см. ниже)!!! Явная ошибка именно в этой таблице -  в данных по зарплате по одному подразделению не может быть такого количества записей даже с самой маленькой детализацией (если только не предположить, что у сотрудников посекундная тарификация :))

 tt38

Находим наш запрос в 1С. Вот он - куча левых соединений с таблицей ЗначенияПоказателей.

 Запрос1С

Я думаю у многих возникает вопрос: «А как найти аналог запроса 1С по известному нам запросу SQL?». Для этого есть следующие «помощники»:

  • известные объекты в запросе SQL (т.е. когда SQL обращается не к временной, а к какой-то физической таблице). Соответствие между объектами 1С и объектами СУБД можно получить при помощи метода ПолучитьСтруктуруХраненияБазыДанных(), а дальше уже поиском находим нужный запрос
  • необычные агрегатные функции (максимум, среднее или количество различных)
  • структура запроса (например: два левых соединения и одно прямое с вложенным подзапросом) достаточно точно указывает на запрос 1С
  • условия соединений

Это последний (результирующий) запрос в пакете. Разбираться надо с таблицей #tt38 (это кстати вторая строка по длительности в трейсе – insert into #tt38). Аналогичным образом находим ПВЗ для таблицы #tt38 (см. ниже).

  ПВЗ№2

Проблема начинается в выделенном фрагменте (именно с этого момента возникает 2 миллиона строк), на входе у нас приходит две таблицы на 3000 строк, которые объединяются. Подумал, что стоит на всякий случай проверить - нет ли ошибки при объединении, так как уже было сказано выше - 2 млн. строк быть не должно.

Мы уже знаем, что нам нужна таблица ЗначенияПоказателей - ниже приведен текст проблемного запроса. И действительно была обнаружена ошибка в соединении, которая выделена подчеркиванием (в конце запроса).

 

ВЫБРАТЬ
   
ПоследниеЗначенияПоказателей.Период КАК ПериодДействия,
   
ЗначенияПоказателей.Физлицо,
   
ЗначенияПоказателей.Показатель,
   
ЗначенияПоказателей.ИсходноеЗначение,
   
ЗначенияПоказателей.Значение,
   
ЗначенияПоказателей.Валюта,
   
ЗначенияПоказателей.ВводитсяВВалюте,
   
ЗначенияПоказателей.КурсВалюты,
//pma(
   
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоДолжности,
//++ SMI 29.04.13
   
ВЫБОР
        КОГДА
ЗначенияПоказателей.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
               
ИЛИ ЗначенияПоказателей.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
           
ТОГДА ИСТИНА
        ИНАЧЕ ЛОЖЬ
    КОНЕЦ
КАК ПоПодразделению,
//-- SMI 29.04.13
   
ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.Подразделения.ПустаяСсылка)) КАК Подразделение,
   
ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) КАК Должность
//pma)
ПОМЕСТИТЬ ЗначенияПоказателей
ИЗ
   
ЗначенияПоказателейИсходныйПериодДействия КАК ЗначенияПоказателей
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ (ВЫБРАТЬ
           
МАКСИМУМ(ЗначенияПоказателей.ПериодДействия) КАК ПериодДействия,
           
ПериодыФизлиц.Период КАК Период,
           
ЗначенияПоказателей.Физлицо КАК Физлицо,
           
ЗначенияПоказателей.Показатель КАК Показатель,
//pma(
       
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоДолжности,
       
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ  КАК ПоПодразделению,
           
ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.Подразделения.ПустаяСсылка)) КАК Подразделение,
           
ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) КАК Должность
//pma)
       
ИЗ
           
ЗначенияПоказателейИсходныйПериодДействия КАК ЗначенияПоказателей
                ВНУТРЕННЕЕ СОЕДИНЕНИЕ ПериодыФизлиц КАК ПериодыФизлиц
                ПО ЗначенияПоказателей.Физлицо = ПериодыФизлиц.ФизЛицо
                    И ЗначенияПоказателей.ПериодДействия <= ПериодыФизлиц.Период

        СГРУППИРОВАТЬ ПО
           
ЗначенияПоказателей.Физлицо,
//pma(
           
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоДолжности) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ,
           
ВЫБОР КОГДА ЗначенияПоказателей.Показатель.ВидПоказателя = Значение(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению) ТОГДА Истина ИНАЧЕ Ложь КОНЕЦ,
           
ЗначенияПоказателей.Подразделение,
           
ЗначенияПоказателей.Должность,
//pma)
           
ПериодыФизлиц.Период,
           
ЗначенияПоказателей.Показатель) КАК ПоследниеЗначенияПоказателей
        ПО ЗначенияПоказателей.Физлицо = ПоследниеЗначенияПоказателей.Физлицо
            И ЗначенияПоказателей.Показатель = ПоследниеЗначенияПоказателей.Показатель
            И ЗначенияПоказателей.ПериодДействия = ПоследниеЗначенияПоказателей.ПериодДействия
//pma(
           
И (ПоследниеЗначенияПоказателей.ПоДолжности И ЕСТЬNULL(ЗначенияПоказателей.Подразделение, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) = ПоследниеЗначенияПоказателей.Подразделение ИЛИ Не ПоследниеЗначенияПоказателей.ПоДолжности)
           
И (ПоследниеЗначенияПоказателей.ПоДолжности И ЕСТЬNULL(ЗначенияПоказателей.Должность, Значение(Справочник.ДолжностиОрганизаций.ПустаяСсылка)) = ПоследниеЗначенияПоказателей.Должность ИЛИ Не ПоследниеЗначенияПоказателей.ПоДолжности)
//pma)

Как обычно получили две новости – хорошую и плохую. Начинаем с «хорошей» – нашли ошибку в старом коде. «Плохая» – ошибка не влияет ни на качество (нет данных, на которых она бы проявилась), ни (что логично исходя из кода) на производительность операции (повторный аналогичный анализ опять показал 3000 записей на входе и 2 млн строк при объединении). Но, как говорится, – «все что ни делается – всё к лучшему» (с). Во-первых, ошибку все равно нашли, а во-вторых, еще больше сузили область поиска проблемного запроса. Теперь стало понятно, что ошибка кроется в большом количестве записей на входе (3000) в таблицу ЗначенияПоказателей.

Часть III – Удачная и короткая:

 

Чтобы проанализировать запрос заполнения таблицы ЗначенияПоказателей, пришлось собрать текст запроса из двух разных мест (хорошо, что только из двух :)). Итоговый текст ~1200 строк и 25 запросов в пакете (напоминаю, что это только ЧАСТЬ(!) общего запроса).

После беглого анализа результатов запроса в консоли 1С было обнаружено следующее, что в таблице ЗначенияЕжемесячныхПоказателей было декартово произведение сотрудников подразделения и всех значений показателя ОтработаноДнейВДолжности по всем подразделениям и сотрудникам организации, а нам этот показатель нужен только для подразделения, значит не хватает условия по подразделению и сотруднику в условии соединения.

Смотрим запрос:

ВЫБРАТЬ РАЗЛИЧНЫЕ
   
ЗначенияПоказателейСхемМотивации.ПериодДействия КАК ПериодДействия,
   
ДвиженияРаботников.Физлицо КАК Физлицо,
   
ЗначенияПоказателейСхемМотивации.Подразделение КАК Подразделение,
   
ЗначенияПоказателейСхемМотивации.Показатель КАК Показатель,
   
ЗначенияПоказателейСхемМотивации.Значение КАК Значение,
   
ЗначенияПоказателейСхемМотивации.Валюта КАК Валюта
ПОМЕСТИТЬ ЗначенияЕжемесячныхПоказателей
ИЗ
   
ВТДвиженияРаботников КАК ДвиженияРаботников
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияПоказателейСхемМотивации КАК ЗначенияПоказателейСхемМотивации
        ПО (ЗначенияПоказателейСхемМотивации.Организация = ЗНАЧЕНИЕ(Справочник.Организации.ПустаяСсылка))
           
И (ЗначенияПоказателейСхемМотивации.ПериодДействия = НАЧАЛОПЕРИОДА(&парамНачало, МЕСЯЦ))
           
И (ВЫБОР
                КОГДА
ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.Индивидуальный)
                       
ИЛИ ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя ЕСТЬ NULL
                    ТОГДА
ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
                   
ТОГДА ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
                   
ТОГДА ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                            И ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                ИНАЧЕ ИСТИНА
            КОНЕЦ
)

ОБЪЕДИНИТЬ

ВЫБРАТЬ РАЗЛИЧНЫЕ
   
ЗначенияПоказателейСхемМотивации.ПериодДействия,
   
ДвиженияРаботников.ФизЛицо,
   
ЗначенияПоказателейСхемМотивации.Подразделение,
   
ПоказателиСхемМотивации.Ссылка,
   
ЗначенияПоказателейСхемМотивации.Значение,
   
ЗначенияПоказателейСхемМотивации.Валюта
ИЗ
   
ВТДвиженияРаботников КАК ДвиженияРаботников
        ВНУТРЕННЕЕ СОЕДИНЕНИЕ РегистрСведений.ЗначенияПоказателейСхемМотивации КАК ЗначенияПоказателейСхемМотивации
        ПО (ЗначенияПоказателейСхемМотивации.Организация = ЗНАЧЕНИЕ(Справочник.Организации.ПустаяСсылка))
           
И (ЗначенияПоказателейСхемМотивации.ПериодДействия = ДОБАВИТЬКДАТЕ(НАЧАЛОПЕРИОДА(&парамНачало, МЕСЯЦ), МЕСЯЦ, -1))
           
И (ВЫБОР
                КОГДА
ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.Индивидуальный)
                       
ИЛИ ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя ЕСТЬ NULL
                    ТОГДА
ДвиженияРаботников.ФизЛицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделению)
                   
ТОГДА ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                КОГДА ЗначенияПоказателейСхемМотивации.Показатель.ВидПоказателя = ЗНАЧЕНИЕ(Перечисление.ВидыПоказателейСхемМотивации.ПоПодразделениюИСотруднику)
                   
ТОГДА ДвиженияРаботников.Физлицо = ЗначенияПоказателейСхемМотивации.Сотрудник.Физлицо
                            И ДвиженияРаботников.Подразделение = ЗначенияПоказателейСхемМотивации.Подразделение
                ИНАЧЕ ИСТИНА
            КОНЕЦ
)
            ВНУТРЕННЕЕ СОЕДИНЕНИЕ
Справочник.ПоказателиСхемМотивации КАК ПоказателиСхемМотивации
            ПО ЗначенияПоказателейСхемМотивации.Показатель = ПоказателиСхемМотивации.ПоказательПредыдущегоПериода
                И (ПоказателиСхемМотивации.ПредыдущийПериод)

 

 

При заполнении временной  таблицы ЗначенияЕжемесячныхПоказателей идет соединение Движений и ЗначенийПоказателей в условии соединения идет ВЫБОР КОГДА с различными вариантами по ВидамПоказателей

Были указаны виды:

  • Индивидуальный
  • ПоПодразделению
  • ПоПодразделениюИСотруднику

Если не один из указанных, то ИСТИНА (то есть без ограничений), т.е. если вид показателя не равен ни одному из указанных, то фактически появляется соединение по ИСТИНА, что равно перемножению таблиц. Излишне говорить, что именно это и происходило Smile

Причина ошибки - в программу предыдущими разработчиками было добавлено новое значение перечисления показателя «ПоКадровымДаннымСотрудника», который заполняется по подразделению и должности и который не был описан в условии соединения.

Решение – добавить новое условие в ВЫБОР КОГДА по новому виду показателя.

Скорректированный код запроса приводить не буду – логика понятна.

Время выполнения текущего запроса снизилось с 2 секунд до 0.2 секунд и снизилось количество записей до 300. 

 

IV часть – Заключительная и опять короткая :)

 

Результаты оптимизации стали видны сразу:

  • Невооруженным взглядом – время заполнения документа изменилось с «очень долго» на «практически мгновенно».
  • Вооруженным – APDEX изменился с «неприемлимо» до «отлично».

 Оценка2

 

 Замеры выполнения ДО и ПОСЛЕ оптимизации разделены красным маркером.


Замеры2

 

ВЫВОДЫ

  1. План выполнения запросов MSSQL из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах и либо находить, либо сужать область поиска неоптимального или некорректного кода, особенно когда проводить рефакторинг кода запроса крайне затруднительно или невозможно.
  2. Анализ планов выполнения запроса так же помогает выявить запросы, которые сами по себе выполняются достаточно быстро по отношению к общему времени выполнения запроса, но которые критическим образом сказываются на общем времени выполнения. Такие "некорректные" запросы очень тяжело выявить используя только стандартные средства 1С без визуализации плана выполнения.
  3. Когда у тебя руки чешутся, чтобы сделать что-нибудь полезное – проверь не сделал ли это кто-нибудь до тебя (с) Здесь я имею ввиду – Консоль запросов 1С с одновременной возможностью просмотра плана выполнения запроса из SQL Profiler. Такая обработка уже есть – //infostart.ru/public/56973/ - автор Ararat. Пока, к сожалению, воспользоваться ей не довелось, но судя по отзывам и рекомендациям – там все нормально, и она отработает так как надо. Думаю, что с такой обработкой я бы решил задачу быстрее, так как с Profiler'ом было бы поменьше работы. Так что думаю обработка из разряда - must have.
  4. Начинать любую оптимизацию лучше всего с внедрения подсистемы «Оценка производительности» и установки замеров времени выполнения, чтобы четко отслеживать результаты оптимизации. 
  5. На производительности могут сказываться неочевидные и труднонаходимые ошибки в коде. (с) Капитан Очевидность
  6. Очередное подтверждение правила, если что-то стало медленно работать – 90% что надо искать «кривой» код

В качестве P.S., крайне рекомендую к прочтению статью Славы Гилева «Влияние оптимизатора запросов на производительность 1С» - в ней очень хорошо показана вся внутренняя кухня оптимизатора СУБД, плана выполнения запроса и всего остального. Статья из разряда «must read», особенно тем, кто готовится к Эксперту по ТВ или просто хочет чуть лучше понимать как оно "ТАМ" работает :)

 

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо развёрнутое
Свернуть все
1. awk 714 21.01.14 22:32 Сейчас в теме
А почему profiler, а не технологический журнал?
3. Armando 1393 21.01.14 22:45 Сейчас в теме
Согласен с (1). По ТЖ проще найти проблемный запрос в 1С.
4. barelpro 1163 21.01.14 22:56 Сейчас в теме
(1)(3) Парни, а разве ТЖ показывает ПВЗ?
6. headMade 143 21.01.14 23:41 Сейчас в теме
(4) barelpro,

да, начиная с 8.2.14 показывает

"Реализована возможность помещения в технологический журнал плана запроса СУБД. Для этого в конфигурационный файл технологического журнала добавлен элемент <planSQL> и свойство "planSQLText" для событий исполнения операторов SQL различных СУБД."

см. Версия 8.2.14
8. krolya 293 21.01.14 23:54 Сейчас в теме
(6) headMade,

Спасибо за информацию, как говорится "Век живи, век учись" (с).

Упустил я видимо этот момент. Но если я правильно понимаю там ПВЗ в виде текста, а визуализировать его хз как, да и найти в дебрях ТЖ нужный нам запрос, тоже занятие не из приятных я думаю. Парсеров не так много и я не уверен, что парсеры отрабатывают свойство planSQLText.

И кстати там ПВЗ с расширенной аналитикой по таблицам? (т.е. количество строк, предикаты, вес и т.д.)?
9. headMade 143 22.01.14 00:28 Сейчас в теме
(8) krolya,

для MSQL в ТЖ пишет Rows, Executes, EstimateRows, EstimateIO, EstimateCPU, AvgRowSize, TotalSubtreeCost, EstimateExecutions, StmtText.

Для визуализации обратите внимание на Инструменты разработчика вот пример трассировки запроса
(также не забываем про сервисы Гилева)

Ну а что касается вашей ситуации (нашли замером производительности долгий запрос), то как мне кажется profiler тут подходит как ничто другое.
10. tormozit 5824 22.01.14 00:35 Сейчас в теме
(9) Да, в ИР есть неплохая иллюстрация того, что дает собирать техножурнал по выполняемым запросам в определенной мере независимо от СУБД. План запроса естественно СУБД специфичен. В видео показан анализ плана запроса СУБД MS SQL.
5. krolya 293 21.01.14 23:30 Сейчас в теме
(1) awk,

По ТЖ можно найти самый долгий запрос. В нашем случае - это будет последний запрос (где соединяется несколько раз таблица на 2 млн. строк), но проблема то не в нем, а запросе, который эти 2 млн. строк формирует, а он то как раз выполняется гораздо быстрее чем последний :), а запрос в котором на самом деле была ошибка, вообще за 2 секунды выполняется. И как здесь поможет ТЖ? :) Или я чего-то не знаю про возможности ТЖ
2. Armando 1393 21.01.14 22:44 Сейчас в теме
7. krolya 293 21.01.14 23:51 Сейчас в теме
(2) Armando,

Не за что, рад что пригодился.
11. asved.ru 35 22.01.14 03:03 Сейчас в теме
Попробуйте ЦУП и забудьте ручное ковыряние в трассировке и сопоставление с текстами запросов/метаданными как страшный сон.
Gilev.Vyacheslav; +1 Ответить
12. Gilev.Vyacheslav 1851 22.01.14 06:45 Сейчас в теме
я так и не понял, а зачем все это надо было делать, есть же бесплатные сервисы http://www.gilev.ru/online/
зачем изобретать велосипед?
18. awk 714 22.01.14 10:30 Сейчас в теме
(12) Gilev.Vyacheslav, Не отовсюду к ним достучатся можно. Одно слово - online. :) Вот и приходится по старинке.
20. Gilev.Vyacheslav 1851 22.01.14 10:47 Сейчас в теме
(18) awk, а ЦУП использовать который не онлайн что мешает?
и потом, что значит "онлайн" - у вас нет интернета? не верю! разверните подробней
25. Evgen.Ponomarenko 548 22.01.14 11:46 Сейчас в теме
(20) Gilev.Vyacheslav,
Вячеслав, если бы не данная статья с ссылками на ваши работы, раскатал бы вас здесь и сейчас за неуместную рекламу своего велосипеда пусть даже с хорошим моторчиком (рука так и тянулась к минусу)
Берите пример с tormozit - мягко и не навязчиво продвигается на пользу себе и людям )))
28. Gilev.Vyacheslav 1851 22.01.14 11:53 Сейчас в теме
(25) Evgen.Ponomarenko, ни от вас и ни от автора не услышал, зачем нужен профайлер при наличии огромного выбора альтернатив, и не только моих инструментов - кроме как простыми путями не идем

любой уважающий себя программист может легко руками настроить logfcg.xml и в течении пары минут посмотреть план запроса в логах ТЖ, не обманывайте себя и других
38. krolya 293 22.01.14 14:57 Сейчас в теме
(28) Gilev.Vyacheslav,

любой уважающий себя программист может легко руками настроить logfcg.xml и в течении пары минут посмотреть план запроса в логах ТЖ, не обманывайте себя и других


Любой уважающий себя программист волен быть свободен в выборе инструментов для достижения целей и я не вижу чем вариант получения плана выполнения запроса через SQL Profiler принципиально отличается от получения плана выполнения запроса через ТЖ.

Ну и любой уважающий себя программист может легко подключиться к SQL Profiler'у и посмотреть план запроса в трейсе - не обманывайте других!

Только ПОСМОТРЕТЬ план запроса в логах ТЖ, это еще не решение задачи - нужно ПОСМОТРЕТЬ план выполнения НУЖНОГО ЗАПРОСА (просто посмотреть план выполнения первого попавшегося запроса я думаю смогу секунд за 30, что называется кто быстрее :)))). А найти план выполнения нужного запроса из пары десятков в логах выполнения ТЖ мне почему-то кажется занимает дольше двух минут :)
49. awk 714 23.01.14 10:15 Сейчас в теме
(20) Gilev.Vyacheslav, ЦУП - це круто. Нет, ну правда. Хорошо когда есть деньги. Тогда не сильно задумываешься на тему: "А как дальше жить". Но у многих их нет. И живут же они как-то. Просто они немного больше думают (делают). Так и здесь. Хорошо когда заказчик купил КИП, да еще и на сервере терминальном открыл доступ в интернет. А вот когда не открыл и не купил? Да еще и ТЖ поднимает сам по служебке через неделю? После пары таких клиентов и бинарники становятся исходниками. Просто работа моя увеличивает время и стоимость. Наверное, КИП и ваш сервис будет дешевле (даже не наверное, а скорее всего). Но жадных - надо учить рублем.
36. krolya 293 22.01.14 12:27 Сейчас в теме
(12)Gilev.Vyacheslav,
(14)Gilev.Vyacheslav,


Вячеслав, добрый день. Отвечу один раз на все сообщения.

Когда я написал фразу: "использовать SQL Profiler для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах", то я в первую очередь имел ввиду не сам SQL Profiler, а именно план выполнения запроса. Если вы заметили, я в Выводах к статье прямым текстом написал, что есть консоль запросов 1С, которая умеет показывать план выполнения запроса и именно ее рекомендовал к использованию для получения плана выполнения более быстрым и удобным способом. Мне без разницы как получить план выполнения запроса, главное чтобы он был. Получу я его через SQL Profiler, консоль или Ваш сервис - мне все равно. Я использовал инструмент, который был под рукой. Он НЕ САМЫЙ УДОБНЫЙ, НЕ САМЫЙ ЛУЧШИЙ и вообще не самый-самый и я нигде в статье не говорил, что это единственный и самый удобный инструмент (очевидно, что это не так).

Целью статьи было показать логику и методику проведения оптимизации для очень больших запросов с использованием плана выполнения запроса на одном примере, а не сравнить все возможные средства получения плана выполнения запросов или рассмотреть все возможные методики проведения оптимизации.

Ну и повторюсь - самый долгий запрос в пакете запросов (не равно) неоптимальный или некорректный, причина его неоптимальности, часто лежит в других запросах.
41. Gilev.Vyacheslav 1851 22.01.14 16:34 Сейчас в теме
(36) , (37) , (38) , (39) krolya, Алексей, по существу статьи - можно было откинуть про инструментарий и написать :
берем жирный запрос, смотрим на левую и правую части соединения,
смотрим на скорость правой части, смотрим на скорость левой части, смотрим на скорость "обоих частей вместе" - далее смотрим кто из них самый явно долгий,
далее "проваливаемся вглубь" этого долгого и повторяем итерацию

таким образом какой бы не был огромный запрос, не обязательно мегасхемы рисовать, можно автоматизированно локализовать узкое место,
я не прав?

ценное зерно (не ходившим на 1С:эксперта) в статье про нехватку отборов при перемножении - не буду придираться

у меня ваша заметка вызвала такую реакцию потому что напоминает софтпоинтовое "много воды и чуть-чуть полезного"
вообщем вцелом не обращайте на мое ворчание внимание, ваша статья найдет своего благодарного читателя, профайлером тоже надо уметь пользоваться
AlexeyFreeLife; unoDosTres; Samosval; Восьмой; teflon; DLysikov; pbazeliuk; allegrosoft; barelpro; Evgen.Ponomarenko; krolya; +11 Ответить
42. krolya 293 22.01.14 16:42 Сейчас в теме
(41) Gilev.Vyacheslav,

Алексей, по существу статьи - можно было откинуть про инструментарий и написать :
берем жирный запрос, смотрим на левую и правую части соединения,
смотрим на скорость правой части, смотрим на скорость левой части, смотрим на скорость "обоих частей вместе" - далее смотрим кто из них самый явно долгий,
далее "проваливаемся вглубь" этого долгого и повторяем итерацию


Вячеслав, согласен, но тогда это будет не та статья, которую я задумывал :), т.к. я хотел показать весь путь оптимизации одного запроса от начала и до конца. Если в статье доносить только главную мысль "без воды", то она не будет воспринята (хотя возможно я не прав в этом).

вообщем вцелом не обращайте на мое ворчание внимание, ваша статья найдет своего благодарного читателя, профайлером тоже надо уметь пользоваться


ОК. Договорились :)
13. Confucius 80 22.01.14 06:52 Сейчас в теме
Довольно не тривиальный путь поиска ошибок...это как для диагностики не исправности у авто самому спаять плату для диагностики... есть же велосипеды уже.
Gilev.Vyacheslav; +1 Ответить
30. Evgen.Ponomarenko 548 22.01.14 11:54 Сейчас в теме
(13) Confucius,
Довольно не тривиальный путь поиска ошибок...это как для диагностики не исправности у авто самому спаять плату для диагностики... есть же велосипеды уже.

Я тоже сначала так подумал... но из контекста статьи видно, что автор разбирался с чужим-чужим-чужим черным ящиком. Он использовал формальный подход и штатные средства - классика жанра, зачетно!
32. Gilev.Vyacheslav 1851 22.01.14 11:58 Сейчас в теме
(30) Evgen.Ponomarenko,
использовал формальный подход и штатные средства
штатные средства - это технологический журнал, хватит людей обманывать!
33. Evgen.Ponomarenko 548 22.01.14 12:01 Сейчас в теме
(32) Gilev.Vyacheslav,
Это с какой стороны посмотреть, с точки зрения ADB - штатное средство профайлер микрософта в данном случае.
34. Gilev.Vyacheslav 1851 22.01.14 12:03 Сейчас в теме
(33) Evgen.Ponomarenko, с точки зрения АДБ он не правит запросы в 1С
35. Evgen.Ponomarenko 548 22.01.14 12:15 Сейчас в теме
(34) Gilev.Vyacheslav,
Я 5 лет проработал в секторе администрирования БД. Мы постоянно мониторили производительность, вместе с программистами решали задачи оптимизации. Под Oracle в 2000 году были такие средства оптимизации, что 1С еще шагать и шагать. К примеру, можно было провести анализ нарушений 3-й нормальной формы. Автоматизация позволяла выгребать ошибки сторонних разработчиков тоннами. В данном случае в статье речь идет об альтернативе, которая имеет место быть. А чем больше возможностей - тем оптимальней решение.
14. Gilev.Vyacheslav 1851 22.01.14 06:56 Сейчас в теме
Вот план запроса в наших сервисах

нафига такой огород с профайлером?
Evil Beaver; +1 1 Ответить
45. German 873 22.01.14 19:58 Сейчас в теме
(14)(17) Раз уж все отметились, вот интерактивный!! план запросов в Ei

awa; JohnyDeath; krolya; lustin; tormozit; +5 Ответить
46. tormozit 5824 22.01.14 20:00 Сейчас в теме
(45) В чем его интерактивность? Он может выполнять по шагам операции плана? =)
asved.ru; +1 Ответить
48. German 873 22.01.14 20:09 Сейчас в теме
(46) пока при наведении расшифровка, при клике на таблице переход к индексам и структуре, на остальное пока особо фантазии не хватило :)

В общем там чистый HTML, можно хоть скачущего ПОНИ прилипить
15. DoctorRoza 22.01.14 08:12 Сейчас в теме
Ну вот, нормальная статья. Не всякие теоретические сопли скопипастенные из интернета, а реальный, боевой опыт!
Evgen.Ponomarenko; +1 1 Ответить
19. Gilev.Vyacheslav 1851 22.01.14 10:38 Сейчас в теме
(15) DoctorRoza, опыт - однозначно да
однако описание как работать профайлером на не 1с-ких форумах мульён!
сейчас новички вместо того чтобы сходить почитать документацию к 1С:ЦУП прочтут эту статью, решать что они теперь "НЕО" и знают "кунфу" и потом понесутся "гневные письма в 1С" про то что приходится бороться с мнимыми трудностями

по поводу консоли запросов с планом запроса - у нас она тоже есть, взял выполнил запрос и сразу увидел план не выходя из 1С

Не всякие теоретические сопли скопипастенные из интернета
при всем уважение - это не просто сопли, а извините достаточно "старые"

я вот так и не увидел

из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах

извините за прямоту...
21. JohnyDeath 297 22.01.14 11:12 Сейчас в теме
(19) Gilev.Vyacheslav,
сейчас новички вместо того чтобы сходить почитать документацию к 1С:ЦУП прочтут эту статью

а ЦУП использовать который не онлайн что мешает?

Озвучь, пожалуйста, ценник на ЦУП. Всё встанет на свои места. А профайлер или ИР есть здесь и сейчас (Сергею Седых за это огромное спасибо).
по поводу консоли запросов с планом запроса - у нас она тоже есть, взял выполнил запрос и сразу увидел план не выходя из 1С

Где можно посмотреть? Или она только для внутреннего использования?
23. Gilev.Vyacheslav 1851 22.01.14 11:19 Сейчас в теме
(21) JohnyDeath, вы красиво смешали ЦУП, которые накапливает статистику и ранжирует проблемы и консоль ИР - она на сколько я последний раз, ничего подобного не умела, я не прав, уже задублировала бесплатно ЦУП?
29. JohnyDeath 297 22.01.14 11:54 Сейчас в теме
(23) Gilev.Vyacheslav, Вы тоже красиво умолчали о стоимости. В данной конкретной проблеме ИРа бы хватило. Мы ведь обсуждаем то, почему автор не использовал ЦУП, верно?
(27) Спасибо, не знал. И нигде раньше этого не слышал. По-моему, я у вас давным-давно спрашивал про разрешение имен таблиц в имена таблиц 1С.
(26) Оно оказывается тоже платное. ( Посмотреть не получится. И она скорее всего идет в составе всей конфы. Верно?
31. Gilev.Vyacheslav 1851 22.01.14 11:57 Сейчас в теме
(29) JohnyDeath, о стоимости ЦУПа - любой разработчик может себе позволить НФР версию цупа (по памяти это тысяч десять рублей) имхо это не заоблачная стоимость и ее легко включить в общую стоимость проекта, в рамках которого оптимизируете запрос, если вы франч и делаете это для клиента, то цуп должен вообще купить клиент, для вас он будет бесплатен
ну и где здесь сложности?
26. Gilev.Vyacheslav 1851 22.01.14 11:46 Сейчас в теме
(21) JohnyDeath,
Где можно посмотреть? Или она только для внутреннего использования?
http://www.gilev.ru/querytj_plus/
JohnyDeath; +1 Ответить
39. krolya 293 22.01.14 15:02 Сейчас в теме
(19) Gilev.Vyacheslav,

я вот так и не увидел

...из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах...

извините за прямоту...


Извиняю, но Вячеслав, вы при цитировании опустили принципиальную часть моей фразы, которая искажает ее смысл.

План выполнения запросов MSSQL из SQL Profiler удобно использовать для анализа и оптимизации «узких мест» в больших «многоэтажных» запросах и либо находить, либо сужать область поиска неоптимального или некорректного кода, особенно когда проводить рефакторинг кода запроса крайне затруднительно или невозможно.


Я могу с легкостью из нее убрать ссылку на SQL Profiler (она не потеряет смысла и останется верной), а суть ее сводится к тому, что план выполнения запросов МОЖЕТ(!) хорошо помочь в решении задачи оптимизации больших запросов. И повторюсь, что мне без разницы каким способом я получу нужный мне план выполнения запросов в следующий раз - будет ли это Profiler, ваш сервис или логи ТЖ.
16. StaticUnsafe 22.01.14 08:58 Сейчас в теме
17. tormozit 5824 22.01.14 09:31 Сейчас в теме
Вот скриншот плана запроса из инструмента "Анализ техножурнала" инструментов разработчика. Обратите внимание, здесь имена полей и таблиц уже переведены в термины метаданных (опция).
Прикрепленные файлы:
Восьмой; slavap; lustin; pumbaE; krolya; headMade; JohnyDeath; +7 Ответить
22. JohnyDeath 297 22.01.14 11:17 Сейчас в теме
По поводу плана запроса. Помимо ЦУПа, Онлайна Вячеслава и ИР Сергея есть еще Enterprise Integrator от Германа Кудякова. С недавних пор план запроса у него свой: с шахматами и барышнями http://main.1c-ei.ru/Home/help/profiler/view/planquery
У Вячеслава пока чуть хуже чем у Сергея - не определяются автоматом имена таблиц 1С, да и выглядит заметно хуже.
Кстати, а кто как определяет имена таблиц? Я сделал вьюхи на все таблицы и потом смотрю "зависимости" в интересуемой таблице вида "_InfoRg43"
27. Gilev.Vyacheslav 1851 22.01.14 11:49 Сейчас в теме
(22) JohnyDeath,
У Вячеслава пока чуть хуже чем у Сергея - не определяются автоматом имена таблиц 1С, да и выглядит заметно хуже.
показываются, если подключен сервис http://www.gilev.ru/sqlsize/
так сделано, потому что сервис Анализа запросов не авторизуется и не подключается к базе (т.е. максимально безопасный насколько это вообще в природе возможно)
Второй сервис выполняет ком-подключение к исследуемой базе и требует ввести логин пароль.
24. Evgen.Ponomarenko 548 22.01.14 11:44 Сейчас в теме
Ну, что сказать?! Точно в цель!!! И по теме и по содержимому. В деле SQL-тюнинга, визуальный план выполнения запросов - это наше все! Важно, что решение предполагает только штатные средства.
Ссылки на другие источники уместны и респектабельны ))) Так, что автору "Респект и уважуха!" (С).
Статья просится в золотой фонд Инфостарта. Знаю, что вернусь к ней еще не раз.

Для меня она, как точка входа на другие ресурсы (такая себе дверь в коморке Папы-карлы). Так, что... бросаю якорь в закладках )))
Прикрепленные файлы:
Tedman; krolya; DitriX; +3 Ответить
37. krolya 293 22.01.14 12:43 Сейчас в теме
Кстати, что интересно - вот в соседней статье Использование yEd для понимания картины запроса обсуждается проблема визуализации больших запросов на примере ЗУП 2.5 и там используются ну совсем не штатные средства :)
40. asved.ru 35 22.01.14 15:04 Сейчас в теме
// offtop

Enterprise Integrator от Германа Кудякова


Какой, простите, вырвиглазный сайт. Сделайте меня развидеть это!
43. lustin 22.01.14 18:15 Сейчас в теме
(0) перечитал спокойно, хотя хотел в пылу написать с утра.

Возникли следующие мысли:

1. Знать и уметь использовать профайлер вкупе с методом ПолучитьСтруктуруХранения() - НУЖНО
2. В реальной работе лучше использовать ИнструментыРазработчика, КонсольЗАпросов и КонсольКода с трассировками, не забываем про EnterpriseIntegrator от Германа.
3. APDEX и ЦУП знать нужно - но это инструментарий который вначале нужно внедрить, а только потом использовать.

Однако меня больше заинтересовало другое:


Решение – добавить новое условие в ВЫБОР КОГДА по новому виду показателя.


совместно с вот этим
Причина ошибки - в программу предыдущими разработчиками было добавлено новое значение перечисления показателя «ПоКадровымДаннымСотрудника», который заполняется по подразделению и должности и который не был описан в условии соединения.


Я правильно понял, что когда другой разработчик добавит новое значение показателя ПоКакимНибудьНовымДаннымСотрудникаИлиВЗависимостиОтФазыЛуны - проблема вновь возникнет ? И тогда придется повторно вспоминать данный кейс.

Если я все правильно понял, то это не решение - это HOTFIX.
Нужно избавится от конструкции ВЫБОР внутри условия соединения и тогда я думаю будет еще чуть быстрей за счет отказа от CASE подобных конструкций и в будущем не рухнет вновь.
teflon; krolya; awa; Odinas; awk; JohnyDeath; +6 Ответить
44. krolya 293 22.01.14 18:40 Сейчас в теме
(43) lustin,

Алексей, спасибо за комментарии.

Я правильно понял, что когда другой разработчик добавит новое значение показателя ПоКакимНибудьНовымДаннымСотрудникаИлиВЗависимостиОтФазыЛуны - проблема вновь возникнет ? И тогда придется повторно вспоминать данный кейс.


Правильно, но этого не будет - см. ниже :)

Предыдущие разработчики добавили новый вид перечисления, что я считаю некорректно, я практически уверен что задачу, которую они решали можно было реализовать либо используя типовые механизмы либо минимально корректируя существующие. По крайней мере не влезая в корректировку перечислений, так как в коде типовых ОЧЕНЬ ЧАСТО перечисления обрабатываются структурой ЕСЛИ ... ИНАЧЕ ЕСЛИ ... КОНЕЦЕСЛИ;. И изменение списка значений для перечисления приводит к масштабным изменениям по всему коду конфигурации.

Поэтому совсем правильным вариантом я считаю будет - провести рефакторинг изменений, которые привели к необходимости корректировки этого перечисления и оставить типовой код запроса :), но так я думаю никто сейчас делать не будет.

А чтобы избавиться от конструкции ВЫБОР, это нужно проводить рефакторинг кода этого запроса и корректировать типовую, что во-первых, накладно, а во-вторых соотношение полученного результата (ускорения) к стоимости его достижения мне кажется будет не в его пользу. Т.е. не стоит оно того имхо :)
JohnyDeath; lustin; +2 Ответить
47. lustin 22.01.14 20:07 Сейчас в теме
(44) ну значит я с Hotfix'ом угадал. А вот про типовую я забыл.

Скорее всего ты прав - необходимо посмотреть где им не хватило типовой и зачем и тогда рефакторить (причем может быть даже процессы а не конфигурацию).
50. Sorm 53 23.01.14 10:30 Сейчас в теме
А не смутило сразу, что TABLE SCAN используется? Может, стоило бы для начала помочь оптимизатору?
51. krolya 293 23.01.14 12:19 Сейчас в теме
(50) Sorm,

Я в первую очередь разбирался с ошибками, которые потенциально дешевле в устранении. Принцип Парето работает безотказно - 80% торможения можно устранить за 20% затрат. Мне в тот момент гораздо выгоднее было разобраться с 2 млн строк, чем устранять table scan :)
52. Sorm 53 23.01.14 12:47 Сейчас в теме
(51) krolya, Проиндексировать эту таблицу вместо анализа запроса(анализ, конечно, правильней, не спорю) не проще был сначала попробовать? Как бы это первое, что приходит в голову.
53. krolya 293 23.01.14 12:51 Сейчас в теме
(52) Sorm,

Сложно судить, но мне почему-то как раз пришло в голову именно с таблицей разобраться, чем пытаться помочь с TABLE SCAN'ом )

Интересно как другие думают? :)
54. Gilev.Vyacheslav 1851 23.01.14 13:23 Сейчас в теме
(52) Sorm, зачем ускорять "ненужную" работу, лучше ее минимизировать как (53)
55. Sorm 53 23.01.14 14:18 Сейчас в теме
(54) Gilev.Vyacheslav, согласен, но здесь вопрос во времени. Разобраться в запросе всяко дольше, чем индекс привинтить. А с учетом индекса, возможно, нагрузка на сервер станет непринципиальной. Ну, это только мое мнение. Просто часто разбираюсь с большими сложными SQL-процедурами, в которых "годичные" наслоения кода. Первый метод - все что можно выносится во временные таблицы, индексируется.. ну и т.д. Второй - сидеть разбираться в процедуре применительно к данным.
56. krolya 293 23.01.14 15:31 Сейчас в теме
(55) Sorm,

Первый метод: крайне трудоемок для громоздких запросов и не факт что приведет к нужным результатам.
Второй метод: анализ самих данных я не использовал на первом этапе "широкого" поиска, а только на более позднем, когда я сузил область поиска некорректного кода до 1-2 запросов.
57. Sorm 53 23.01.14 16:18 Сейчас в теме
(56) krolya, "Первый метод: крайне трудоемок для громоздких запросов" - собственно, почему? Уточню - я имею в виду хранимые процедуры и функции.
58. krolya 293 27.01.14 15:09 Сейчас в теме
(57) Sorm,

Долго придумывал какую аналогию привести, чтобы обосновать свое решение. Пришла в голову следующая идея:

по-большому счету любую операцию можно рассматривать как V=f(P,T), где V объем, т.е. количество выполненных операций за все время, P производительность, т.е. скорость выполнения этих операций в единицу времени) и T время затрачиваемое на работу, т.е. общее время выполнения операции. Предположим (для упрощения, но можно проверить и составить реальный график по реальным данным) график будет линейным (V=P*T).

Предположим, что у нас на начальном этапе скорость обработки данных - 100 единиц в единицу времени, а объем необходимый для производства равен 100 000 единиц (у нас цифры были другие 2 млн строк и 2 минуты), тогда время которое необходимо затратить, чтобы произвести (обработать) 100 000 единиц - 100 000 / 100 = 1000 единиц времени.

Двигаемся дальше - скорость оставляем НЕИЗМЕННОЙ, а значительным образом уменьшим количество записей до 1000, тогда время будет равно 10 единицам, а теперь подумаем во сколько раз нам нужно увеличить скорость выполнения операций при НАЧАЛЬНЫХ условиях объема 100 000 и заданном времени T=10, скорость выполнения операции должна стать 10 000, т.е. вырасти в 100 раз (математика первый класс :)))).

Ну, а в нашем случае, у нас было 2 млн. строк и я планировал его уменьшить до 2000 примерно, соответственно скорость выполнения нужно было увеличить в 1000 раз, чтобы получить сравнимый прирост :)

С моей точки зрения, я мог с высокой степенью гарантии уменьшить количество записей до 2000, но получить прирост в 1000 раз при добавлении индекса - я получил бы вряд ли.

P.S. Я проверю это на каком-нибудь SQL и выложу результаты. Самому интересно :)


59. krolya 293 28.01.14 15:44 Сейчас в теме
Здесь был комментарий :)
60. unoDosTres 20.06.14 10:59 Сейчас в теме
Автору спасибо за известную методу, но можно все проще сделать (я сейчас о конкретно в этой статье описанном случае), без всяких профайлеров, если знаешь текст проблемного запроса, берешь любую консоль запросов, либо допиливаешь, либо готовую с расчетом времени выполнения каждой ВТшки, и с вероятностью 90% самый долгий по выполнению Пакет и будет проблемным, и тут уже либо менять БизнесЛОгику запроса для оптимизации, либо чисто технически оптимизровать пакетник. для большинства пользователей, чтение планов запроса не даст полезной инфы, подумаешь table scan, подумаешь nested loops, и т .п.
61. unoDosTres 20.06.14 11:05 Сейчас в теме
(60) unoDosTres,
вдогонку к своему посту, скрин проблемного запроса из консоли запросов, и сразу видно что проблема в отмеченной Втшке, по-моему удобней и быстрей для описанного в теме случая, ну или хотя бы достойная альтенатива, конечно такого глубокого анализа как из плана запроса не получить, но узкое место сразу как на лодони
Прикрепленные файлы:
62. krolya 293 20.06.14 11:57 Сейчас в теме
(61) unoDosTres,

Да, разумная альтернатива и ее бы хватило для этого случая, по идее можно еще и количество строк смотреть - потому что у меня проблемный запрос не был самым долгим, но он влиял на другие. Так что анализ по количеству строк + время выполнения вполне себе пристойный инструмент для анализа запросов.

Ну и еще одна тонкость - иногда бывает достаточно сложно собрать все кусочки в единый запрос.
Оставьте свое сообщение

См. также

3 онлайн-курса по 1С-программированию: обмен данными, расчетные задачи и бухгалтерские задачи с 12 мая по 8 июля 2020 г. Промо

Практика программирования v8 Бесплатно (free)

Пакет из 3-х курсов по 1С-программированию. Основная цель - сформировать у слушателей практические навыки, связанные с реализацией задач обмена для прикладных решений, работающих на платформе “1С:Предприятие”, а также с разработкой прикладных решений, предназначенных для автоматизации расчета заработной платы и задач бухгалтерского учета.

22.04.2020    4565    23    Infostart    2    

Программная работа с настройками СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Нюансы программной работы с настройками системы компоновки данных в отчетах и динамических списках. Обзор всех видов настроек компоновки. Что в каких случаях правильно применять. В качестве примера рассмотрена работа с отборами и группировками.

27.01.2020    19041    0    ids79    26    

[СКД] Программное создание схемы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Сделаем отчет на СКД полностью программно, без использования макета "схема компоновки данных".

15.01.2020    18459    0    John_d    22    

Последовательности событий. Шпаргалка

Практика программирования v8 Россия Бесплатно (free)

Собрал информацию о событиях/подписках/расширениях в одном месте.

30.12.2019    13370    0    kuzyara    33    

Использование программных перечислений, ч.1: строковые константы Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Часто ли у вас возникает необходимость в коде выполнять сравнение на строку?

10.12.2016    35464    0    unichkin    45    

30 задач. Странных и не очень

Практика программирования v8 Бесплатно (free)

30 задач на знание языка программирования 1С и некоторого поведения платформы. Маленьких. Странных и не очень.

02.12.2019    14595    0    YPermitin    72    

Как передать IP адрес, который вызвал HTTP запрос в 1C (для веб-сервера Apache)

Практика программирования v8 Бесплатно (free)

Столкнулся с задачей получения IP адреса, который вызывает http сервис 1С. Итак, решение:

22.11.2019    6752    0    Sibars    19    

Таблица значений. Нюансы

Практика программирования v8 Бесплатно (free)

Обзор некоторых аспектов использования общеизвестного инструмента 1С.

01.10.2019    28147    0    Yashazz    45    

Вспомогательные инструкции в коде 1С Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Помогаем редактору кода 1С помогать нам писать и анализировать код.

15.10.2018    27895    0    tormozit    100    

[Шпаргалка] Программное создание элементов формы

Практика программирования Работа с интерфейсом v8 1cv8.cf Бесплатно (free)

Программное создание практически всех популярных элементов формы.

06.09.2019    39582    0    rpgshnik    62    

Агрегатные функции СКД, о которых мало кто знает

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Пользуетесь ли Вы всеми возможными агрегатными функциями, которые предоставляет система компоновки данных? Если Вы используете только: СУММА, КОЛИЧЕСТВО, МИНИМУМ, МАКСИМУМ, СРЕДНЕЕ, то эта статья для Вас.

05.09.2019    41730    0    ids79    54    

Регистры бухгалтерии. Общая информация

Практика программирования Математика и алгоритмы v8 v8::БУ БУ Бесплатно (free)

Общая информация о внутреннем устройстве регистров бухгалтерии.

05.09.2019    24366    0    YPermitin    24    

Оформление и рефакторинг сложных логических выражений Промо

Практика программирования v8 Россия Бесплатно (free)

В сложных логических выражениях нередко самому автору спустя какое-то время тяжело разобраться, не говоря уже о других программистах. Предлагаемая методика позволяет повысить наглядность таких выражений путем оформления в виде И-ИЛИ дерева и одновременно выполнять их рефакторинг.

20.09.2012    75389    0    tormozit    129    

Три костыля. Сказ про фокусы в коде

Практика программирования v8 Бесплатно (free)

Три интересных (или странных) костыля в коде, которые могут помочь в повседневных и не очень задачах.

03.09.2019    23087    0    YPermitin    80    

Отслеживание выполнения фонового задания

Практика программирования Универсальные функции Разработка v8 1cv8.cf Бесплатно (free)

Запуск фонового задания из модуля внешней обработки. Отслеживание выполнения задания в виде прогресса, расположенного на форме.

17.08.2019    28216    0    ids79    16    

Функции СКД: ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Подробное описание и использование внутренних функций системы компоновки данных: Вычислить, ВычислитьВыражение, ВычислитьВыражениеСГруппировкойМассив, ВычислитьВыражениеСГруппировкойТаблицаЗначений.

08.08.2019    65011    0    ids79    40    

Запись значения в поле ввода/формы со срабатыванием события ПриИзменении Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Иногда возникает необходимость после записи значения в какое либо поле ввода/формы вызвать для него обработчик события ПриИзменении, а о вызове самого события приходится только мечтать. В этой статье приводится программный способ вызова этого события.

11.07.2007    46271    0    tormozit    38    

Фоновое выполнение кода в 1С - это просто

Практика программирования v8 1cv8.cf Бесплатно (free)

Как легко запускать выполнение в фоне, не прибегая к долгому описанию фоновых процедур.

02.08.2019    29241    0    avalakh    22    

Разбираемся с параметрами редактирования СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Связь по типу, Параметры выбора, Связи параметров выбора

31.07.2019    19701    0    json    12    

СКД - наборы данных и связи между ними, создание собственной иерархии, вложенные отчеты

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Набор данных объект. Использование в схеме компоновки нескольких наборов данных. Различные варианты связи наборов: объединение, соединение. Использование иерархии в отчетах на СКД. Создание собственной иерархии, иерархия детальных записей. Использование вложенных схем в отчетах на СКД.

26.07.2019    48738    0    ids79    11    

Как сделать из &НаКлиентеНаСервереБезКонтекста почти &НаКлиентеНаСервере Промо

Практика программирования v8 1cv8.cf Россия Бесплатно (free)

Как сделать метод формы, доступный на клиенте и на сервере одновременно, и сохранить при этом удобство разработки

10.09.2017    42283    0    tormozit    74    

СКД - использование расширений языка запросов, секция ХАРАКТЕРИСТИКИ

Инструментарий разработчика Практика программирования v8 v8::СКД Бесплатно (free)

Автоматическое и не автоматическое заполнение полей компоновки данных. Использование расширений языка запросов для СКД «{…}», секция ВЫБРАТЬ, секция ГДЕ, параметры виртуальных таблиц. Автоматизированное использование дополнительных данных в запросе: секция ХАРАКТЕРИСТИКИ.

17.07.2019    31441    0    ids79    27    

Регистры сведений. За кулисами

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Небольшие заметки по внутреннему устройству регистров сведений.

09.07.2019    23787    0    YPermitin    13    

"Меньше копипаста!", или как Вася универсальную процедуру писал

Практика программирования Разработка v8 v8::СКД 1cv8.cf Бесплатно (free)

Программист Вася разбирает подход создания универсальных методов на примере программного вывода СКД.

04.07.2019    17667    0    SeiOkami    50    

Выгрузка документа по условию Промо

Практика программирования Разработка v8 Бесплатно (free)

Что делать, если документы нужно выгружать не все подряд, а по какому-то фильтру: статусу, дате, набору условий... А что если он соответствовал этим условиям, а потом перестал? А если потом опять начал? Такие ситуации заставили попотеть не одного программиста.

25.04.2019    15369    0    m-rv    2    

Работа с настройками системы компоновки данных

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Варианты отчетов, работа с настройками вариантов: структура группировок, поля отчета, отборы, сортировка, условное оформление, другие настройки, настройки отображения диаграмм.

02.07.2019    38374    0    ids79    10    

Создание отчетов с помощью СКД - основные понятия и элементы

Практика программирования Математика и алгоритмы v8 v8::СКД Бесплатно (free)

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    45902    0    ids79    25    

Многопоточное ускорение однопользовательских нагрузок в 1С + Microsoft SQL Server 2017

Практика программирования Производительность и оптимизация (HighLoad) v8 v8::Запросы Бесплатно (free)

Взаимодействие с Microsoft SQL Server нередко вызывает трудности у 1С-ников, а потому интересны любые моменты, связанные с его использованием. О своем опыте работы с новым SQL Server 2017 участникам конференции Infostart-2018 рассказал директор ООО «Аналитика софт» Дмитрий Дудин.

11.06.2019    22797    0    dmurk    144    

Как прикрутить ГУИД к регистру сведений Промо

Практика программирования Перенос данных из 1C8 в 1C8 Разработка v8 Бесплатно (free)

... и немного теории обмена данными. В частности, разберем боль всех, кто пишет небанальные обмены данными: как набору записей регистра сведений назначить гуид и далее использовать его в обмене для идентификации этого набора.

16.04.2019    19145    0    m-rv    17    

Регистры накопления. Структура хранения в базе данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Структура хранения регистров накопления в базе данных для платформы 1С:Предприятие 8.x. Первая часть в серии публикаций.

16.05.2019    38365    0    YPermitin    30    

Выполнение внешней обработки в фоновом задании

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Подробное описание подхода к созданию длительной операции на основе внешней обработки. Реализация протестирована на 1С 8.3.12.1714 (x64).

11.05.2019    26547    0    Eret1k    23    

Мониторинг SQL Server с помощью Extended Events (и не только) для 1С. Как держать руку на пульсе?

Производительность и оптимизация (HighLoad) Бесплатно (free)

Что и как мониторить в работе SQL Server, чтобы держать Вашу систему в форме.

05.05.2019    31353    0    YPermitin    23    

Как сделать запрос на изменение данных Промо

Практика программирования v8 v8::Запросы 1cv8.cf Бесплатно (free)

В статье приведены особенности внутренней архитектуры и примеры работы с расширением языка запросов 1С.

01.06.2018    28786    0    m-rv    21    

О расширениях замолвите слово...

Практика программирования Разработка v8 Бесплатно (free)

О чём стоит задуматься при принятии решения о создании расширения конфигурации…

07.04.2019    32008    0    ellavs    126    

Git-репозитории для 1С-кода (опыт использования при небольших проектах)

Практика программирования v8 Бесплатно (free)

Инструкции по взаимодействию с Git-репозиторием, которые писались для тех наших программистов, которые вообще никогда не работали с Git (руководства в духе "Как получить код из git-репозитория?", "Как отправить код в git-репозиторий")...

28.03.2019    25246    0    ellavs    88    

Трюки с внешними источниками данных

Практика программирования Разработка v8 1cv8.cf Бесплатно (free)

Некоторые трюки для преодоления ограничений внешних источников данных.

14.03.2019    28826    0    YPermitin    53    

Метод формирования движений в типовых регистрах нетиповыми регистраторами Промо

Практика программирования v8 1cv8.cf Бесплатно (free)

Вариант решения задач с проведением по типовым регистрам нетиповыми регистраторами. Зачем - чтобы при сравнении конфигурации не обращать внимание на свойства регистров и исключить вероятность допущения горькой оплошности при обновлении информационных баз, заменив типы регистраторов основной конфигурации типами конфигурации поставщика. Для программных продуктов, имеющих в своем составе метаданных документ "Корректировка регистров"("Корректировка записей регистров").

05.12.2017    26835    0    itriot11    34    

Разработка и сценарное тестирование с Vanessa-ADD. Отчетность Allure. Автоматизация запуска сценариев

Практика программирования Vanessa Automation v8 Россия Бесплатно (free)

Формируем отчетность о результатах выполнения сценариев. Автоматизируем запуск.

26.02.2019    20101    0    Vladimir Litvinenko    27    

Возможности типовых шаблонов ограничения доступа на уровне записей (RLS)

Практика программирования БСП (Библиотека стандартных подсистем) Роли и права v8 v8::Права Бесплатно (free)

Краткий обзор применения типовых шаблонов ограничения доступа на уровне записей в конфигурациях, созданных на базе БСП: #ПоЗначениям, #ПоНаборамЗначений, #ПоЗначениямРасширенный, #ПоЗначениямИНаборамРасширенный

03.02.2019    34555    0    ids79    9    

Использование классов .Net в 1С для новичков Промо

Практика программирования Разработка внешних компонент Универсальные функции v7.7 v8 Бесплатно (free)

Руководство для новичков. Написав статью http://infostart.ru/public/238584/, я понял, что многие не понимают того, что написано. Поэтому в этой статье постараюсь более подробно остановиться на азах и без кода на вражеском языке (C#)

27.01.2016    73371    0    Serginio    108    

EnterpriseData – часть 2. Процесс выгрузки данных

Практика программирования Обмен через XML v8 v8::УФ Россия Бесплатно (free)

Основные этапы выгрузки данных через ED, обработчики событий выгрузки, правила обработки данных, правила конвертации объектов, конвертация свойств первого и второго этапов, процедуры БСП, используемые при выгрузке данных, структура «КомпонентыОбмена».

26.12.2018    24758    0    ids79    31    

Новый подход к обмену данными EnterpriseData

Практика программирования Обмен через XML v8 v8::УФ Россия Бесплатно (free)

Хочу предложить Вашему вниманию цикл статей, посвященных обмену данными через универсальный формат (EnterpriseData или ED).

14.12.2018    37812    0    ids79    72    

Автоматические и управляемые блокировки применительно к типовым конфигурациям 1С Промо

Математика и алгоритмы Практика программирования v8 v8::blocking 1cv8.cf Бесплатно (free)

Основные принципы работы с режимами автоматических и управляемых блокировок в 1С Предприятие 8. Теория и применение в типовых конфигурациях: БП, УТ, ЕРП

10.11.2018    32379    0    ids79    40    

EnterpriseData - пример доработки правил конвертации без использования КД 3.0 в расширении конфигурации

Практика программирования Обмен через XML v8 v8::УФ БП3.0 УТ11 Россия Бесплатно (free)

В статье подробно описан реальный пример доработки обмена данными через EnterpriseData (универсальный формат обмена) между конфигурациями УТ 11.4 и Бухгалтерия 3.0

16.11.2018    34193    0    ids79    40    

Программное заполнение пользовательских параметров и отборов СКД

Практика программирования v8 v8::СКД 1cv8.cf Бесплатно (free)

Публикация представляет из себя краткие примеры того, как можно заполнять параметры СКД программно так, чтобы все параметры и отборы были доступны в быстрых настройках и в обычных (типовых) настройках параметров и отборов СКД.

13.11.2018    41269    0    Unk92    21    

Тестер: частые вопросы Промо

Практика программирования v8 Бесплатно (free)

Ошибкам бой - тесты норма жизни!

25.07.2018    27496    0    grumagargler    26