Оптимизация 1С на реальном примере
База данных - HighLoad оптимизация
Клиент обратился с проблемой долгого проведения документа Возврат ТМЗ от покупателя. В общем-то проблема старая, и известная, но до этого момента я никогда не углублялся в нее так далеко.
Клиент использует типовую конфигурацию Управление Торговым Предприятием для Казахстана, ред. 2.0 (Некий аналог КА для РФ, то есть по факту УТ+БП). Конфигурация была дописана, но незначительно, а сам документ и модули которые он использовал, были на поддержке и не изменены.
Хорошо, начал с первичного анализа ситуации, и замера производительности. База была большая, и создание и проведение документа Возврат ТМЗ от покупателя на 10 позиций заняло 669 секунд (повторное проведение документа заняло около 230 секунд) . Сказать что это много, значит ничего не сказать. Узким местом являлся запрос в общем модуле, который выполнялся 10 раз, но к этому мы еще вернемся:
Запрос был в функции общего модуля УправлениеЗапасамиПартионныйУчет.СформироватьТаблицуВозвращенныхПартий(). После детального осмотра, стало ясно, что функция ищет партии товара, списанные документом реализации, на основании которого и сделан возврат, для того чтобы вернуть товар по списанной себестоимости. Функция выполняется для каждой строки документа в цикле. Казалось бы, избавиться от запроса в цикле, и дело в шляпе, но не все так просто.
Решил пока оставить запрос в цикле, и посмотреть на сам запрос, который ищет эти партии. И тут я ужаснулся:
ВЫБРАТЬ РАЗЛИЧНЫЕ
СписанныеТовары.Регистратор КАК Регистратор
ПОМЕСТИТЬ ВтСписанныеТовары
ИЗ
РегистрСведений.СписанныеТовары КАК СписанныеТовары
ГДЕ
СписанныеТовары.Номенклатура = &Товар
И СписанныеТовары.ДокументПартии = &Регистратор
ИНДЕКСИРОВАТЬ ПО
Регистратор
;
//////////////////////////////////////////////////////////
ВЫБРАТЬ
СобственныйТовар.Партия КАК Партия,
СУММА(СобственныйТовар.СуммаСписания) КАК СуммаСписания,
СУММА(СобственныйТовар.Количество) КАК Количество,
СобственныйТовар.СчетУчета КАК СчетУчета,
0 КАК СуммаНДСПередачи,
0 КАК КоличествоПередачи,
1 КАК ЧислоСтатусПартии
ИЗ
(
ВЫБРАТЬ
ВЫБОР КОГДА ОборотыДтКт.СчетКт = Значение(ПланСчетов.Типовой.ТоварыПоПриходнымОрдерам)
ТОГДА ОборотыДтКт.СубконтоКт2
ИНАЧЕ NULL КОНЕЦ Как Партия,
ОборотыДтКт.СуммаОборот КАК СуммаСписания,
ОборотыДтКт.КоличествоОборотКт КАК Количество,
ОборотыДтКт.СчетКт КАК СчетУчета
ИЗ
РегистрБухгалтерии.Типовой.ОборотыДтКт(
,
,
Регистратор,
,
,
СчетКт В(&СчетКт),
,
СубконтоКт1 = &Товар) КАК ОборотыДтКт
ГДЕ
ОборотыДтКт.Регистратор = &Регистратор
И ОборотыДтКт.КоличествоОборотКт >= 0
ОБЪЕДИНИТЬ ВСЕ
ВЫБРАТЬ
ОборотыДтКт.СубконтоДт2 КАК Партия,
- ОборотыДтКт.СуммаОборот КАК СуммаСписания,
- ОборотыДтКт.КоличествоОборотДт КАК Количество,
ОборотыДтКт.СчетДт КАК СчетУчета
ИЗ
РегистрБухгалтерии.Типовой.ОборотыДтКт(
,
&Период,
Регистратор,
СчетДт В (&СчетКт)
,
,
,
,
СубконтоДт1 = &Товар) КАК ОборотыДтКт
ВНУТРЕННЕЕ СОЕДИНЕНИЕ ВтСписанныеТовары КАК СписанныеТовары
ПО (СписанныеТовары.Регистратор = ОборотыДтКт.Регистратор)
ГДЕ
ОборотыДтКт.Регистратор <> &ЭтотВозврат
И ОборотыДтКт.СчетДт = ЗНАЧЕНИЕ(ПланСчетов.Типовой.ТоварыПоПриходнымОрдерам)
И ОборотыДтКт.КоличествоОборотДт >= 0
ОБЪЕДИНИТЬ ВСЕ
ВЫБРАТЬ
ТоварыРеализованныеПоОрдерамБУ.Регистратор,
РеализацияТМЗ.Стоимость КАК СуммаСписания,
ТоварыРеализованныеПоОрдерамБУ.Количество,
ТоварыРеализованныеПоОрдерамБУ.СчетУчетаБУ
ИЗ
РегистрНакопления.ТоварыРеализованныеПоОрдерамБУ КАК ТоварыРеализованныеПоОрдерамБУ
ЛЕВОЕ СОЕДИНЕНИЕ РегистрНакопления.РеализацияТМЗ КАК РеализацияТМЗ
ПО ТоварыРеализованныеПоОрдерамБУ.Регистратор = РеализацияТМЗ.Регистратор
И ТоварыРеализованныеПоОрдерамБУ.Номенклатура = РеализацияТМЗ.Номенклатура
ГДЕ
ТоварыРеализованныеПоОрдерамБУ.ВидДвижения = ЗНАЧЕНИЕ(ВидДвиженияНакопления.Расход)
И ТоварыРеализованныеПоОрдерамБУ.ДокументСписания = &Регистратор
И ТоварыРеализованныеПоОрдерамБУ.Период < &Период
И ТоварыРеализованныеПоОрдерамБУ.Количество >= 0
И ТоварыРеализованныеПоОрдерамБУ.Номенклатура = &Товар) КАК СобственныйТовар
СГРУППИРОВАТЬ ПО
СобственныйТовар.Партия,
СобственныйТовар.СчетУчета
ИМЕЮЩИЕ
СУММА(СобственныйТовар.Количество) > 0
ОБЪЕДИНИТЬ ВСЕ
ВЫБРАТЬ
КомиссионныйТовар.Партия,
СУММА(КомиссионныйТовар.СуммаСписания),
СУММА(КомиссионныйТовар.Количество),
КомиссионныйТовар.СчетУчета,
СУММА(КомиссионныйТовар.СуммаНДСПередачи),
СУММА(КомиссионныйТовар.КоличествоПередачи),
2
ИЗ
(ВЫБРАТЬ
ОборотыДтКт.СубконтоКт3 КАК Партия,
ОборотыДтКт.СуммаОборот КАК СуммаСписания,
ОборотыДтКт.КоличествоОборотКт КАК Количество,
ОборотыДтКт.СчетКт КАК СчетУчета,
ТоварыПолученныеБУ.СуммаНДС КАК СуммаНДСПередачи,
ТоварыПолученныеБУ.Количество КАК КоличествоПередачи
ИЗ
РегистрБухгалтерии.Типовой.ОборотыДтКт(
,
,
Регистратор,
,
,
СчетКт = ЗНАЧЕНИЕ(ПланСчетов.Типовой.ТоварыПринятыеНаКомиссию),
&ВидыСубконтоКомиссия,
СубконтоКт1 = &Товар) КАК ОборотыДтКт
ЛЕВОЕ СОЕДИНЕНИЕ РегистрНакопления.ТоварыПолученныеБУ КАК ТоварыПолученныеБУ
ПО ОборотыДтКт.СубконтоКт3 = ТоварыПолученныеБУ.Партия
И ОборотыДтКт.СубконтоКт1 = ТоварыПолученныеБУ.Номенклатура
И ОборотыДтКт.Регистратор = ТоварыПолученныеБУ.Регистратор
ГДЕ
ОборотыДтКт.Регистратор = &Регистратор
И ОборотыДтКт.КоличествоОборотКт >= 0
ОБЪЕДИНИТЬ ВСЕ
ВЫБРАТЬ
ОборотыДтКт.СубконтоДт3,
-ОборотыДтКт.СуммаОборот,
-ОборотыДтКт.КоличествоОборотДт,
ОборотыДтКт.СчетДт,
ТоварыПолученныеБУ.СуммаНДС,
ТоварыПолученныеБУ.Количество
ИЗ
РегистрБухгалтерии.Типовой.ОборотыДтКт(
,
&Период,
Регистратор,
СчетДт = ЗНАЧЕНИЕ(ПланСчетов.Типовой.ТоварыПринятыеНаКомиссию),
&ВидыСубконтоКомиссия,
,
,
СубконтоДт1 = &Товар) КАК ОборотыДтКт
ВНУТРЕННЕЕ СОЕДИНЕНИЕ ВтСписанныеТовары КАК СписанныеТовары
ПО (СписанныеТовары.Регистратор = ОборотыДтКт.Регистратор)
ЛЕВОЕ СОЕДИНЕНИЕ РегистрНакопления.ТоварыПолученныеБУ КАК ТоварыПолученныеБУ
ПО ОборотыДтКт.СубконтоДт3 = ТоварыПолученныеБУ.Партия
И ОборотыДтКт.СубконтоДт1 = ТоварыПолученныеБУ.Номенклатура
И ОборотыДтКт.Регистратор = ТоварыПолученныеБУ.Регистратор
ГДЕ
ОборотыДтКт.Регистратор <> &ЭтотВозврат
И ОборотыДтКт.КоличествоОборотДт >= 0) КАК КомиссионныйТовар
СГРУППИРОВАТЬ ПО
КомиссионныйТовар.Партия,
КомиссионныйТовар.СчетУчета
ИМЕЮЩИЕ
СУММА(КомиссионныйТовар.Количество) > 0
УПОРЯДОЧИТЬ ПО
ЧислоСтатусПартии,
Количество УБЫВ
Здесь использовались подзапросы (с которыми 1С не очень эффективно работает), запросы к виртуальной таблице Обороты регистра бухгалтерии с отбором по регистратору, соединения с регистрами накоплений, группировки. Запросы к виртуальным таблицам регистра бухгалтерии были толком без параметров, то есть факту, получалось так, что выбирались все обороты по товару и счету, и только потом делался отбор по регистратору в секции ГДЕ, что, собственно, было не оптимально. Также запросы учитывали использование ордерной схемы, и реализации товаров принятых на комиссию. У клиента не было ордерной схемы, комиссионного товара тоже, также себестоимость рассчитывалась по средней. Учитывая эти факты, было решено упростить запрос, в итоге получилось так:
ВЫБРАТЬ
NULL КАК Партия,
ОборотыДтКт.СуммаОборот КАК СуммаСписания,
ОборотыДтКт.КоличествоОборотКт КАК Количество,
ОборотыДтКт.СчетКт КАК СчетУчета,
0 КАК СуммаНДСПередачи,
0 КАК КоличествоПередачи,
1 КАК ЧислоСтатусПартии
ИЗ
РегистрБухгалтерии.Типовой.ОборотыДтКт(&Период, &Период, Регистратор, , , СчетКт В (&СчетКт), &МассивВидовСубконто, СубконтоКт1 = &Товар) КАК ОборотыДтКт
ГДЕ
ОборотыДтКт.Регистратор = &Регистратор
И ОборотыДтКт.КоличествоОборотКт >= 0
По факту остался запрос к виртуальной таблице регистра бухгалтерии, но, был добавлен параметр на период регистратора (то есть брались записи с отбором по дате документа реализации, и уже потом происходил отбор по регистратору), и параметр на субконто (особого прироста это не дало, но субконто желательно типизировать).Также была после дальнейшего анализа был оптимизирован запрос в процедуре ПроверитьКоличествоВозвратаПоРеализацииНУ(). Она выполняет контроль возврата по другому регистру бухгалтерии (Налоговый). Там изменений уже было не так много, добавлен параметр на период:
ВЫБРАТЬ
ОборотыДтКт.СуммаОборот КАК Сумма,
ОборотыДтКт.КоличествоОборотКт КАК Количество
ИЗ
РегистрБухгалтерии.Налоговый.ОборотыДтКт(
&Период, //Это было добавлено
&Период, //Это было добавлено
Регистратор,
,
,
СчетКт = &СчетКт,
&ВидыСубконто,
СубконтоКт1 = &Товар
И ВидУчетаКт = &ВидУчета) КАК ОборотыДтКт
ГДЕ
ОборотыДтКт.Регистратор = &Регистратор
И ОборотыДтКт.КоличествоОборотКт >= 0
УПОРЯДОЧИТЬ ПО
Количество УБЫВ
Для чистоты эксперимента созданный документ возврата был удален, и копией был создан новый. Также до этого момента были проведены другие возвраты и документы реализации. Вот сколько заняло времени проведение документа после оптимизации:
Предыдущий запрос, который занимал 90% времени проведения, теперь стал исполняться доли секунды (предпоследняя строка). Общая скорость проведения сократилась практически в 100 раз. Вот таким, нехитрым способом у меня получилось ускорить проведения документа Возврат ТМЗ от покупателя. База была файловая, и возможно, переход на SQL хоть как-то бы помог с этой проблемой, но для клиента это было бы дорого. Также еще можно было избавиться от запроса в цикле, но результат уже был достигнут хороший, и было принято решение остановиться пока что на этом.
Спасибо за внимание.
Вступайте в нашу телеграмм-группу Инфостарт
Вы можете заказать платную адаптацию этой статьи под ваши задачи на «Бирже заказов».
- 0% комиссии — оплата напрямую исполнителю;
- Исполнители любого масштаба — от отдельных специалистов до команд под проект;
- Прямой обмен контактами между заказчиком и исполнителем;
- Безопасная сделка — при необходимости;
- Рейтинги, кейсы и прозрачная система откликов.
См. также
HighLoad оптимизация Разработчик 1С 8.3 1С:ERP Управление предприятием 2 Бесплатно (free)
Использование оператора «В» для полей или данных составного типа (например, Регистратор) может приводить к неочевидным проблемам.
10.11.2025 16065 ivanov660 48
HighLoad оптимизация Разработчик 1С:Предприятие 8 1C:ERP Бесплатно (free)
Приведем примеры использования различных в динамических списках и посмотрим, почему это плохо.
18.02.2025 16615 ivanov660 39
HighLoad оптимизация Системный администратор Разработчик 1C:ERP Бесплатно (free)
Не всегда индексирование с дополнительным упорядочиванием полезно.
04.02.2025 15269 ivanov660 21
HighLoad оптимизация Разработчик Россия Бесплатно (free)
А вы знали, что сервер 1С при соединении с базой на сервере PostgreSQL самостоятельно устанавливает некоторые параметры? Это важно знать при настройке сервера и отладке долгих запросов. Предлагаю разобраться.
27.08.2024 10539 soulner 10
HighLoad оптимизация Технологический журнал Системный администратор Разработчик Бесплатно (free)
Обсудим поиск и разбор причин длительных серверных вызовов CALL, SCALL.
24.06.2024 19290 ivanov660 13
HighLoad оптимизация Разработчик 1С:Предприятие 8 Бесплатно (free)
Метод очень медленно работает, когда параметр приемник содержит намного меньше свойств, чем источник.
06.06.2024 25166 Evg-Lylyk 73
HighLoad оптимизация Механизмы платформы 1С Системный администратор Разработчик Стажер 1С:Предприятие 8 Бесплатно (free)
Сравним «Регистры сведений» с «Сервисами интеграции» и узнаем, кто быстрее!
28.03.2024 14790 dsdred 27
HighLoad оптимизация Разработчик 1С:Предприятие 8 1C:Бухгалтерия Бесплатно (free)
Анализ простого плана запроса. Оптимизация нагрузки на ЦП сервера СУБД используя типовые индексы.
13.03.2024 14748 spyke 29
А если клиент начнёт использовать Ордерную схему?
Ну а вообще можно будет доделать с учетом нее, запросы для ордерной схемы к виртуальным таблицам без параметров все равно выглядели ужасно, чтобы их не оптимизировать, я просто их убрал.
1. можно не удалять функционал, а, например, если это возможно, доппараметрами или "сборным" запросом отключать его. Это как бы надежнее с точки зрения "забыл что мы это удалили". Но если уверены, что пригодится - пусть будет так.
2. не совсем правильно при отборе по регистратору ставить период = Дата документа. В большинстве случаем это годится, но существуют более сложные ситуации, когда движения документа могут быть разбросаны во времени одновременно и до и после даты. Об этом нужно помнить.
3. Если мы используем периодичность регистратор, то таблицы итогов СУБД никогда задействовать не будет. Значит можно смело переделать на запрос к физическим таблицам, чтобы не путать планировщик запросов. ДвиженияССубконто - дефакто это две физтаблицы без лишнего "колдовства". Сделайте запрос к ней. И обратите внимание то, что все параметры идут внутри таблицы. Даже ПЕРВЫЕ, даже РЕГИСТРАТОР.
В нашем распоряжении есть два кластерных индекса (у каждой физтаблицы) Период+Регистратор+***. Поэтому в идеале было бы использовать отбор по (Период=Дата)+Регистратор (Период при возможности задавать не на больше-меньше, а на РАВЕНСТВО - ДвиженияССубконто это позволяет). Но есть также и некластерный Регистратор+***. Поэтому можно для сравнения протестировать и без отбора по дате. Думаю оба варианта уложатся в 0.1 сек.
1. Подстраховаться это конечно хорошо, но все предусмотреть невозможно. Отключение механизма было оговорено заранее, а не просто потому что так захотелось. Работа с учетом комиссионного товара и ордерной схемы заняла бы больше времени, и денег для клиента.
2. В данном случае используется частный случай - период записи никогда не будет отличен от даты документа. Себестоимость списания может быть изменена Закрытием месяца, но записи все равно будут датой документа.
3. Таблицы итогов не используются - согласен (не только из-за периодичности, но и из-за отбора по субконто). Но ДвиженияССубконто тоже виртуальная таблица, как и ОборотыДтКт она будет строиться на таблице движений. Да, в параметрах ОборотыДтКт нельзя сразу поставить отбор на регистратор, но разница по производительности при использовании запроса к ОборотыДтКт и ДвиженияССубконто не будет существенной.
Опять же повторюсь, рассматривался частный случай, а не глобальное решение, и там можно было много еще чего оптимизировать, но данный вариант всех устроил.
ДвиженияССубконто условно можно отнести к виртуальной ). Простейшее соединение - поэтому работает быстро. Можете сами его написать. Тут важно правильно выстроить производительный план запроса. А какие (виртуальные или нет) таблицы будут использоваться - не важно.
Сам запрос |
|---|
ВЫБРАТЬ
NULL КАК Партия,
ТиповойДвиженияССубконто.Сумма КАК СуммаСписания,
ТиповойДвиженияССубконто.КоличествоКт КАК Количество,
ТиповойДвиженияССубконто.СчетКт КАК СчетУчета,
0 КАК СуммаНДСПередачи,
0 КАК КоличествоПередачи,
1 КАК ЧислоСтатусПартии
ИЗ
РегистрБухгалтерии.Типовой.ДвиженияССубконто(
,
,
Регистратор = &Регистратор
И Период = &Период
И СчетКт В (&СчетКТ)
И СубконтоКт1 = &Товар,
,
) КАК ТиповойДвиженияССубконто
ГДЕ
ТиповойДвиженияССубконто.КоличествоКт > 0 Показать |
Как бы разницу можно списать на погрешность, при разных итерациях будут разные результаты в любом случае. Может я конечно что не так делаю. Либо надо тестировать разницу в специально выстроенных условиях, но в данном случае для меня разница несущественна.
Думал речь о топе = 6 сек. Так если речь о сотых долях, то дискуссию можно прекращать. )
О запросах в цикле. В теории это плохо. Но должен быть паритет между увеличением сложности кода и профитом в производительности. Это не олимпиада. Если вы будете выбирать между 0,02 и 0,002 сек, то вы заработались и пора отдыхать.
6 сек - это другой запрос, который вышел в топ после оптимизации. На втором скрине я не выделил ту строку, которую оптимизировал, но написал что она предпоследняя (видимо это ввело в заблуждение).
Запросы в цикле я тоже оставил в покое, так как результат меня устроил вполне.
Так что да, подведем итог, если разница несущественна, то смысла в споре нет.
Можете подсказать в каких "более сложных ситуациях" - "движения документа могут быть разбросаны во времени одновременно и до и после даты"
По мне это бардак )
Ну я на самом деле не совсем упорот ))) возможны ситуации, но пытаюсь таких ситуаций избежать/не допускать - т.к. считаю что это бардак, когда (пример из жизни, УПП) проводят документ Поступления от мая, он двигает остатки чуть чуть январе, чуть чуть в феврале и т.п. - была какая-то безумная логика в этом, и как следствие трэш в учете
Автоматически создавать еще 9 документов с проводками в своих периодах? И в общей транзакции их отменять, перезаполнять, перепроводить??? Ну-ну
Один месяц - это не обязательно "один период". Дискретность учета может быть самая разная. И не всегда типовые знания и методологии ложатся на все бизнес-процессы.
Правильная ли это методика учета - решать владельцу бизнеса. Будете держать в руках 6 зеленых цифр - еще не так раскорячитесь.
Заказчик может много что требовать - но это не значит что это правильно и не принесет в последствие боль и страдания.
Не вижу проблем, документ в котором хранятся ссылки на ваши нужные документы - очень бородатое решение. и крутите этот документ как хотите. И заказчику норм, и вам (или тем кто после вас) проблем меньше
Достаточно производительное решение (в части параллельности, нагрузки оборудования, оптимизации действий пользователей) уже давно работает. Работает очень быстро. И в части архитектуры все прекрасно, логика данных ни сколько не хромает. У меня никаких замечаний к авторам не возникло.
То что не вкладывается в рамки поминания не означает того что так нельзя делать.
Если Вы про автора данной статьи - то у меня к ним вопросов нет.
Красавчик!
К сожалению, несколько раз приходилось чинить после "То что не вкладывается в рамки поминания не означает того что так нельзя делать." - трэш, но по деньгам отлично ))) Возможно автор такого решения гениален - но тогда не уходи с конторы, после твоего ухода начинается ад )
Возможно, где-то это оправдано (поэтому и спросил, интересно). Но по моему опыту, такие реализации приводили к неприятным ситуациям.
Оказалось что собственные движения один документ делал очень по "особенному". Разброс дат был чуть ли не два месяца. Поэтому ни какими остатками на момент документа не отделаешься, приходилось вычитать запросами движения из общих цифр.
Что именно за документ - толком не вспомню. Что-то вроде цепочки сырьевых движений. Есть такие бзики у предприятий. Не вводить 10-30 документов, а только на промежуточных этапах строить цепочки.
Вы можете заказать платную консультацию или разработку у автора. Будет создан приватный заказ на «Бирже заказов» для автора.
№ 695479
Создание 02.11.17 21:25
Обновление 02.11.17 21:25
Просмотры 20187
Загрузки 0
Рейтинг
29
Комментарии 37
Код открыт Да
Рубрики HighLoad оптимизация
Кому Разработчик
Тип файла Нет файла
Платформа 1С:Предприятие 8
Конфигурация 1С:Комплексная автоматизация 1.х
Операционная система Windows
Отрасль Не имеет значения
Налоги Не имеет значения
Вид учета Не имеет значения
Доступ к файлу Бесплатно (free)