Ошибка производительности при проведении этапа 2.2 в ERP 2.4 и ERP 2.5

06.12.21

База данных - HighLoad оптимизация

Хочется поделиться одним подводным камнем, с которым могут встретиться другие пользователи ERP. Искал решение в интернете, но ничего похожего не нашел. Поэтому решил создать эту тему.

Некоторое время назад пользователи стали встречаться с ошибками ожидания блокировки при проведении этапов производства. С помощью технологического журнала выяснили, что виновником блокировки является проведение этапа в фоновом задании "Обработка очереди <Задания к обработке этапов производства>". Поскольку проведение объемных этапов делалось в фоне (инициировано проведением документа "Производственная операция"), проблему с производительностью заметили не сразу. На первом скриншоте видно, что время выполнения задания (по сути все время занимает проведение этапа) неприемлемо долгое.

Анализ показал, что время проведения зависит от количества строк в табличных частях документа. Причем увеличивается крайне нелинейно. Виновником является запрос в процедуре "ПроверитьРеквизитыШапки" модуля менеджера Этапа производства2_2. На втором скриншоте показаны 4 замера. При количестве строк в ТЧ "Расход" в 4-5 тысяч строк практически все время занимает выполнение запроса (4-5 часов).

Главным виновником найден пакет запроса "ВТКоличествоСтрокВТЧ" (результаты на третьем скриншоте). Этот пакет формируется отдельной функцией "ТекстЗапросаКоличествоСтрокВТЧДляПроверкиЗаполнения". Она переписана и вынесена в расширение.

В результате проведение этапа в 6000 строк в ТЧ "Расход" выполнялось около 40 секунд (бОльшую часть занимают другие объемные процедуры).

В тексте представлен альтернативный вариант процедуры "ТекстЗапросаКоличествоСтрокВТЧДляПроверкиЗаполнения". Соединения таблиц заменил на объединение.

   

 

Данная проблема присутствует (проверено) в релизах 2.4.13.103; 2.5.6.81; 2.5.6.118; 2.5.6.137; 2.5.6.144; 2.5.6.171.

P.S. Проблема скорее всего актуальна и для других релизов 2.4. Там текст запроса аналогичен.

 
 Текст исходной процедуры

 

ERP производительность этап производство

См. также

HighLoad оптимизация Технологический журнал Системный администратор Программист Бесплатно (free)

Обсудим поиск и разбор причин длительных серверных вызовов CALL, SCALL.

24.06.2024    5803    ivanov660    12    

56

HighLoad оптимизация Программист Платформа 1С v8.3 Бесплатно (free)

Метод очень медленно работает, когда параметр приемник содержит намного меньше свойств, чем источник.

06.06.2024    10168    Evg-Lylyk    61    

45

HighLoad оптимизация Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Анализ простого плана запроса. Оптимизация нагрузки на ЦП сервера СУБД используя типовые индексы.

13.03.2024    5527    spyke    28    

49

HighLoad оптимизация Программист Платформа 1С v8.3 Бесплатно (free)

Оказывается, в типовых конфигурациях 1С есть, что улучшить!

13.03.2024    8155    vasilev2015    20    

42

HighLoad оптимизация Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка для простого и удобного анализа настроек, нагрузки и проблем с SQL сервером с упором на использование оного для 1С. Анализ текущих запросов на sql, ожиданий, конвертация запроса в 1С и рекомендации, где может тормозить.

2 стартмани

15.02.2024    13199    266    ZAOSTG    87    

115

HighLoad оптимизация Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Принимать, хранить и анализировать показания счетчиков (метрики) в базе 1С? Почему бы нет? Но это решение быстро привело к проблемам с производительностью при попытках построить какую-то более-менее сложную аналитику. Переход на PostgresSQL только временно решил проблему, т.к. количество записей уже исчислялось десятками миллионов и что-то сложное вычислить на таких объемах за разумное время становилось все сложнее. Кое-что уже практически невозможно. А что будет с производительностью через пару лет - представить страшно. Надо что-то предпринимать! В этой статье поделюсь своим первым опытом применения СУБД Clickhouse от Яндекс. Как работает, что может, как на нее планирую (если планирую) переходить, сравнение скорости работы, оценка производительности через пару лет, пример работы из 1С. Все это приправлено текстами запросов, кодом, алгоритмами выполненных действий и преподнесено вам для ознакомления в этой статье.

1 стартмани

24.01.2024    6257    glassman    20    

42

HighLoad оптимизация Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Встал вопрос: как быстро удалить строки из ТЗ? Рассмотрел пять вариантов реализации этой задачи. Сравнил их друг с другом на разных объёмах данных с разным процентом удаляемых строк. Также сравнил с выгрузкой с отбором по структуре.

09.01.2024    16467    doom2good    49    

71
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. tl_pj 07.12.21 18:56 Сейчас в теме
А можете добавить текст процедуры до изменений?
Для тех у кого нет под рукой ЕРП, но все равно интересно
2. Rokky78 42 08.12.21 08:56 Сейчас в теме
(1) Добавил в конец статьи.
3. DyGer 08.12.21 10:09 Сейчас в теме
ERP 2.5.7.226 функция не поменяла код. Так что кочует данный код из релиза в релиз.
4. roman72 394 10.12.21 14:11 Сейчас в теме
Снижение времени работы функционала с 5 часов до 40 секунд - великолепное решение!

Но в целом что получается.....
40 секунд - это на один этап.
Если в расчёт идут 10 000 этапов, то время их пересчёта даже с оптимизированным кодом составит более 100 часов.
Получается 1С ERP не подходит для предприятий с многопоточным производством (большим количеством этапов).
5. Rokky78 42 13.12.21 12:04 Сейчас в теме
(4)
Тут нужно сказать, что документы такого объема даже для нашего предприятия это было скорее исключение. Насколько мне известно, больше таких заказов не было.
40 секунд - это для этапа с несколькими тысячами строк. БОльшую часть времени занимает выполнение запроса в модуле набора записей РН "СебестоимостьТоваров". До какого то момента этот запрос всегда является "лидером" по времени. При увеличении количества строк в разных ТЧ пальма первенства переходит запросу о котором я написал в статье.
Судя по тому, что я ничего не нашел в интернете, у народа нет документов с таким количеством строк. А значит и запрос в модуле набора записей РН "СебестоимостиТоваров" выполняется порядком быстрее.
6. roman72 394 13.12.21 15:40 Сейчас в теме
(5) Тогда можно сказать что этому проекту "повезло".
Но тем не менее, согласитесь, сомнения в производительности ERP на крупных производствах есть.
Впрочем, это давно уже известно, и даже к 1С ERP добавляют продукты от иностранных вендоров, которые занимаются расчетом производственной программы.
Да и у этих систем начинаются проблемы при приближении к порогу 10 000 этапов/заказов.
Оставьте свое сообщение