Средство поиска "узких мест" при проведении документов

31.05.16

База данных - HighLoad оптимизация

Обработка и добавляемые в конфигурацию коды для ведения простой для понимания статистики времени проведения документов. Пригодно для разных конфигураций на платформе 8.2

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование По подписке [?] Купить один файл
Отчет по статистике проведения документов
.epf 18,05Kb
4
4 Скачать (1 SM) Купить за 1 850 руб.

Практически каждому администратору большой базы 1С достаточно крупного предприятия задают вопрос: "почему так медленно проводится?". И здесь важно понять, что, насколько медленно, и при каких обстоятельствах проводится или рассчитывается? Существующие профессиональные системы изучения статистики исполнения запросов сервера БД, как правило, довольно сложны в использовании, интерпретации данных, и погружают в частности, из которых трудно выделить проблемную зону, совсем же без количественного контроля скорости проведения найти узкие места вовсе невозможно, как показывает практика. Данное средство предлагает простой метод оценки скорости проведения, позволяющий крупным планом увидеть проблемные места и также изучить влияние каких-либо настроек, кодов, устройства сети рабочих станций на поведение многопользовательской серверной базы 1С.

Предлагаемое средство устанавливается следующим образом:

1. В любой общий модуль рабочей конфигурации надо добавить следующую процедуру:

Процедура ЗаписатьСобытиеПроведения(Документ, Время1, НачалоПроведения) экспорт
	Перем Зап1, Пользователь1, Компьютер1, ЧСтрок1, флОшибки112;
	

	Пользователь1 = ПараметрыСеанса.ТекущийПользователь.Наименование;
	Компьютер1 = ИмяКомпьютера();
	Тип1 = Строка(ТипЗнч(Документ));
	Если Тип1 = "Реализация товаров и услуг" Тогда
		ЧСтрок1 = Документ.Товары.Количество() + Документ.Услуги.Количество();
	ИначеЕсли Тип1 = "Требование-накладная" Тогда
		ЧСтрок1 = Документ.Материалы.Количество();
	ИначеЕсли Тип1 = "Отчет производства за смену" Тогда
		ЧСтрок1 = Документ.Материалы.Количество() + Документ.Продукция.Количество();
	ИначеЕсли Тип1 = "Отчет о розничных продажах" Тогда
		ЧСтрок1 = Документ.Товары.Количество();
	ИначеЕсли Тип1 = "Перемещение товаров" Тогда
		ЧСтрок1 = Документ.Товары.Количество();
	ИначеЕсли Тип1 = "Начисление зарплаты сотрудникам организаций" Тогда
		ЧСтрок1 = Документ.Начисления.Количество() + Документ.ДополнительныеНачисления.Количество() + Документ.ФизическиеЛица.Количество();
	ИначеЕсли Тип1 = "Табель учета рабочего времени организации" Тогда
		ЧСтрок1 = Документ.ФизическиеЛица.Количество();
	ИначеЕсли Тип1 = "Сдельный наряд на выполненные работы" Тогда
		ЧСтрок1 = Документ.Выработка.Количество() + Документ.Исполнители.Количество();
	ИначеЕсли Тип1 = "Поступление товаров и услуг" Тогда
		ЧСтрок1 = Документ.Товары.Количество() + Документ.Услуги.Количество();
	ИначеЕсли Тип1 = "Отражение зарплаты в регл учете" Тогда
		ЧСтрок1 = Документ.ОтражениеВУчете.Количество() + 
				Документ.ОсновныеНачисления.Количество() +
				Документ.ДополнительныеНачисления.Количество() + 
				Документ.ФизическиеЛица.Количество();
	КонецЕсли;


	ЧСтрок1 = ?(ЧСтрок1=0,1,Чстрок1);
	
	Зап1 = РегистрыСведений.СобытияПроведения.СоздатьМенеджерЗаписи();
	Зап1.ВремяСобытия = Время1;
	Зап1.Документ = Документ;
	Зап1.Пользователь = Пользователь1;
	Зап1.Компьютер = Компьютер1;
	Зап1.Прочитать();
	//Если Не Зап1.Выбран() Тогда
		НачатьТранзакцию();
		Попытка
			Если НачалоПроведения Тогда
    			//Зап1.Период = Время1;
    			//Зап1.Регистратор = Документ;
    			Зап1.ВремяСобытия = Время1;
				Зап1.Документ = Документ;
				Зап1.Пользователь = Пользователь1;
    			Зап1.Компьютер = Компьютер1;
				Зап1.Длительность = -1;
				Зап1.ТипДокумента = Тип1;
				Зап1.ЧислоСтрок = ЧСтрок1;
				//
				Сисинфо = Новый СистемнаяИнформация;
				Зап1.Память = Сисинфо.ОперативнаяПамять;
				Зап1.ВерсияОС = Сисинфо.ВерсияОС;
				Зап1.Процессор = Сисинфо.Процессор;
				//
			Иначе
				Зап1.Длительность = ТекущаяДата() - Зап1.ВремяСобытия;
				Зап1.Среднее = Зап1.Длительность/ЧСтрок1;
			КонецЕсли;
	    	Зап1.Записать();
			флОшибки112 = ложь;
		Исключение
			флОшибки112 = истина;
		КонецПопытки;
		
		Если флОшибки112 Тогда
			ОтменитьТранзакцию();
		Иначе
			ЗафиксироватьТранзакцию();
		КонецЕсли;
	//КонецЕсли;
КонецПроцедуры

2. В методе "обработка проведения" модуля включенного в мониторинг скорости проведения документа, надо включить два вызова этой процедуры, в начале, с параметром "начало проведения" = истина, и в конце, с параметром ложь. Например, как показано здесь:

Процедура ОбработкаПроведения(Отказ, РежимПроведения)
	
//{{MRG[ <-> ]
	Перем Заголовок, СтруктураШапкиДокумента, ТаблицаПоПродукции, ТаблицаПоВозвратнымОтходам, ТаблицаСписанияНаЗатраты, Время1;
//}}MRG[ <-> ]
//{{MRG[ <-> ]
//	Перем Заголовок, СтруктураШапкиДокумента, ТаблицаПоПродукции, ТаблицаПоВозвратнымОтходам, ТаблицаСписанияНаЗатраты;
//}}MRG[ <-> ]
	
	Время1 = ТекущаяДата();
	ОбменДаннымиСТД.ЗаписатьСобытиеПроведения(ЭтотОбъект.Ссылка, Время1, истина);
	
	Если мУдалятьДвижения Тогда
		ОбщегоНазначения.УдалитьДвиженияРегистратора(ЭтотОбъект, Отказ);
	КонецЕсли;
	
	ПодготовитьСтруктуруШапкиДокумента(Заголовок, СтруктураШапкиДокумента,Отказ);
	
	ПроверкаРеквизитов(СтруктураШапкиДокумента, Отказ, Заголовок);
	ПодготовитьПараметрыУчетнойПолитики(Отказ, Заголовок, СтруктураШапкиДокумента);
	
	// проверка совпадения сумм по т.ч. 
	Если ИспользоватьТехнологическиеОперации Тогда
		//Вместо СтруктураШапки.ОтражатьВУправленческомУчете и СтруктураШапкиДокумента.ОтражатьВБухгалтерскомУчете
		//анализируем реквизит шапки - чтобы данные движения формировались независимо от функционала отложенного проведения
		Если ОтражатьВУправленческомУчете Тогда

			Если ТехнологическиеОперации.Итог("Сумма") <> Исполнители.Итог("СуммаКНачислению") Тогда
				ОбщегоНазначения.СообщитьОбОшибке("Не совпадают итоговые суммы к начислению по управленческому учету по табличным частям ""Тех. операции"" и ""Исполнители""!", Отказ, Заголовок);
			КонецЕсли;
			Если ТехнологическиеОперации.Итог("Сумма") <> РаспределениеТехнологическихОпераций.Итог("Сумма") Тогда
				ОбщегоНазначения.СообщитьОбОшибке("Не совпадают итоговые суммы по управленческому учету по табличным частям ""Тех. операции"" и ""Распределение тех.операций""!", , Заголовок);
			КонецЕсли;
		КонецЕсли;
		
		Если ОтражатьВБухгалтерскомУчете Тогда
			Если ТехнологическиеОперации.Итог("СуммаРегл") <> Исполнители.Итог("СуммаКНачислениюРегл") Тогда
				ОбщегоНазначения.СообщитьОбОшибке("Не совпадают итоговые суммы к начислению по регламентированному учету по табличным частям ""Тех. операции"" и ""Исполнители""!", Отказ, Заголовок);
			КонецЕсли;
			Если ТехнологическиеОперации.Итог("СуммаРегл") <> РаспределениеТехнологическихОпераций.Итог("СуммаРегл") Тогда
				ОбщегоНазначения.СообщитьОбОшибке("Не совпадают итоговые суммы по регламентированному учету по табличным частям ""Тех. операции"" и ""Распределение тех.операций""!", , Заголовок);
			КонецЕсли;
		КонецЕсли;
	КонецЕсли;
	
	Если Отказ Тогда
		Возврат;
	КонецЕсли;
	
	ПодготовитьТаблицыДокумента(СтруктураШапкиДокумента, ТаблицаПоПродукции, ТаблицаПоВозвратнымОтходам, ТаблицаСписанияНаЗатраты);
	
	//Проверим заполнение счетов учета.
	//Проверка выполняется только для двух табличных частей: Продукция и ВозвратныеОтходы.
	//Для остальных табличных частей проверка выполняется в процедуре ПроверкаРеквизитов()
	//Продукция.СчетЗатратПолучатель также проверяется в процедуре ПроверкаРеквизитов()
	СчетаУчетаВДокументах.ПроверитьСчетаУчетаТабличнойЧасти("Продукция", 		ТаблицаПоПродукции, СтруктураШапкиДокумента, Отказ, Заголовок);
	СчетаУчетаВДокументах.ПроверитьСчетаУчетаТабличнойЧасти("ВозвратныеОтходы", ТаблицаПоВозвратнымОтходам, СтруктураШапкиДокумента, Отказ, Заголовок);
	
	// Движения по документу
	Если Не Отказ Тогда
		ДвиженияПоРегистрам(РежимПроведения, СтруктураШапкиДокумента, ТаблицаПоПродукции, ТаблицаПоВозвратнымОтходам,
							ТаблицаСписанияНаЗатраты, Отказ, Заголовок);
	КонецЕсли;
	ОбменДаннымиСТД.ЗаписатьСобытиеПроведения(ЭтотОбъект.Ссылка, Время1, ложь);

КонецПроцедуры // ОбработкаПроведения()

3. Далее, в рабочую конфигурацию надо добавить новый регистр сведений "СобытияПроведения", независимый, непериодический, имеющий следующую структуру:

Доп.регистр

Типы данных:

ВремяСобытия - Дата и время

Документ - документ.Ссылка

Пользователь - строка 20

Компьютер - строка 20

Длительность -  число 10

Тип документа -  строка 40

Число строк - число 10

Среднее - число 10.3

Память - число 10

Версия ОС - строка 40

Процессор - строка 60

Регистр следует  индексировать по  измерению "Документ", а также, надо дать все права на регистр встроенной роли "пользователь"

5. На этом, все изменения в конфигурации окончены. Если всё правильно сделано, данные о временах проведения будут накапливаться в регистре. Обобщенные данные в разрезе "пользователь", "документ", "час суток" можно выводить в отчет с помощью прилагаемой внешней обработки:

Обработка статистики проведения

Обработка выводит средние показатели за указанный период, а также подробный отчет по длительности проведений. Можно установить фильтр по типу документа, пользователю и компьютеру клиента.

Отчет "Наложение" представляет собой оценку относительного времени пересечения транзакций проведения (происходящих одномоментно, при заметкой загрузке  сервера 1С).

Также, обработка позволяет удалить уже ненужные записи изученного периода наблюдений. Как правило, времени от недели до месяца достаточно, чтобы выявить узкие места: отдельные типы документов, пользователей, также проблемные часы суток.

Отчеты имеют следующий вид:

По пользователям:

Отчет по пользователям

Отчет по документам:

Отчет по документам

При взгляде на таблицу сразу возникает вопрос: почему проведение строки такого простого документа, как перемещение товаров, требует сравнительно большого времени? В данном примере это легко объяснимо: в нашу конфигурацию встроена самодельная система учета маркированных партий продукции с адресным хранением. Это касается и других движений товара.

Отчет по времени суток и глубине наложения транзакций:

Отчет по времени суток

Подробный отчет:

 Подробный отчет

примечание: пустое значение времени проведения означает незавершенную транзакцию. Это также может быть интересно в плане выяснения причин торможения системы.

примечание: отчет по памяти, ОС и процессору рабочей станции я выкинул, так-как он не слишком информативен. Ожидаемым образом, проведение на слабой рабочей станции идет несколько медленней.

Важно, что в отчеты выводится как время на документ в целом, так и время на проведение одной строки табличной части. Последнее принципиально, так-как время проведения больших документов почти линейно зависит от числа строк табличной части, и оценка общего времени не позволяет сделать интересных выводов, так-как документы по числу строк бывают очень разными, тогда как время проведения на одну строку не должно очень сильно различаться, и в нашем случае составляет от 0.3 до 2 секунд, для разных пользователей и типов документа.

Какой-то резкий выброс говорит об аномалиях в работе серверной базы 1С. Подобная обработка помогла нам найти и устранить некоторые "аномалии" и сократить число жалоб на медленное проведение документов, отделив реальные проблемы со скоростью проведения от просто жалоб пользователя, зависящих сразу от объема документа и психотипа пользователя.

В одном случае помогло изменение в документе "отчёт о розничных продажах"; в некоторых иных случаях - переустановка системы, платформы 1С, также замена "железа" рабочих станций пользователей. Также выявилась недопустимость запуска отдельных видов расчета и групповых обработок в определенные часы дня.

Использование подобной обработки для оценки скорости проведения целесообразно для серверных баз большого объема с большим числом пользователей и большим числом документов за сутки.

И, наконец, последний вопрос: почему я не использовал в качестве источника данных штатный журнал событий, содержащий, в принципе, похожую информацию? Здесь всё просто: хранение журнала организовано в платформе 8.2 не лучшим образом, в виде больших файлов, и анализ их содержимого занимает немало времени и  перегружает очередь диска даже довольно мощного сервера, тогда как запрос к регистру для отчета (при  использовании базы на SQL-сервере) проходит в среднем за две-три секунды. Из этих же соображений, регистр следует индексировать по времени события. Запись в регистр занимает в среднем порядка 0.05 секунды и не оказывает фатального влияния на работу пользователей.

оптимизация проведения администрирование БД статистика проведения документов торможение

См. также

HighLoad оптимизация Программист Платформа 1С v8.3 Бесплатно (free)

Метод очень медленно работает, когда параметр приемник содержит намного меньше свойств, чем источник.

06.06.2024    8506    Evg-Lylyk    61    

43

HighLoad оптимизация Программист Платформа 1С v8.3 Конфигурации 1cv8 Бесплатно (free)

Анализ простого плана запроса. Оптимизация нагрузки на ЦП сервера СУБД используя типовые индексы.

13.03.2024    4795    spyke    28    

49

HighLoad оптимизация Программист Платформа 1С v8.3 Бесплатно (free)

Оказывается, в типовых конфигурациях 1С есть, что улучшить!

13.03.2024    7121    vasilev2015    20    

42

HighLoad оптимизация Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Обработка для простого и удобного анализа настроек, нагрузки и проблем с SQL сервером с упором на использование оного для 1С. Анализ текущих запросов на sql, ожиданий, конвертация запроса в 1С и рекомендации, где может тормозить.

2 стартмани

15.02.2024    11643    223    ZAOSTG    76    

115

HighLoad оптимизация Системный администратор Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Принимать, хранить и анализировать показания счетчиков (метрики) в базе 1С? Почему бы нет? Но это решение быстро привело к проблемам с производительностью при попытках построить какую-то более-менее сложную аналитику. Переход на PostgresSQL только временно решил проблему, т.к. количество записей уже исчислялось десятками миллионов и что-то сложное вычислить на таких объемах за разумное время становилось все сложнее. Кое-что уже практически невозможно. А что будет с производительностью через пару лет - представить страшно. Надо что-то предпринимать! В этой статье поделюсь своим первым опытом применения СУБД Clickhouse от Яндекс. Как работает, что может, как на нее планирую (если планирую) переходить, сравнение скорости работы, оценка производительности через пару лет, пример работы из 1С. Все это приправлено текстами запросов, кодом, алгоритмами выполненных действий и преподнесено вам для ознакомления в этой статье.

1 стартмани

24.01.2024    5162    glassman    17    

40

HighLoad оптимизация Программист Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

Встал вопрос: как быстро удалить строки из ТЗ? Рассмотрел пять вариантов реализации этой задачи. Сравнил их друг с другом на разных объёмах данных с разным процентом удаляемых строк. Также сравнил с выгрузкой с отбором по структуре.

09.01.2024    12010    doom2good    49    

71
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. odineskin2 200 31.05.16 14:17 Сейчас в теме
а чем стандартный функционал не подошел? регистр "замеры времени" работает на УПП 1.3, КА 1.1 и вроде в УТ 10.3 тоже есть
3. ibs10 22 31.05.16 15:11 Сейчас в теме
(1) odineskin2,
Штатный регистр ничем не понравился. Во-первых, у нас есть тетеньки, которые под одним пользователем могут быть на трех машинах, включая серверы реальные и виртуальные, а измерения "компьютер" в регистре нет. Во-вторых, там перечисление "тип операции", содержит не только то, что нас интересует. Я предпочитаю добавить свое, а не ломать штатное.
2. Noxie41 31.05.16 14:26 Сейчас в теме
Зачем придумывать велосипед?! Методика ADPEX Вам в помощь. Есть куча вариантов решения поставленной задачи: начиная типовыми механизмами (Ключевые операции) и заканчивая сервисами Гилева и БСП.

Данное средство предлагает простой метод оценки скорости проведения, позволяющий крупным планом увидеть проблемные места и также изучить влияние каких-либо настроек, кодов, устройства сети рабочих станций на поведение многопользовательской серверной базы 1С.

Простите, но "крупным планом" Вы уведите только некую цифру, которая показывает только время проведения документа. Как Вы учитываете блокировки, взаимоблокировки, загрузку оборудования, утечки памяти, неоптимальные запросы? Тем более этот Ваш код будет только увеличивать время проведения документа.
4. ibs10 22 31.05.16 15:20 Сейчас в теме
(2) Noxie41,
Да как-то связался я с подобным средством одной почтенной фирмы. Потом еле из базы удалил.
Нафига мне подробный анализ запросов, когда в большинстве случаев достаточно понять, с каким пользователем или документом косяк? А переписывать запросы, исполняемые при проведении - это крайняя и не лучшая мера.
Помогает обычно совсем иное - рам-диск для tempdb на сервере, полная переустановка ОС+платформы у пользователя, даже обычный снос ссылки на базу.
А взаимоблокировки нам вовсе не нужны. Как правило, это значит, что сам что-то где-то криво написал.
7. Noxie41 31.05.16 15:55 Сейчас в теме
(4)
Да как-то связался я с подобным средством одной почтенной фирмы. Потом еле из базы удалил.

По одному разу не судят. Мне кажется, Вам просто не повезло с "почтенной фирмой" или проблема была не в поставщике. Сложно судить.
Нафига мне подробный анализ запросов, когда в большинстве случаев достаточно понять, с каким пользователем или документом косяк? А переписывать запросы, исполняемые при проведении - это крайняя и не лучшая мера.

Расскажите, на основании чего Вы делаете вывод о косяках? Ближе к практике, Пупкин и Петров проводят паралельно документ "Требование-накладную" и в обоих он страшно тупит - может это кто-то делает расчет себестоимости, может кто-то делает групповую обработку, может память на сервере закончилась или очередь на винтах или они проводят один и тот же документ :). У вас будет строка в регистре Пупки провел документ Требование-накладная в течении 40 сек. с одной строкой на ПК000001. Это Вам даст много данных для анализа?
А переписывать запросы, исполняемые при проведении - это крайняя и не лучшая мера.

Подождите, тут до переписывания нужно еще анализировать и анализировать.
Помогает обычно совсем иное - рам-диск для tempdb на сервере, полная переустановка ОС+платформы у пользователя, даже обычный снос ссылки на базу.
Тут сразу вспомнилась фраза из одной игры немного переделанная: "Нужно больше памяти", скоростных дисков, серверов и т.д. Может стоит более детальнее углубиться в проблему, понять основы той или иной причины, а не закрывать дыры новым железом или переустановкой платформы. Хотя в определенные моменты Ваши методы могут дать результат.
А взаимоблокировки нам вовсе не нужны. Как правило, это значит, что сам что-то где-то криво написал.

Сколько у Вас пользователей в базе и ее размеры? Неужели Вы никогда не сталкивались с взаимоблокировки в типовых конфигурациях?! Даже если сам накосяч, то как это найти в коде? А если не хочешь накосячить - как Вы тестируете свои разработки?

Как мне кажется, очень некорректно:
Пригодно для разных конфигураций на платформе 8.2

и
Существующие профессиональные системы изучения статистики исполнения запросов сервера БД, как правило, довольно сложны в использовании, интерпретации данных, и погружают в частности, из которых трудно выделить проблемную зону, совсем же без количественного контроля скорости проведения найти узкие места вовсе невозможно, как показывает практика.


Ну и напоследок. Если документов много и проводяться они каждую секунду? Ваш регистр разрастается до неписаных размеров и снова будет нужно диски, память... Верно?
asved.ru; +1 Ответить
8. ibs10 22 31.05.16 16:36 Сейчас в теме
(7) Noxie41,
На последний вопрос могу ответить: регистр разрастается умеренно, на фоне базы 120Г особо не заметно, и в обработке есть кнопка "удалить записи". Примерно раз в месяц удаляю. А вот что касается групповых обработок и расчетов, для этого и нужен отчет по времени.
Иногда вдруг выясняется, что кто-то ночью запустил удаленно, а склад в это время усиленно отгружал. Здесь вовсе не нужен анализ запросов с умным видом, а нужен оперативный источник данных по этому вопросу.
5. 1С_Мастер 61 31.05.16 15:29 Сейчас в теме
Приведенный код заставляет меня грустить. Не надо так
Andrefan; w-divin; myjob1c; artbear; NeviD; wolfsoft; Yashazz; PowerBoy; shalimski; ibs10; Xershi; Noxie41; ardn; CyberCerber; +14 Ответить
10. ibs10 22 31.05.16 16:45 Сейчас в теме
(5) 1С_Мастер,
А вот такой у меня стиль антиодинэсовский! Пищу не как надо, а как проще. Чтобы ежу понятно было.
6. ardn 649 31.05.16 15:54 Сейчас в теме
Интересно, почему Зап1, Пользователь1, Компьютер1, ЧСтрок1, но флОшибки112?
9. ibs10 22 31.05.16 16:37 Сейчас в теме
11. asved.ru 36 01.06.16 09:39 Сейчас в теме
Прекрасный пример, как не надо делать. Пять баллов.
Andrefan; w-divin; Noxie41; artbear; +4 Ответить
Оставьте свое сообщение