gifts2017

Средство поиска "узких мест" при проведении документов

Опубликовал Ширяев Иван (ibs10) в раздел Администрирование - Оптимизация БД (HighLoad)

Обработка и добавляемые в конфигурацию коды для ведения простой для понимания статистики времени проведения документов. Пригодно для разных конфигураций на платформе 8.2

Практически каждому администратору большой базы 1С достаточно крупного предприятия задают вопрос: "почему так медленно проводится?". И здесь важно понять, что, насколько медленно, и при каких обстоятельствах проводится или рассчитывается? Существующие профессиональные системы изучения статистики исполнения запросов сервера БД, как правило, довольно сложны в использовании, интерпретации данных, и погружают в частности, из которых трудно выделить проблемную зону, совсем же без количественного контроля скорости проведения найти узкие места вовсе невозможно, как показывает практика. Данное средство предлагает простой метод оценки скорости проведения, позволяющий крупным планом увидеть проблемные места и также изучить влияние каких-либо настроек, кодов, устройства сети рабочих станций на поведение многопользовательской серверной базы 1С.

Предлагаемое средство устанавливается следующим образом:

1. В любой общий модуль рабочей конфигурации надо добавить следующую процедуру:

Процедура ЗаписатьСобытиеПроведения(Документ, Время1, НачалоПроведения) экспорт
	Перем Зап1, Пользователь1, Компьютер1, ЧСтрок1, флОшибки112;
	

	Пользователь1 = ПараметрыСеанса.ТекущийПользователь.Наименование;
	Компьютер1 = ИмяКомпьютера();
	Тип1 = Строка(ТипЗнч(Документ));
	Если Тип1 = "Реализация товаров и услуг" Тогда
		ЧСтрок1 = Документ.Товары.Количество() + Документ.Услуги.Количество();
	ИначеЕсли Тип1 = "Требование-накладная" Тогда
		ЧСтрок1 = Документ.Материалы.Количество();
	ИначеЕсли Тип1 = "Отчет производства за смену" Тогда
		ЧСтрок1 = Документ.Материалы.Количество() + Документ.Продукция.Количество();
	ИначеЕсли Тип1 = "Отчет о розничных продажах" Тогда
		ЧСтрок1 = Документ.Товары.Количество();
	ИначеЕсли Тип1 = "Перемещение товаров" Тогда
		ЧСтрок1 = Документ.Товары.Количество();
	ИначеЕсли Тип1 = "Начисление зарплаты сотрудникам организаций" Тогда
		ЧСтрок1 = Документ.Начисления.Количество() + Документ.ДополнительныеНачисления.Количество() + Документ.ФизическиеЛица.Количество();
	ИначеЕсли Тип1 = "Табель учета рабочего времени организации" Тогда
		ЧСтрок1 = Документ.ФизическиеЛица.Количество();
	ИначеЕсли Тип1 = "Сдельный наряд на выполненные работы" Тогда
		ЧСтрок1 = Документ.Выработка.Количество() + Документ.Исполнители.Количество();
	ИначеЕсли Тип1 = "Поступление товаров и услуг" Тогда
		ЧСтрок1 = Документ.Товары.Количество() + Документ.Услуги.Количество();
	ИначеЕсли Тип1 = "Отражение зарплаты в регл учете" Тогда
		ЧСтрок1 = Документ.ОтражениеВУчете.Количество() + 
				Документ.ОсновныеНачисления.Количество() +
				Документ.ДополнительныеНачисления.Количество() + 
				Документ.ФизическиеЛица.Количество();
	КонецЕсли;


	ЧСтрок1 = ?(ЧСтрок1=0,1,Чстрок1);
	
	Зап1 = РегистрыСведений.СобытияПроведения.СоздатьМенеджерЗаписи();
	Зап1.ВремяСобытия = Время1;
	Зап1.Документ = Документ;
	Зап1.Пользователь = Пользователь1;
	Зап1.Компьютер = Компьютер1;
	Зап1.Прочитать();
	//Если Не Зап1.Выбран() Тогда
		НачатьТранзакцию();
		Попытка
			Если НачалоПроведения Тогда
    			//Зап1.Период = Время1;
    			//Зап1.Регистратор = Документ;
    			Зап1.ВремяСобытия = Время1;
				Зап1.Документ = Документ;
				Зап1.Пользователь = Пользователь1;
    			Зап1.Компьютер = Компьютер1;
				Зап1.Длительность = -1;
				Зап1.ТипДокумента = Тип1;
				Зап1.ЧислоСтрок = ЧСтрок1;
				//
				Сисинфо = Новый СистемнаяИнформация;
				Зап1.Память = Сисинфо.ОперативнаяПамять;
				Зап1.ВерсияОС = Сисинфо.ВерсияОС;
				Зап1.Процессор = Сисинфо.Процессор;
				//
			Иначе
				Зап1.Длительность = ТекущаяДата() - Зап1.ВремяСобытия;
				Зап1.Среднее = Зап1.Длительность/ЧСтрок1;
			КонецЕсли;
	    	Зап1.Записать();
			флОшибки112 = ложь;
		Исключение
			флОшибки112 = истина;
		КонецПопытки;
		
		Если флОшибки112 Тогда
			ОтменитьТранзакцию();
		Иначе
			ЗафиксироватьТранзакцию();
		КонецЕсли;
	//КонецЕсли;
КонецПроцедуры

2. В методе "обработка проведения" модуля включенного в мониторинг скорости проведения документа, надо включить два вызова этой процедуры, в начале, с параметром "начало проведения" = истина, и в конце, с параметром ложь. Например, как показано здесь:

Процедура ОбработкаПроведения(Отказ, РежимПроведения)
	
//{{MRG[ <-> ]
	Перем Заголовок, СтруктураШапкиДокумента, ТаблицаПоПродукции, ТаблицаПоВозвратнымОтходам, ТаблицаСписанияНаЗатраты, Время1;
//}}MRG[ <-> ]
//{{MRG[ <-> ]
//	Перем Заголовок, СтруктураШапкиДокумента, ТаблицаПоПродукции, ТаблицаПоВозвратнымОтходам, ТаблицаСписанияНаЗатраты;
//}}MRG[ <-> ]
	
	Время1 = ТекущаяДата();
	ОбменДаннымиСТД.ЗаписатьСобытиеПроведения(ЭтотОбъект.Ссылка, Время1, истина);
	
	Если мУдалятьДвижения Тогда
		ОбщегоНазначения.УдалитьДвиженияРегистратора(ЭтотОбъект, Отказ);
	КонецЕсли;
	
	ПодготовитьСтруктуруШапкиДокумента(Заголовок, СтруктураШапкиДокумента,Отказ);
	
	ПроверкаРеквизитов(СтруктураШапкиДокумента, Отказ, Заголовок);
	ПодготовитьПараметрыУчетнойПолитики(Отказ, Заголовок, СтруктураШапкиДокумента);
	
	// проверка совпадения сумм по т.ч. 
	Если ИспользоватьТехнологическиеОперации Тогда
		//Вместо СтруктураШапки.ОтражатьВУправленческомУчете и СтруктураШапкиДокумента.ОтражатьВБухгалтерскомУчете
		//анализируем реквизит шапки - чтобы данные движения формировались независимо от функционала отложенного проведения
		Если ОтражатьВУправленческомУчете Тогда

			Если ТехнологическиеОперации.Итог("Сумма") <> Исполнители.Итог("СуммаКНачислению") Тогда
				ОбщегоНазначения.СообщитьОбОшибке("Не совпадают итоговые суммы к начислению по управленческому учету по табличным частям ""Тех. операции"" и ""Исполнители""!", Отказ, Заголовок);
			КонецЕсли;
			Если ТехнологическиеОперации.Итог("Сумма") <> РаспределениеТехнологическихОпераций.Итог("Сумма") Тогда
				ОбщегоНазначения.СообщитьОбОшибке("Не совпадают итоговые суммы по управленческому учету по табличным частям ""Тех. операции"" и ""Распределение тех.операций""!", , Заголовок);
			КонецЕсли;
		КонецЕсли;
		
		Если ОтражатьВБухгалтерскомУчете Тогда
			Если ТехнологическиеОперации.Итог("СуммаРегл") <> Исполнители.Итог("СуммаКНачислениюРегл") Тогда
				ОбщегоНазначения.СообщитьОбОшибке("Не совпадают итоговые суммы к начислению по регламентированному учету по табличным частям ""Тех. операции"" и ""Исполнители""!", Отказ, Заголовок);
			КонецЕсли;
			Если ТехнологическиеОперации.Итог("СуммаРегл") <> РаспределениеТехнологическихОпераций.Итог("СуммаРегл") Тогда
				ОбщегоНазначения.СообщитьОбОшибке("Не совпадают итоговые суммы по регламентированному учету по табличным частям ""Тех. операции"" и ""Распределение тех.операций""!", , Заголовок);
			КонецЕсли;
		КонецЕсли;
	КонецЕсли;
	
	Если Отказ Тогда
		Возврат;
	КонецЕсли;
	
	ПодготовитьТаблицыДокумента(СтруктураШапкиДокумента, ТаблицаПоПродукции, ТаблицаПоВозвратнымОтходам, ТаблицаСписанияНаЗатраты);
	
	//Проверим заполнение счетов учета.
	//Проверка выполняется только для двух табличных частей: Продукция и ВозвратныеОтходы.
	//Для остальных табличных частей проверка выполняется в процедуре ПроверкаРеквизитов()
	//Продукция.СчетЗатратПолучатель также проверяется в процедуре ПроверкаРеквизитов()
	СчетаУчетаВДокументах.ПроверитьСчетаУчетаТабличнойЧасти("Продукция", 		ТаблицаПоПродукции, СтруктураШапкиДокумента, Отказ, Заголовок);
	СчетаУчетаВДокументах.ПроверитьСчетаУчетаТабличнойЧасти("ВозвратныеОтходы", ТаблицаПоВозвратнымОтходам, СтруктураШапкиДокумента, Отказ, Заголовок);
	
	// Движения по документу
	Если Не Отказ Тогда
		ДвиженияПоРегистрам(РежимПроведения, СтруктураШапкиДокумента, ТаблицаПоПродукции, ТаблицаПоВозвратнымОтходам,
							ТаблицаСписанияНаЗатраты, Отказ, Заголовок);
	КонецЕсли;
	ОбменДаннымиСТД.ЗаписатьСобытиеПроведения(ЭтотОбъект.Ссылка, Время1, ложь);

КонецПроцедуры // ОбработкаПроведения()

3. Далее, в рабочую конфигурацию надо добавить новый регистр сведений "СобытияПроведения", независимый, непериодический, имеющий следующую структуру:

Доп.регистр

Типы данных:

ВремяСобытия - Дата и время

Документ - документ.Ссылка

Пользователь - строка 20

Компьютер - строка 20

Длительность -  число 10

Тип документа -  строка 40

Число строк - число 10

Среднее - число 10.3

Память - число 10

Версия ОС - строка 40

Процессор - строка 60

Регистр следует  индексировать по  измерению "Документ", а также, надо дать все права на регистр встроенной роли "пользователь"

5. На этом, все изменения в конфигурации окончены. Если всё правильно сделано, данные о временах проведения будут накапливаться в регистре. Обобщенные данные в разрезе "пользователь", "документ", "час суток" можно выводить в отчет с помощью прилагаемой внешней обработки:

Обработка статистики проведения

Обработка выводит средние показатели за указанный период, а также подробный отчет по длительности проведений. Можно установить фильтр по типу документа, пользователю и компьютеру клиента.

Отчет "Наложение" представляет собой оценку относительного времени пересечения транзакций проведения (происходящих одномоментно, при заметкой загрузке  сервера 1С).

Также, обработка позволяет удалить уже ненужные записи изученного периода наблюдений. Как правило, времени от недели до месяца достаточно, чтобы выявить узкие места: отдельные типы документов, пользователей, также проблемные часы суток.

Отчеты имеют следующий вид:

По пользователям:

Отчет по пользователям

Отчет по документам:

Отчет по документам

При взгляде на таблицу сразу возникает вопрос: почему проведение строки такого простого документа, как перемещение товаров, требует сравнительно большого времени? В данном примере это легко объяснимо: в нашу конфигурацию встроена самодельная система учета маркированных партий продукции с адресным хранением. Это касается и других движений товара.

Отчет по времени суток и глубине наложения транзакций:

Отчет по времени суток

Подробный отчет:

 Подробный отчет

примечание: пустое значение времени проведения означает незавершенную транзакцию. Это также может быть интересно в плане выяснения причин торможения системы.

примечание: отчет по памяти, ОС и процессору рабочей станции я выкинул, так-как он не слишком информативен. Ожидаемым образом, проведение на слабой рабочей станции идет несколько медленней.

Важно, что в отчеты выводится как время на документ в целом, так и время на проведение одной строки табличной части. Последнее принципиально, так-как время проведения больших документов почти линейно зависит от числа строк табличной части, и оценка общего времени не позволяет сделать интересных выводов, так-как документы по числу строк бывают очень разными, тогда как время проведения на одну строку не должно очень сильно различаться, и в нашем случае составляет от 0.3 до 2 секунд, для разных пользователей и типов документа.

Какой-то резкий выброс говорит об аномалиях в работе серверной базы 1С. Подобная обработка помогла нам найти и устранить некоторые "аномалии" и сократить число жалоб на медленное проведение документов, отделив реальные проблемы со скоростью проведения от просто жалоб пользователя, зависящих сразу от объема документа и психотипа пользователя.

В одном случае помогло изменение в документе "отчёт о розничных продажах"; в некоторых иных случаях - переустановка системы, платформы 1С, также замена "железа" рабочих станций пользователей. Также выявилась недопустимость запуска отдельных видов расчета и групповых обработок в определенные часы дня.

Использование подобной обработки для оценки скорости проведения целесообразно для серверных баз большого объема с большим числом пользователей и большим числом документов за сутки.

И, наконец, последний вопрос: почему я не использовал в качестве источника данных штатный журнал событий, содержащий, в принципе, похожую информацию? Здесь всё просто: хранение журнала организовано в платформе 8.2 не лучшим образом, в виде больших файлов, и анализ их содержимого занимает немало времени и  перегружает очередь диска даже довольно мощного сервера, тогда как запрос к регистру для отчета (при  использовании базы на SQL-сервере) проходит в среднем за две-три секунды. Из этих же соображений, регистр следует индексировать по времени события. Запись в регистр занимает в среднем порядка 0.05 секунды и не оказывает фатального влияния на работу пользователей.

Скачать файлы

Наименование Файл Версия Размер
Отчет по статистике проведения документов 5
.epf 18,05Kb
31.05.16
5
.epf 18,05Kb Скачать

См. также

Подписаться Добавить вознаграждение
Комментарии
1. Иван Одинескин (odineskin2) 31.05.16 14:17
а чем стандартный функционал не подошел? регистр "замеры времени" работает на УПП 1.3, КА 1.1 и вроде в УТ 10.3 тоже есть
2. Дмитрий Пилипчук (Noxie41) 31.05.16 14:26
Зачем придумывать велосипед?! Методика ADPEX Вам в помощь. Есть куча вариантов решения поставленной задачи: начиная типовыми механизмами (Ключевые операции) и заканчивая сервисами Гилева и БСП.

Данное средство предлагает простой метод оценки скорости проведения, позволяющий крупным планом увидеть проблемные места и также изучить влияние каких-либо настроек, кодов, устройства сети рабочих станций на поведение многопользовательской серверной базы 1С.

Простите, но "крупным планом" Вы уведите только некую цифру, которая показывает только время проведения документа. Как Вы учитываете блокировки, взаимоблокировки, загрузку оборудования, утечки памяти, неоптимальные запросы? Тем более этот Ваш код будет только увеличивать время проведения документа.
3. Ширяев Иван (ibs10) 31.05.16 15:11
(1) odineskin2,
Штатный регистр ничем не понравился. Во-первых, у нас есть тетеньки, которые под одним пользователем могут быть на трех машинах, включая серверы реальные и виртуальные, а измерения "компьютер" в регистре нет. Во-вторых, там перечисление "тип операции", содержит не только то, что нас интересует. Я предпочитаю добавить свое, а не ломать штатное.
4. Ширяев Иван (ibs10) 31.05.16 15:20
(2) Noxie41,
Да как-то связался я с подобным средством одной почтенной фирмы. Потом еле из базы удалил.
Нафига мне подробный анализ запросов, когда в большинстве случаев достаточно понять, с каким пользователем или документом косяк? А переписывать запросы, исполняемые при проведении - это крайняя и не лучшая мера.
Помогает обычно совсем иное - рам-диск для tempdb на сервере, полная переустановка ОС+платформы у пользователя, даже обычный снос ссылки на базу.
А взаимоблокировки нам вовсе не нужны. Как правило, это значит, что сам что-то где-то криво написал.
5. Василий Тёркин (1С_Мастер) 31.05.16 15:29
Приведенный код заставляет меня грустить. Не надо так
Andrefan; w-divin; myjob1c; artbear; NeviD; wolfsoft; Yashazz; PowerBoy; shalimski; ibs10; Xershi; Noxie41; ardn; CyberCerber; +14 Ответить 1
6. Юрий Былинкин (ardn) 31.05.16 15:54
Интересно, почему Зап1, Пользователь1, Компьютер1, ЧСтрок1, но флОшибки112?
7. Дмитрий Пилипчук (Noxie41) 31.05.16 15:55
(4) ibs10,
Да как-то связался я с подобным средством одной почтенной фирмы. Потом еле из базы удалил.

По одному разу не судят. Мне кажется, Вам просто не повезло с "почтенной фирмой" или проблема была не в поставщике. Сложно судить.
Нафига мне подробный анализ запросов, когда в большинстве случаев достаточно понять, с каким пользователем или документом косяк? А переписывать запросы, исполняемые при проведении - это крайняя и не лучшая мера.

Расскажите, на основании чего Вы делаете вывод о косяках? Ближе к практике, Пупкин и Петров проводят паралельно документ "Требование-накладную" и в обоих он страшно тупит - может это кто-то делает расчет себестоимости, может кто-то делает групповую обработку, может память на сервере закончилась или очередь на винтах или они проводят один и тот же документ :). У вас будет строка в регистре Пупки провел документ Требование-накладная в течении 40 сек. с одной строкой на ПК000001. Это Вам даст много данных для анализа?
А переписывать запросы, исполняемые при проведении - это крайняя и не лучшая мера.

Подождите, тут до переписывания нужно еще анализировать и анализировать.
Помогает обычно совсем иное - рам-диск для tempdb на сервере, полная переустановка ОС+платформы у пользователя, даже обычный снос ссылки на базу.
Тут сразу вспомнилась фраза из одной игры немного переделанная: "Нужно больше памяти", скоростных дисков, серверов и т.д. Может стоит более детальнее углубиться в проблему, понять основы той или иной причины, а не закрывать дыры новым железом или переустановкой платформы. Хотя в определенные моменты Ваши методы могут дать результат.
А взаимоблокировки нам вовсе не нужны. Как правило, это значит, что сам что-то где-то криво написал.

Сколько у Вас пользователей в базе и ее размеры? Неужели Вы никогда не сталкивались с взаимоблокировки в типовых конфигурациях?! Даже если сам накосяч, то как это найти в коде? А если не хочешь накосячить - как Вы тестируете свои разработки?

Как мне кажется, очень некорректно:
Пригодно для разных конфигураций на платформе 8.2

и
Существующие профессиональные системы изучения статистики исполнения запросов сервера БД, как правило, довольно сложны в использовании, интерпретации данных, и погружают в частности, из которых трудно выделить проблемную зону, совсем же без количественного контроля скорости проведения найти узкие места вовсе невозможно, как показывает практика.


Ну и напоследок. Если документов много и проводяться они каждую секунду? Ваш регистр разрастается до неписаных размеров и снова будет нужно диски, память... Верно?
8. Ширяев Иван (ibs10) 31.05.16 16:36
(7) Noxie41,
На последний вопрос могу ответить: регистр разрастается умеренно, на фоне базы 120Г особо не заметно, и в обработке есть кнопка "удалить записи". Примерно раз в месяц удаляю. А вот что касается групповых обработок и расчетов, для этого и нужен отчет по времени.
Иногда вдруг выясняется, что кто-то ночью запустил удаленно, а склад в это время усиленно отгружал. Здесь вовсе не нужен анализ запросов с умным видом, а нужен оперативный источник данных по этому вопросу.
9. Ширяев Иван (ibs10) 31.05.16 16:37
10. Ширяев Иван (ibs10) 31.05.16 16:45
(5) 1С_Мастер,
А вот такой у меня стиль антиодинэсовский! Пищу не как надо, а как проще. Чтобы ежу понятно было.
11. Антон Стеклов (asved.ru) 01.06.16 09:39
Прекрасный пример, как не надо делать. Пять баллов.
Andrefan; w-divin; Noxie41; artbear; +4 Ответить