OPDEX – еще одна методика интегральной оценки производительности

Администрирование - Оптимизация БД (HighLoad)

Помимо APDEX-а, в мире существует множество других методик интегральной оценки производительности информационных систем. OPDEX – одна из них. Это солидная запатентованная методика. Она лежит в основе линейки программных продуктов «App…Expert» фирмы OPNET Technologies, Inc.
Изложенный материал может быть интересен тем, кто уже хорошо разобрался с APDEX-ом и хотел бы изучить другие методики оценки производительности.

 

Происхождение и состав методики

 

OPNET Technologies, Inc– один из ведущих мировых поставщиков решений для управления приложениями и сетевой производительностью. Капитализация (суммарная стоимость акций) этой фирмы в 2012 году составила 1 млрд. $ ([1]). Конечно, миллиардом долларов сейчас никого не удивишь, но большинство фирм, которые занимаются оценкой производитеьности, - это очень маленькие региональные фирмы. На их фоне OPNET выглядит гигантом.

В 2011 году два сотрудника OPNET – Алан Кохен и Юпинг Динг (Alain J. Cohen, Yiping Ding) – подали заявку на патент "Оценка производительности приложений с операционным индексом". В 2013 году методика была запатентована ([2]). Название OPDEX представляет собой сокращение от Operational Index.

Патент [2] включает в себя примеры использования методики для информационных систем различной архитектуры, последовательность действий при расчете интегральной оценки, формулу расчета операционного индекса, формулу учета весовых коэффициентов для расчета оценки по нескольким приложениям и некоторые другие аспекты.

Сначала рассмотрим элементы методики, которые перекликаются с APDEX-ом.

   

Расчет операционного индекса

 

Как и в случае с APDEX-ом, исходными данными для расчета OPDEX-а являются замеры производительности системы. Здесь их обозначили yi. Также вводится пороговое значение T. В рамках описываемой методики этот порог называется мягким (soft threshold).

Дальше начинаются отличия от APDEX-а. Вводится жесткий порог (hard threshold), который обозначается буквой Z. Жесткий порог не обязательно равен 4*T, как в APDEX-е.

Количество замеров производительности, которые попали в диапазон от 0 до T, обозначили n1, от T до Z n2, больше Z n3. Еще в формуле расчета используется коэффициент C (от 0 до 1) и степень n.

Главное отличие от APDEX-а состоит в учете замеров производительности yi, чьи значения находятся в диапазоне от T до Z. В APDEX-е они берутся с коэффициентом 1/2, а здесь их вклад в формулу определяется графиками:

 

 

 

 

или формулой:

 

 

Формула расчета OPDEX-а:  

 

В окончательном виде:

 

Для сравнения формула APDEX-а в тех же обозначениях:


 

Этапы методики OPDEX

 

Последовательность действий, которые выполняются в рамках этой методики, аналогичны APDEX-у:

1. Выбор значения мягкого порога T.

2. Выбор значения жесткого порога Z.

3. Сбор замеров производительности (времен отклика).

4. Расчет значений OPDEX.

5. Формирование итогового отчета.

Эти этапы на схеме:


Схема использования методики для информационной системы с элементарной архитектурой:

На схеме: APP SERVER - сервер приложений, DB SERVER - сервер базы данных, CLIENT - клиентское приложение, COLLECTOR - программа сбора замеров производительности (времен отклика), MONITORING DATABASE - база данных мониторинга (в ней хранятся замеры производительности), MONITORING SERVER - сервер приложений мониторинга, MONITORING CLIENT - клиентское приложение, осуществляющее мониторинг (в нем можно просматривать замеры производительности и результаты расчета OPDEX), OPdex Score - конечный результат использования методики, значение индекса OPDEX.


Источники

1. Riverbed to Acquire OPNET Technologies, Inc. - http://www.riverbed.com/about/news-articles/press-releases/riverbed-to-acquire-opnet-technologies-inc.html.

2. Assessing application performance with an operational index. - http://www.google.com/patents/US20130036122

См. также

Комментарии
1. Петр Базелюк (pbazeliuk) 1332 10.10.15 23:26 Сейчас в теме
Считаю тема не до конца раскрыта.
В чем преимущества и недостатки?
Какое предназначение коэффициента С и вознесение в степень?
Составляющие формулы в скобках не очень понятно расписаны, складывается впечатление что OPDEX может быть больше единицы.
gubanoff; theshadowco; baton_pk; +3 Ответить 2
2. Uku Bona (ukubona) 7 11.10.15 07:37 Сейчас в теме
(1) pbazeliuk,
Моя цель - проинформировать коллег о существовании этой методики.
Я сознательно воздержался от оценок и слишком подробного описания.
Статья не про преимущества и недостатки, а про то, что OPDEX есть.

А потом преимущества и недостатки по отношению к чему? Только к APDEX-у? Это не интересно.

Сравнительный анализ нескольких (возможно, многих) методик - это тема отдельной статьи.

Еще недавно я не знал ни одной другой методики оценки производительности, кроме APDEX-а. Это не правильно. Борюсь с этой проблемой по мере сил...
3. Milo Stone (milestone108) 11.10.15 11:24 Сейчас в теме
Про OPDEX до сих пор не слышал
Автор молодец откопал
4. Александр Ярошенко (teller) 15.10.15 08:33 Сейчас в теме
(1) pbazeliuk, разработчики патента считают что больше 1 не будет (график)
5. Павел Одинцов (Darklight) 02.11.16 18:18 Сейчас в теме
Очень любопытно. Но всё же достаточно похоже на APDEX. Тем не менее, тема заинтересовала начал искать в интернете какие ещё есть методики... но так ничего и не нашёл. Кто знает, хотя бы названия иных методик оценки производительности - подскажите?
Наверное в мире статистики должны быть другие методики оценки функции достижимости результата, но я со статистикой всегда был не в ладах :(
Оставьте свое сообщение