gifts2017

Видеодемонстрация применения Теста-центра для нагрузочного тестирования конфигураций

Опубликовал Алексей Бочков (Aleksey.Bochkov) в раздел Программирование - Практика программирования

Тест-центр – инструмент автоматизации многопользовательских нагрузочных испытаний информационных систем на платформе 1С:Предприятие 8. С его помощью можно моделировать работу предприятия без участия реальных пользователей, что позволяет оценивать применимость, производительность и масштабируемость информационной системы в реальных условиях.
В видео показан пример с внедрением конфигурации Тест-центра в произвольную информационную базу и создание простого сценария нагрузочного теста.

См. также

Подписаться Добавить вознаграждение
Комментарии
1. Игорь Хитров (Новенький_2209) 18.09.12 09:09
Спасибо! Побольше бы такой информации!!!

Надеюсь, Вы, Алексей, в будущем продолжите публикации!
2. Роман Романов (romansun) 18.09.12 23:11
Спасибо за видео. Тест-центр не использовал, но хотел :)

Вообще, было бы здорово, если бы были подобные видео-инструкции по остальным программам пакета КИП - "ЦУП" и "Сценарному тестированию".

Тестирование даже некоторое время поддерживали в актуальном состоянии (в смысле, поддерживали сами тесты и сценарии). Но очень трудозатратно это всё...

ЦУП я поднял раза только с третьего :) Количество первоначальных настроек, галок, ролей, разрешений и пр. поначалу просто обескураживают. Справка понятна далеко не всегда.
3. albochkov (Aleksey.Bochkov) 19.09.12 13:09
(2) по ЦУПу сложно сделать универсальную инструкцию. Очень уж много разных ситуаций, в которых поведение системы различное, поэтому ценность видеоролика будет достаточно низкой. К тому же Вячеслав Гилев уже выкладывал подобную видеоинструкцию здесь.
А "Сценарное тестирование" - утопия. Этот инструмент уже давно не развивается. Год назад фирма 1С обещала реализовать в 8.3 поддержку сценарного тестирования на уровне платформы. Велика вероятность, что на осеннем партнерском семинаре этот функционал продемонстрируют.
4. Игорь Хитров (Новенький_2209) 19.09.12 14:06
(2) romansun,
>>Но очень трудозатратно это всё...

а какую конфигурацию вы пытались тестировать тестами по сценариям? Самописная какая-то? И насколько глубоко покрытие было? Был какой-то супер-пупер один тест, который покрывал всю конфу "от неба и до земли"? Или по подсистемам строили сценарии?
5. Роман Романов (romansun) 19.09.12 15:57
(4)

ох... у нас серьёзно переделанная БП. Ведется классическое такое сопровождение + неспешное кодирование с целью охвата всё новых и новых просторов заказчика. Задействовано постоянно три человека с возможностью подключения еще пары-тройки.

Заказчик периодически хочет некоего идеального рабочего процесса (постановка, аналитика, кодирование, тестирование, внедрение, техническая документация и т.п.). И однажды (как раз года полтора назад) было принято решение попробовать использовать автоматизированное тестирование с использованием "Сценарного тестирования", поскольку более подходящего ничего не нашлось (отдел тестирования со своими программными спецкомплексами тестировочными - не 1С разработка - как-то к нашей идеи потестить одинЭс отнёсся прохладно )) )

Решение принято - все принялись за работу. Сперва заказчику потребовалось несколько подходов, чтобы предоставить нам корректные цифры эталонных тестов - постоянно мы находили ошибки в них. Тестовых цепочек было разработано несколько - по нескольким бизнес-процессам. К примеру, рождение, жизнь и смерть ОСа.

Нашему специалисту потребовалось немало времени, чтобы заскриптовать такие последовательности. Описывать приходилось буквально скриптом. Конфа тестирования сырая, многие моменты приходилось костылями обходить.

Тесты были сделаны и даже запускались )). Вот тут примерно всё и начало заканчиваться. При любом изменении кода, формы нужно перетряхивать тест. По большому счету - это fulltime поддержка. Причем, посколько разработчик на тестах не особо в курсе конфигурации заказчика, а заказчик писал не полноценные тест-кейсы, где подробно по кнопкам описана последовательность действий для тестирования - для тест-разработчика нужно постоянное шефство, постоянное составление подробного тест-кейса, который тест-разработчик уже кодирует в сценарий. Итого, это уже два человека ))

В общем, в итоге трудоёмкость огромна, а профита мало - охватить хотя бы какой-то значимый кусок просто нереально. А без такого охвата смысла тестов нет - ошибки будут не здесь, а в смежных бизнес-процессах.

Возможно, всю эту тему можно запустить с пользой на больших проектах. Хотя там и изменений будет гораздо больше... Хз.. Либо же в фикси-отделах IT. Там выделил человека и он фигачит полгода...

Т.е., да, это утопия. Согласен.

(3)
сценарного тестирования на уровне платформы

интерееесненько... А как это будет выглядеть? Есть примерное представление?
necropunk; tormozit; babys; kuntashov; +4 Ответить 2
6. Роман Романов (romansun) 19.09.12 15:59
добавлю, где-то через полгода загнулась тема со сценарным тестирование у нас...
7. Игорь Хитров (Новенький_2209) 19.09.12 16:22
(5) romansun, ох...спасибо за развернутый ответ. Про план сценарного тестирования, коли спрашиваете могу дополнить ответ коллеги: Сергей Нуралиев в июле сего года сказал, что в 8.3.1 данная функциональность не включена, но в тоже время план ее реализации в 8.3 остается в силе. Что останется в платформе, а что в конфе "Сценарное тестирование", а также нужна ли будет сама конфа - он не уточнил. Другой сотрудник 1С, чуть чуть по-позже, добавил что "сценарное тестирование" будет развиваться, и вся доступная инфа должна появится к грядущему семинару. Так что, если информация и будет - то только на семинаре. про СППР сказали, что к новому году появится актуальный релиз.
kuntashov; +1 Ответить
8. Игорь Хитров (Новенький_2209) 19.09.12 17:19
Кстати, а СППР вы юзаете или нет?
9. albochkov (Aleksey.Bochkov) 19.09.12 18:21
(8) у нас не прижилось. Все-таки, СППР больше нужен для тиражных конфигураций, где разработка идет в спокойном режиме и архитектура детально продумывается изначально. А у нас несколько не такой характер работы...
10. Роман Романов (romansun) 19.09.12 22:12
ну вот +1 к (9), да

я скачивал СППР, ставил, щупал... Но... :)

Тут такое дело - просто на то, чтобы вести учет-порядок в такой системе нужен отдельный человек-админ системы. Это скорее всего будет вдогонку для РП нагрузка или для какого-нить технического РП. Чему они, конечно, будут безмерно щастливы.

Далее, всех участников процесса нужно принудить обязательно(!) вести там свои "блоги". Причем вести подробно, аккуратно и тщательно. Тогда на пульте управления системой будет вырисовываться общая картинка процесса. В противном случае будет фрагментация данных, учет ради учета, и никакого профита.

Далее, я на 100% уверен, что данная конфа сырая. Т.е. это не значит, что сыпется в ошибки, а просто точно много логических косяков, неувязок и неудобств. Всё-таки подобный софт - штука непростая и нужны годы обкатки.

Т.е. скорее всего овчинка выделки не стоит.

У нас в конторе корпоративная JIRA. Мы используем её как баг-трекер, планировщик релизов, средство общения по задачам и т.п. В целом, весьма доволны.
11. Игорь Хитров (Новенький_2209) 21.09.12 10:59
(10) romansun, какой-то замкнутый круг. Ни одна конфа не прижилась.
12. Роман Романов (romansun) 21.09.12 12:33
(11)
да не... Тест-центр в связке с ЦУПом - крутая вещь. Кто разрабатывает нагруженные системы - тем, думаю, прогонять свои базы через эту связку просто необходимо.

Пожалуй, это всё укладывается в общую картину - непосредственно техническая часть 1С весьма продвинута.

А вот то, что должно окружать техническую часть - всякие методики, командная разработка, тестировочная часть, учетные методики - это вот как-то хромает. Тут есть отставание.
13. Игорь Хитров (Новенький_2209) 21.09.12 17:16
(12) romansun,
>> А вот то, что должно окружать техническую часть - всякие методики, командная разработка, тестировочная часть, учетные методики - это вот как-то хромает. Тут есть отставание.

У меня для таких случаев только один ответ.

Пиши код #лять!
14. Роман Романов (romansun) 21.09.12 22:54
(13)

:D опыт valve впечатляет, да.... фиг знает, как им это удаётся
15. Dimon (klel) 23.09.12 13:31
Огромно е спасибо за видео очень помогло :) как раз нужное.
16. Игорь Хитров (Новенький_2209) 28.09.12 19:49
(5) romansun,
интерееесненько... А как это будет выглядеть? Есть примерное представление?


Специально для вас, Роман! Свежачок:

В ознакомительной версии 8.3.2:

добавлен механизм автоматизированного тестирования конфигураций:
    - для тестирования используется программа на встроенном языке, имитирующая интерактивные действия пользователя и проверяющая результаты их выполнения;
    - интерактивные действия пользователя записываются и затем могут быть воспроизведены;
    - поддерживается для толстого клиента, тонкого клиента и веб-клиента;
    - для тестирования реализована объектная модель;

Подробнее - ТУТ
17. Роман Романов (romansun) 28.09.12 23:08
(16) вау!! Спасибо!

Пойду на выходных на семинар.. послушаю что да как..
18. Роман Романов (romansun) 30.09.12 21:17
(0) Алексей, спасибо за хороший доклад на конференции. Было интересно послушать.
19. albochkov (Aleksey.Bochkov) 30.09.12 21:28
20. Игорь Хитров (Новенький_2209) 01.10.12 10:42
Коллеги, просветите - что интересного сказано было на партнерке про новые механизмы тестирования. А то я в этот раз "не доехал" :)
21. Роман Романов (romansun) 01.10.12 10:52
(20)

Алексей вот в своём докладе обмолвился, что успел уже поюзать в ночи... :)

А 1С-ники сказали, что готовят реинкарнацию сценарного тестирования - вторую версию. Бета уже есть. Так вот она как раз на этом всём основана.

В целом, я так понял, впечатления сугубо позитивные.
22. Игорь Хитров (Новенький_2209) 01.10.12 11:58
Оооох...а вообще про политику партии говорили - когда официально откажутся от поддержки платформы 8.2 и БП 2.0? Была ли какая-нибудь инфа на эту тему?
23. Роман Романов (romansun) 01.10.12 15:00
БП2.0 - хз.... что-то про 14 год было... то ли обновления, то ли сама она.... УПП1.3 еще долго

готовят УПП2.0 круто. Возможно, выведут её в отдельную корпоративную ветвь за другие деньги

насчет 8.2 не помню, но, опять же, 8.3 готовят конкретно... По моему, в этом году хотят таки зарелизить её.

Вообще, наиболее заметен тренд в сторону корпоративного сектора, что радует. Т.е. про все эти ЦКТП, центры компетенции прям на каждом углу, на каждой второй секции говорят.
24. Игорь Хитров (Новенький_2209) 01.10.12 16:06
(23) romansun, Вы ранее писали, что

...у нас серьёзно переделанная БП...


По итогам партнерки (или без итогов) Вы будете ее переводить на 3.0 (обновлять, догонять)? Или просто дорисовываете по ходу пьесы УФы?
25. Роман Романов (romansun) 01.10.12 16:57
(24)

не, мы ничо уже с ней в этом плане не будем делать - она потеряла способность к обновлению уже давно. Полностью другой план счетов и вообще тотальный кастом, так сказать.

Насчет УФ - да, есть такие мечты.... Но тут скорее всего уже будет другая программа. Если будет.
26. Игорь Хитров (Новенький_2209) 01.10.12 21:18
(25) romansun, у нас другая ситуация. Бухни обновляются клиентские, все гуд - переехать на 3.0 хоть сегодня. Но очень много НЕ типовых хитро-выкрученных обменов со всякими клиентскими ТИС'ами, Комплексными, Бухнями древними 1.5, и тому прочими зоопарками, которые клиенты не хотят переводить ни на что другое, из-за...как это у вас...тотального кастома! Местами в этих обменах хардкор на прямых T-SQL'льный мега портянищах. И хотелось бы понять, сколько есть у меня времени, что все это адаптировать под 3.0. Думал, может на партнерке скажут точные какие-то сроки. Есть мысли все сделать через Конвертацию, и так в принципе и хотел делать, то если (как я слышал от других) БП 2.0 вроде как с продажи снимается в феврале, то времени уже в обрез. Клиенты, они же, как вы понимаете - сарафан. У Настасьи Петровны будет 3.0, а у ее заклятой подруги, Веры Потаповны - 2.0, хотя и обслуживаются в одной компании :)

Забыл уже когда НГ отмечали в спокойствии, чину, миру и благородстве. Да простит меня автор за сей эпичный оффтоп :)
27. Андрей Бурмистров (Andreynikus) 21.08.13 16:44
Спасибо за видео.
Только не понятно зачем в первом примере нужно создавать 2 разных обработки, когда можно было создать одну и сделать реквизит Документ составного типа.
Некоторые могут подумать что для каждого вида документа надо будет создавать отдельную обработку.
Еще не плохо было бы сказать про аналогию, что обработка это своего рода процедура, а ее реквизиты это параметры.
28. shylep (shylep) 16.12.13 11:03
Спасибо за доклад. Для расширения кругозора - самое то