В предыдущих статьях мы рассматривали примеры создания юнит тестов, сценарных тестов, а сейчас речь пойдет об инструменте, позволяющем хранить историю, отображать и просматривать результаты тестирования, получать сводную оценку в общем по результатам.
Для решения поставленной задачи мы используем конфигурацию «Тестирование 3.0» и плагин-обработку «Allure Skin»; для загрузки данных в базу используется набор дополнительных обработок – «Загрузка в формате Allure», «Загрузка в формате JUnit» - обо всем этом ниже.
О чем расскажем:
- Обзор инструмента «Allure Skin».
- Загрузка результатов тестирования в форматах Junit и Allure.
Центральные понятия:
- Тестируемый клиент/тестируемое приложение – целевая база на которой выполнялись тесты и проводится проверка.
- Проверка – признак, группирующий тестовые наборы в рамках выполнения полного цикла тестирования продукта.
Обзор обработки «Allure Skin»:
Обработка отображения состоит из 5-ти вкладок с различным набором информации для получения представления о результатах проведенных проверок. Информация отображается в разрезе тестируемого клиента / базы и номера проверки (проверка объединяет разнесенные во времени проведенные тесты).
«Обзор» - позволяет получить общую информацию по результатам тестирования: краткое описание по результатам всех ошибок/провалов, количестве наборов тестов и тестовых случаев и общую информацию о тестируемом клиенте.
«Дефекты» - быстрый обзор по ошибкам и провалам.
«Детализация» - подробная детализация по результатам всех тестов, тестовых случаев и шагов.
«Графики» - графическое представление по следующей информации: серьезность дефектов, продолжительности выполнения, представлении в процентном соотношении статусов результатов тестов и соотношение качества между текущем и предыдущим результатом.
«История» - показывает во времени изменение качества тестирования с временной шкалой в 5 проверок. История изменения качества, изменение общего времени выполнения тестов и две таблицы с данными по тестам «стабильность выполнения» и «история выполнения».
Загрузка отчетов выполнения тестов:
Загрузка результатов выполнения тестов выполняется с помощью обработок. В текущий момент доступна загрузка отчетов в форматах xml - Allure (не поддерживаются вложения) и Junit. Обе обработки поддерживают запуск с командной строки и работу в интерактивном режиме. Рассмотрим работу в интерактивном режиме.
- После интерактивного открытия обработки в базе "тестирования 3.0" необходимо указать путь к файлу результата тестирования (отчету).
- Далее необходимо указать последовательно тестируемый клиент и номер текущей проверки (если вы выполняете новый цикл тестирования, тогда дополнительно необходимо создать новый элемент справочника проверки).
- И в завершении процедуры нажимаем кнопку «Загрузить по шаблону»; данные будут загружены в базу тестирование 3.0.
Дополнительно:
- Проект находится на GIT HUB по адресу: TestingTool-3
- В приложении находится конфигурация Тестирование 3.0 demo, в которой вы можете посмотреть работу обсуждаемого инструмента.
- Мобильное приложение для просмотра отчетов по результатам тестирования мы рассматривали в статье - Мобильное приложение: особенности разработки на примере «Тестирование: Отчеты»
Вступайте в нашу телеграмм-группу Инфостарт
