Тестирование: Просмотр результатов тестов в предприятии 1С – Allure Skin

10.05.18

Разработка - Инструментарий разработчика

В данной статье мы расскажем об инструменте, который позволяет просматривать результаты тестирования в удобном и наглядном формате: общий обзор, с историей выполнения, с полной детализацией; в разрезе тестируемого приложения и номера проверки.

Скачать файлы

Наименование Файл Версия Размер
Демо база "Тестирование 3.0"
.zip 6,96Mb
5
.zip 6,96Mb 5 Скачать
Плагин "Allure Skin"
.epf 634,10Kb
3
.epf 2018.02.20 634,10Kb 3 Скачать

В предыдущих статьях мы рассматривали примеры создания юнит тестов, сценарных тестов, а сейчас речь пойдет об инструменте, позволяющем хранить историю, отображать и просматривать результаты тестирования, получать сводную оценку в общем по результатам.

Для решения поставленной задачи мы используем конфигурацию «Тестирование 3.0» и плагин-обработку «Allure Skin»; для загрузки данных в базу используется набор дополнительных обработок – «Загрузка в формате Allure», «Загрузка в формате JUnit» - обо всем этом ниже.

О чем расскажем:

  • Обзор инструмента «Allure Skin».
  • Загрузка результатов тестирования в форматах Junit и Allure.

Центральные понятия:

  • Тестируемый клиент/тестируемое приложение – целевая база на которой выполнялись тесты и проводится проверка.
  • Проверка – признак, группирующий тестовые наборы в рамках выполнения полного цикла тестирования продукта.

Обзор обработки «Allure Skin»:

Обработка отображения состоит из 5-ти вкладок с различным набором информации для получения представления о результатах проведенных проверок. Информация отображается в разрезе тестируемого клиента / базы и номера проверки (проверка объединяет разнесенные во времени проведенные тесты).

«Обзор» - позволяет получить общую информацию по результатам тестирования: краткое описание по результатам всех ошибок/провалов, количестве наборов тестов и тестовых случаев и общую информацию о тестируемом клиенте.

«Дефекты» - быстрый обзор по ошибкам и провалам.

«Детализация» - подробная детализация по результатам всех тестов, тестовых случаев и шагов.

«Графики» - графическое представление по следующей информации: серьезность дефектов, продолжительности выполнения, представлении в процентном соотношении статусов результатов тестов и соотношение качества между текущем и предыдущим результатом.

«История» - показывает во времени изменение качества тестирования с временной шкалой в 5 проверок. История изменения качества, изменение общего времени выполнения тестов и две таблицы с данными по тестам «стабильность выполнения» и «история выполнения».

Загрузка отчетов выполнения тестов:

Загрузка результатов выполнения тестов выполняется с помощью обработок. В текущий момент доступна загрузка отчетов в форматах xml - Allure (не поддерживаются вложения) и Junit. Обе обработки поддерживают запуск с командной строки и работу в интерактивном режиме. Рассмотрим работу в интерактивном режиме.

  1. После интерактивного открытия обработки в базе "тестирования 3.0" необходимо указать путь к файлу результата тестирования (отчету).
  2. Далее необходимо указать последовательно тестируемый клиент и номер текущей проверки (если вы выполняете новый цикл тестирования, тогда дополнительно необходимо создать новый элемент справочника проверки).
  3. И в завершении процедуры нажимаем кнопку «Загрузить по шаблону»; данные будут загружены в базу тестирование 3.0.

Форма загрузки отчета формата allure

Дополнительно:

Тестирование отчеты тестирования сценарное тестирование юнит тестирование

См. также

Infostart Toolkit: Инструменты разработчика 1С 8.3 на управляемых формах

Инструментарий разработчика Роли и права Запросы СКД Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

13000 руб.

02.09.2020    119918    656    389    

701

Infostart PrintWizard

Пакетная печать Печатные формы Инструментарий разработчика Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:Конвертация данных 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

18000 руб.

06.10.2023    7008    20    6    

37

Infostart УДиФ: Управление данными и формами

Инструменты администратора БД Инструментарий разработчика Роли и права Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 руб.

10.11.2023    3246    10    1    

31

SALE! 30%

PowerTools

Инструментарий разработчика Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

3600 2520 руб.

14.01.2013    177341    1070    0    

846

Многопоточность. Универсальный «Менеджер потоков» 2.1

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018    99204    239    97    

296

[ЕХТ] Фреймворк для Расширений 1С

Инструментарий разработчика Платформа 1С v8.3 Управляемые формы Платные (руб)

"Фреймворк для Расширений 1С" это универсальное и многофункциональное решение, упрощающее разработку и поддержку создаваемых Расширений. Поставляется в виде комплекта из нескольких Расширений с открытым исходным кодом. Работает в любых Конфигурациях в режиме Управляемого приложения с режимом совместимости 8.3.12 и выше без необходимости внесения изменений в Конфигурацию.

3000 руб.

27.08.2019    17914    6    8    

38

1С HTML Шаблоны / HTML Templates

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Быстрая и удобная обработка для работы с шаблонами HTML. Позволяет легко и быстро формировать код HTML.

2040 руб.

27.12.2017    27945    3    10    

14

Выполнение произвольного кода или запроса с параметрами через Web-сервис (замена COM-подключений)

Инструментарий разработчика Обмен между базами 1C Платформа 1С v8.3 Платные (руб)

В процессе работы в 1С часто возникает потребность получить данные из другой базы.  Обычно это делается через COM-соединение, и время выполнения запроса при этом оставляет желать лучшего. В данной публикации представлено универсальное решение, позволяющее практически моментально выполнить произвольный код или запрос с параметрами в другой информационной базе через Web-сервис.

2400 руб.

24.09.2019    23490    15    15    

31
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. JohnyDeath 301 10.05.18 08:45 Сейчас в теме
Плюсанул, спасибо.
А почему не сам Allure в каком-нибудь Jenkins использовали, а заморочились на его копию в 1С?
2. ivanov660 4325 10.05.18 09:09 Сейчас в теме
(1) Во-первых, рассматриваемый плагин это "свободная" интепритация по мотивам опенсорсного инструмента от крупной компании и является одной из частей фреймворка "Тестирование 3.0". ( мы также в некоторой форме сотрудничаем с xUnit1C, также полезный инструмент в 1С)
2. Далее, мы ориентировались на поддержку разных форматов при загрузке.
3. Использовать данный вариант человеку не знакомому с "юникс подходом" проще.
4. На мой взгляд очень ресурсоемко и затратно поддерживать у себя зоопарк из инструментов. Это конечно круто, но не жизненно для большинства случаев.
5. У нас стоят довольно интересные и сложные задачи в направлении автоматизации тестирования (а тестирование 1с продуктов сильно отличается от других популярных языков и платформ), поэтому требуется гибкий и управляемый инструмент.
3. JohnyDeath 301 10.05.18 09:29 Сейчас в теме
(2) В целом понятно, спасибо.
Тогда напрашивается еще один вывод: ваша система скоро будет иметь в себе подсистему баг-трекинга? ;)
И исходники наверное тоже у себя будет хранить.

Ведь знаний об одной только ошибке недостаточно. Дальше хочется знать кто и когда это сделал с привязкой к конкретной задаче, кто эту задачу ставил и почему решили сделать именно так...
5. ivanov660 4325 10.05.18 10:41 Сейчас в теме
(3)
1. Систему баг-трекинга интегрировать в конфигурацию не планировали (мы пользуемся jira). Если в базе создать элемент в справочнике тесты, то у вас есть возможность связать его с системой баг трекинга (номер задачи).
2. Исходные коды, также нет необходимости хранить у себя.
3. Вопрос, который вы подняли можно описать следующим образом: Как по результатам автоматической прогонки тестов определить какие выполненные задачки поломали конфигурацию?

Это на самом деле относительно сложный вопрос, но можно дать приближенный ответ следующим образом:
I) К примеру если используется ГИТ и EDT:
a) Каждый тест в базе "Тестирования" должен быть сопоставлен с объектами конфигурации (заполнен регистр сведений "связи тестов и объектов конфигурации")
b) При помещении коммитов вы должны указывать номера задач в комментарии.
c) Получить из ГИТ историю коммитов от последнего успешного прогона.Выделить номера задач и связь с объектами метаданных измененных.
d) Найти связь провалившихся тестов с изменениями из гит, и далее определить список задач из пересечения, в рамках которых могло произойти падение.

Вот такой алгоритм в отличии от других языков, где тесты могут запускаться при каждом коммите и вы сможете сразу понять, что что-то поломали.

II) Можно ввести правило, что разработчик перед коммитом должен запускать набор тестов (хотя-бы юнит - они шустрые) на своей базе разработки, то это значительно снизит количество брака. Т.е. многоуровневый запуск тестов.

Получить точный ответ, на мой взгляд, недостижимая задача в рамках реальных ограничений. Возможно когда уровень ИИ станет более продвинутым для поставленных задач.
6. JohnyDeath 301 10.05.18 12:10 Сейчас в теме
(5) я к тому, что "зоопарк" - это не всегда плохо. Вот ведь почему-то jira используете, которая тоже на linux.
И git свой тоже вряд ли будете придумывать

II) Можно ввести правило, что разработчик перед коммитом должен запускать набор тестов (хотя-бы юнит - они шустрые) на своей базе разработки, то это значительно снизит количество брака. Т.е. многоуровневый запуск тестов.

а можно было бы это отдать на откуп Jenkins, который будет при каждом помещении любого разраба прогонять ваши наборы тестов;
отображать их в Allure;
привязываться к коммиту, которые хранятся в github/gitlab
7. ivanov660 4325 10.05.18 12:50 Сейчас в теме
(6) 1. Чем больше систем тем сложнее их сопровождать и интегрировать, и что логичнее идея по минимизации разумна.
2. Еще раз:
а) Allure поддерживает только свой формат;
б) Нужно уметь настроить два дополнительных фреймворка (мне сходу не удалось поставить и запустить allure и были еще танцы с jenkins).
в) По нашему опыту время выполнение юнит тестов (даже без сценарных) часто не позволяет запускать их на каждый коммит, поэтому данный вопрос отдается на откуп разработчику.
г) Мы хорошо (обычно:) знаем 1С.
д) Нужно другое представление, легко, поправили обработку и получили. Сможете это выполнить для allure?

3. Внедрение тестирования в процесс разработки - это совсем не тривиальная задача, и по определенным причинам мы пошли в текущем направлении. Больше чем уверен, то в 1С можно пересчитать по пальцам правой руки у кого есть автоматизированное тестирование, настроены jenkins, allure и др.
Вопрос использования предлагаемого инструмента, по желанию и необходимости :-)
Kaval88; JohnyDeath; +2 Ответить
14. пользователь 05.06.18 13:53
Сообщение было скрыто модератором.
...
19. пользователь 08.06.18 07:40
Сообщение было скрыто модератором.
...
4. Kaval88 171 10.05.18 10:09 Сейчас в теме
Отлично! Будем пробовать!
8. Makushimo 160 11.05.18 11:09 Сейчас в теме
А где можно почитать про конфигурацию "Тестирование 3.0" ?
9. ivanov660 4325 11.05.18 11:13 Сейчас в теме
(8) Основная документация доступна по адресу Вики по Фреймворку "Тестирование 3.0"
Kaval88; JohnyDeath; +2 Ответить
10. ivanov660 4325 11.05.18 11:20 Сейчас в теме
В ближайшее время мы планируем разместить следующую статья цикла "автоматизация тестирования" по теме "Запуск и настройка заданий выполнения цикла тестирования для платформы 1С". В которой опишем особенности работы с заданиями выполнения тестов и проверок, выполнения циклов тестирования и используемой нами методологии проведения тестирования в рамках платформы 1С.
11. Makushimo 160 11.05.18 11:21 Сейчас в теме
Пока не прочитал документацию, можно пару вопросов:

1. годится ли для обычного приложения? И что можно тестировать в нем?
2. можно ли в обычном приложении тестировать интерфейсы, нажималки кнопок, события элементов формы и т.д.?
12. ivanov660 4325 11.05.18 12:00 Сейчас в теме
(11)Зависит от того какие задачи вы ставите.
1. Если вы хотите создавать юнит-тесты, то можно использовать xUnitFor1C - доступно как для обычного приложения, так и управляемого.

2. Сценарные тесты мы использовали только для управляемых форм (обработка менеджер сценарного теста), хотя в документации написано что "Тестируемое приложение" доступно и на толстом клиенте (видимо при использовании управляемых форм).
В планах, как мы писали ранее, собираемся осуществить поддержку тестирования UI интерфейса десктопных приложений через UIAutomation.

3. Сама конфигурация позволяет хранить и отображать информацию по выполненным тестам с помощью использования обработок/плагинов. Еще может запускать выполнение тестов по средством регламентных заданий.
13. Makushimo 160 11.05.18 14:52 Сейчас в теме
(12) ОК. Спасибо.
Решения для обычного клиента по прежнему нет (((

Я использую vanessa-behavior на обычных формах.
Вроде бы там есть возможность сделать тесты интерфейса обычных форм с помощью SikuliX
но до этого пока не добрался.

Перейти на Управляемое приложение не можем. И точка.
А тестировать надо.

Работа ваша однозначно полезна.
Спасибо.
15. Kaval88 171 06.06.18 10:12 Сейчас в теме
16. ivanov660 4325 06.06.18 11:09 Сейчас в теме
(15)Тест-центр немного другой подход. И мне не очень нравится их инструментарий как сточки зрения пользователя, так и разработчика.
17. Kaval88 171 06.06.18 11:14 Сейчас в теме
(16)Зато можно проверить систему под нагрузкой + готовые сценарии упрощают работу.
18. ivanov660 4325 06.06.18 12:43 Сейчас в теме
(17)Результат проверки под нагрузкой на сколько я помню (смотрел сколько-то времени ago) в основном эмулирует серверные действия.
А у нас хорошее влияние на практике оказывает работа с динамическими списками на больших данных.
20. Светлый ум 406 18.05.21 05:29 Сейчас в теме
21. eufes 23.06.23 20:44 Сейчас в теме
Подскажите, пожалуйста, что-то не понимаю как найти то место в обработке где надо указывать путь.
Открывается сразу форма для просмотра уже существующих результатов.
22. ivanov660 4325 26.06.23 10:21 Сейчас в теме
(21)
1. Для того чтобы загрузить в базу результаты требуется использовать плагин ЗагрузкаЛогаAllureXMLТеста.epf или ЗагрузкаЛогаJUnitXMLТеста.epf.
С помощью этих обработок можно будет выбрать тестируемый клиент и номер проверки. А также путь.
2. Рассматриваемый менеджер AllureSkin нужен для просмотра отчетов.
Оставьте свое сообщение