Тестирование: Просмотр результатов тестов в предприятии 1С – Allure Skin

10.05.18

Разработка - Инструментарий разработчика

В данной статье мы расскажем об инструменте, который позволяет просматривать результаты тестирования в удобном и наглядном формате: общий обзор, с историей выполнения, с полной детализацией; в разрезе тестируемого приложения и номера проверки.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		По подписке [?]	Купить один файл
Демо база "Тестирование 3.0" .zip 6,96Mb 6	6	Скачать (1 SM)	Купить за 1 850 руб.
Плагин "Allure Skin" .epf 634,10Kb ver:2018.02.20 4	4	Скачать (1 SM)	Купить за 1 850 руб.

В предыдущих статьях мы рассматривали примеры создания юнит тестов, сценарных тестов, а сейчас речь пойдет об инструменте, позволяющем хранить историю, отображать и просматривать результаты тестирования, получать сводную оценку в общем по результатам.

Для решения поставленной задачи мы используем конфигурацию «Тестирование 3.0» и плагин-обработку «Allure Skin»; для загрузки данных в базу используется набор дополнительных обработок – «Загрузка в формате Allure», «Загрузка в формате JUnit» - обо всем этом ниже.

О чем расскажем:

Обзор инструмента «Allure Skin».
Загрузка результатов тестирования в форматах Junit и Allure.

Центральные понятия:

Тестируемый клиент/тестируемое приложение – целевая база на которой выполнялись тесты и проводится проверка.
Проверка – признак, группирующий тестовые наборы в рамках выполнения полного цикла тестирования продукта.

Обзор обработки «Allure Skin»:

Обработка отображения состоит из 5-ти вкладок с различным набором информации для получения представления о результатах проведенных проверок. Информация отображается в разрезе тестируемого клиента / базы и номера проверки (проверка объединяет разнесенные во времени проведенные тесты).

«Обзор» - позволяет получить общую информацию по результатам тестирования: краткое описание по результатам всех ошибок/провалов, количестве наборов тестов и тестовых случаев и общую информацию о тестируемом клиенте.

«Дефекты» - быстрый обзор по ошибкам и провалам.

«Детализация» - подробная детализация по результатам всех тестов, тестовых случаев и шагов.

«Графики» - графическое представление по следующей информации: серьезность дефектов, продолжительности выполнения, представлении в процентном соотношении статусов результатов тестов и соотношение качества между текущем и предыдущим результатом.

«История» - показывает во времени изменение качества тестирования с временной шкалой в 5 проверок. История изменения качества, изменение общего времени выполнения тестов и две таблицы с данными по тестам «стабильность выполнения» и «история выполнения».

Загрузка отчетов выполнения тестов:

Загрузка результатов выполнения тестов выполняется с помощью обработок. В текущий момент доступна загрузка отчетов в форматах xml - Allure (не поддерживаются вложения) и Junit. Обе обработки поддерживают запуск с командной строки и работу в интерактивном режиме. Рассмотрим работу в интерактивном режиме.

После интерактивного открытия обработки в базе "тестирования 3.0" необходимо указать путь к файлу результата тестирования (отчету).
Далее необходимо указать последовательно тестируемый клиент и номер текущей проверки (если вы выполняете новый цикл тестирования, тогда дополнительно необходимо создать новый элемент справочника проверки).
И в завершении процедуры нажимаем кнопку «Загрузить по шаблону»; данные будут загружены в базу тестирование 3.0.

Форма загрузки отчета формата allure

Дополнительно:

Проект находится на GIT HUB по адресу: TestingTool-3
В приложении находится конфигурация Тестирование 3.0 demo, в которой вы можете посмотреть работу обсуждаемого инструмента.
Мобильное приложение для просмотра отчетов по результатам тестирования мы рассматривали в статье - Мобильное приложение: особенности разработки на примере «Тестирование: Отчеты»

Тестирование отчеты тестирования сценарное тестирование юнит тестирование

+59 –

См. также

Infostart Toolkit — Инструменты разработчика 1С 8.3

Инструментарий разработчика Роли и права Запросы СКД Программист Руководитель проекта Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Платные (руб)

Инструменты для разработчиков 1С 8.3: Infostart Toolkit. Автоматизация и ускорение разработки на управляемых формах. Легкость работы с 1С.

15500 руб.

02.09.2020 181661 1007 403

960

Database Compression Tool: Инструмент для свертки и сжатия баз данных 1С

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP, УНФ, КА и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку одновременно в несколько потоков. А так же автоматически, без непосредственного участия пользователя. Решение в Реестре отечественного ПО

8400 руб.

20.08.2024 22677 153 82

149

Infostart PrintWizard (конструктор печатных форм)

Пакетная печать Печатные формы Инструментарий разработчика Программист Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

22200 руб.

06.10.2023 19829 51 19

Infostart DataFormWizard: Управление данными и формами 1С 8.3

Инструменты администратора БД Инструментарий разработчика Роли и права Программист Платформа 1С v8.3 1C:Бухгалтерия Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

15000 руб.

10.11.2023 13379 55 33

OneDebugger - инструмент для отладки кода в 1С без использования конфигуратора

Инструментарий разработчика Программист Платформа 1С v8.3 Платные (руб)

Инструмент для написания и отладки кода в режиме «1С:Предприятие». Представляет собой консоль кода с возможностью пошаговой отладки, просмотра значений переменных любых типов, использования процедур и функций, просмотра стека вызовов, вычисления произвольных выражений на встроенном языке в контексте точки останова, синтаксического контроля и остановки по ошибке. В консоли используется удобный редактор кода с подсветкой, контекстной подсказкой, возможностью вызова конструкторов запроса и форматной строки.

9360 руб.

17.05.2024 30014 103 48

147

SALE! %

PowerTools: Инструменты администратора 1С 8.3

Инструментарий разработчика Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Управляемые формы 1C:ERP 1С:УТ 1С:ДО 1С:Бухгалтерия 3.0 1С:ERP. Управление холдингом 1С:Зарплата и Управление Персоналом 3.x 1С:Управление нашей фирмой 3.0 1С:Управление торговлей 11 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

~~4800~~ 3840 руб.

14.01.2013 194545 1161 0

926

Бустер Конвертации данных 3 (Infostart Toolkit)

Инструментарий разработчика Программист 8.3.14 Россия Платные (руб)

Расширение для конфигурации “Конвертация данных 3”. Добавляет подсветку синтаксиса, детальную контекстную подсказку, глобальный поиск по коду.

20000 руб.

07.10.2021 18935 7 32

Конструктор АРМ

Инструментарий разработчика Платформа 1С v8.3 1C:Бухгалтерия 1С:ERP Управление предприятием 2 Платные (руб)

Разработка Конструктор автоматизированных рабочих мест "Конструктор АРМ" реализована в виде расширения и является универсальным инструментом для создания АРМ любой сложности в пользовательском режиме.

3600 руб.

27.12.2024 2106 3 0

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. JohnyDeath 302 10.05.18 08:45 Сейчас в теме

Плюсанул, спасибо.
А почему не сам Allure в каком-нибудь Jenkins использовали, а заморочились на его копию в 1С?

2. ivanov660 4717 10.05.18 09:09 Сейчас в теме

(1) Во-первых, рассматриваемый плагин это "свободная" интепритация по мотивам опенсорсного инструмента от крупной компании и является одной из частей фреймворка "Тестирование 3.0". ( мы также в некоторой форме сотрудничаем с xUnit1C, также полезный инструмент в 1С)
2. Далее, мы ориентировались на поддержку разных форматов при загрузке.
3. Использовать данный вариант человеку не знакомому с "юникс подходом" проще.
4. На мой взгляд очень ресурсоемко и затратно поддерживать у себя зоопарк из инструментов. Это конечно круто, но не жизненно для большинства случаев.
5. У нас стоят довольно интересные и сложные задачи в направлении автоматизации тестирования (а тестирование 1с продуктов сильно отличается от других популярных языков и платформ), поэтому требуется гибкий и управляемый инструмент.

3. JohnyDeath 302 10.05.18 09:29 Сейчас в теме

(2) В целом понятно, спасибо.
Тогда напрашивается еще один вывод: ваша система скоро будет иметь в себе подсистему баг-трекинга? ;)
И исходники наверное тоже у себя будет хранить.

Ведь знаний об одной только ошибке недостаточно. Дальше хочется знать кто и когда это сделал с привязкой к конкретной задаче, кто эту задачу ставил и почему решили сделать именно так...

5. ivanov660 4717 10.05.18 10:41 Сейчас в теме

(3)
1. Систему баг-трекинга интегрировать в конфигурацию не планировали (мы пользуемся jira). Если в базе создать элемент в справочнике тесты, то у вас есть возможность связать его с системой баг трекинга (номер задачи).
2. Исходные коды, также нет необходимости хранить у себя.
3. Вопрос, который вы подняли можно описать следующим образом: Как по результатам автоматической прогонки тестов определить какие выполненные задачки поломали конфигурацию?

Это на самом деле относительно сложный вопрос, но можно дать приближенный ответ следующим образом:
I) К примеру если используется ГИТ и EDT:
a) Каждый тест в базе "Тестирования" должен быть сопоставлен с объектами конфигурации (заполнен регистр сведений "связи тестов и объектов конфигурации")
b) При помещении коммитов вы должны указывать номера задач в комментарии.
c) Получить из ГИТ историю коммитов от последнего успешного прогона.Выделить номера задач и связь с объектами метаданных измененных.
d) Найти связь провалившихся тестов с изменениями из гит, и далее определить список задач из пересечения, в рамках которых могло произойти падение.

Вот такой алгоритм в отличии от других языков, где тесты могут запускаться при каждом коммите и вы сможете сразу понять, что что-то поломали.

II) Можно ввести правило, что разработчик перед коммитом должен запускать набор тестов (хотя-бы юнит - они шустрые) на своей базе разработки, то это значительно снизит количество брака. Т.е. многоуровневый запуск тестов.

Получить точный ответ, на мой взгляд, недостижимая задача в рамках реальных ограничений. Возможно когда уровень ИИ станет более продвинутым для поставленных задач.

6. JohnyDeath 302 10.05.18 12:10 Сейчас в теме

(5) я к тому, что "зоопарк" - это не всегда плохо. Вот ведь почему-то jira используете, которая тоже на linux.
И git свой тоже вряд ли будете придумывать

II) Можно ввести правило, что разработчик перед коммитом должен запускать набор тестов (хотя-бы юнит - они шустрые) на своей базе разработки, то это значительно снизит количество брака. Т.е. многоуровневый запуск тестов.

а можно было бы это отдать на откуп Jenkins, который будет при каждом помещении любого разраба прогонять ваши наборы тестов;
отображать их в Allure;
привязываться к коммиту, которые хранятся в github/gitlab

7. ivanov660 4717 10.05.18 12:50 Сейчас в теме

(6) 1. Чем больше систем тем сложнее их сопровождать и интегрировать, и что логичнее идея по минимизации разумна.
2. Еще раз:
а) Allure поддерживает только свой формат;
б) Нужно уметь настроить два дополнительных фреймворка (мне сходу не удалось поставить и запустить allure и были еще танцы с jenkins).
в) По нашему опыту время выполнение юнит тестов (даже без сценарных) часто не позволяет запускать их на каждый коммит, поэтому данный вопрос отдается на откуп разработчику.
г) Мы хорошо (обычно:) знаем 1С.
д) Нужно другое представление, легко, поправили обработку и получили. Сможете это выполнить для allure?

3. Внедрение тестирования в процесс разработки - это совсем не тривиальная задача, и по определенным причинам мы пошли в текущем направлении. Больше чем уверен, то в 1С можно пересчитать по пальцам правой руки у кого есть автоматизированное тестирование, настроены jenkins, allure и др.
Вопрос использования предлагаемого инструмента, по желанию и необходимости :-)

14. пользователь 05.06.18 13:53

Сообщение было скрыто модератором.

...

19. пользователь 08.06.18 07:40

Сообщение было скрыто модератором.

...

4. Kaval88 177 10.05.18 10:09 Сейчас в теме

Отлично! Будем пробовать!

8. Makushimo 160 11.05.18 11:09 Сейчас в теме

А где можно почитать про конфигурацию "Тестирование 3.0" ?

9. ivanov660 4717 11.05.18 11:13 Сейчас в теме

(8) Основная документация доступна по адресу Вики по Фреймворку "Тестирование 3.0"

10. ivanov660 4717 11.05.18 11:20 Сейчас в теме

В ближайшее время мы планируем разместить следующую статья цикла "автоматизация тестирования" по теме "Запуск и настройка заданий выполнения цикла тестирования для платформы 1С". В которой опишем особенности работы с заданиями выполнения тестов и проверок, выполнения циклов тестирования и используемой нами методологии проведения тестирования в рамках платформы 1С.

11. Makushimo 160 11.05.18 11:21 Сейчас в теме

Пока не прочитал документацию, можно пару вопросов:

1. годится ли для обычного приложения? И что можно тестировать в нем?
2. можно ли в обычном приложении тестировать интерфейсы, нажималки кнопок, события элементов формы и т.д.?

12. ivanov660 4717 11.05.18 12:00 Сейчас в теме

(11)Зависит от того какие задачи вы ставите.
1. Если вы хотите создавать юнит-тесты, то можно использовать xUnitFor1C - доступно как для обычного приложения, так и управляемого.

2. Сценарные тесты мы использовали только для управляемых форм (обработка менеджер сценарного теста), хотя в документации написано что "Тестируемое приложение" доступно и на толстом клиенте (видимо при использовании управляемых форм).
В планах, как мы писали ранее, собираемся осуществить поддержку тестирования UI интерфейса десктопных приложений через UIAutomation.

3. Сама конфигурация позволяет хранить и отображать информацию по выполненным тестам с помощью использования обработок/плагинов. Еще может запускать выполнение тестов по средством регламентных заданий.

13. Makushimo 160 11.05.18 14:52 Сейчас в теме

(12) ОК. Спасибо.
Решения для обычного клиента по прежнему нет (((

Я использую vanessa-behavior на обычных формах.
Вроде бы там есть возможность сделать тесты интерфейса обычных форм с помощью SikuliX
но до этого пока не добрался.

Перейти на Управляемое приложение не можем. И точка.
А тестировать надо.

Работа ваша однозначно полезна.
Спасибо.

15. Kaval88 177 06.06.18 10:12 Сейчас в теме

а вот и сценарии прибыли для ЕРП https://1c.ru/news/info.jsp?id=24500

16. ivanov660 4717 06.06.18 11:09 Сейчас в теме

(15)Тест-центр немного другой подход. И мне не очень нравится их инструментарий как сточки зрения пользователя, так и разработчика.

17. Kaval88 177 06.06.18 11:14 Сейчас в теме

(16)Зато можно проверить систему под нагрузкой + готовые сценарии упрощают работу.

18. ivanov660 4717 06.06.18 12:43 Сейчас в теме

(17)Результат проверки под нагрузкой на сколько я помню (смотрел сколько-то времени ago) в основном эмулирует серверные действия.
А у нас хорошее влияние на практике оказывает работа с динамическими списками на больших данных.

20. Светлый ум 454 18.05.21 05:29 Сейчас в теме

+1
идея, что надо.

21. eufes 23.06.23 20:44 Сейчас в теме

Подскажите, пожалуйста, что-то не понимаю как найти то место в обработке где надо указывать путь.
Открывается сразу форма для просмотра уже существующих результатов.

22. ivanov660 4717 26.06.23 10:21 Сейчас в теме

(21)
1. Для того чтобы загрузить в базу результаты требуется использовать плагин ЗагрузкаЛогаAllureXMLТеста.epf или ЗагрузкаЛогаJUnitXMLТеста.epf.
С помощью этих обработок можно будет выбрать тестируемый клиент и номер проверки. А также путь.
2. Рассматриваемый менеджер AllureSkin нужен для просмотра отчетов.