Анализ результатов юнит-тестирования

28.11.16

Разработка - Инструментарий разработчика

Не так давно попал на ситуацию, когда непонятно из-за какого коммита упал тест. Разработал для себя инструмент для выявления тех тестов, которые упали именно после моих правок.

Скачать файлы

Наименование Файл Версия Размер
Отчет по результату пакетного теста xUnit
.erf 17,67Kb
0
.erf 1.1 17,67Kb Скачать

Страница проекта x-Unit на гитхабе: xUnitFor1C - простой и мощный фреймворк для тестирования в 1С

Публикация:  xUnitFor1C - набор инструментов для выполнения тестирования


Сперва необходимо взять два cf: первый это снимок до коммита, второй - соответственно после. Далее нужно прогнать обе конфы через тесты, и сравнить результаты между собой. Исключив повторяющиеся ошибки,  получим именно те тесты, которые упали после коммита. 

Как запустить автоматическое тестирование в пакетном режиме написано здесь: запуск тестов из командной строки и получение файлов результатов

В ролике показаны произвольные данные - для демонстрации функционала На деле тестов было очень много, сравнивать их вручную - неблагодарная задача.

Отчет можно использовать не только для анализа сравнения, но и просто как отчет по xml-результату теста.

Demo1.xml - результат теста cf до коммита
Demo2.xml - результат теста cf после коммита
1) Формирование отчета по результату тестирования Demo1.xml
2) Формирование отчета по результату тестирования Demo2.xml
3) Сравнение Demo1 и Demo2, вывод различий
4) Изменение настроек вывода отчета

См. также

Infostart Toolkit: Инструменты разработчика 1С 8.3 на управляемых формах

Инструментарий разработчика Роли и права Запросы СКД Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Конфигурации 1cv8 Платные (руб)

Набор инструментов программиста и специалиста 1С для всех конфигураций на управляемых формах. В состав входят инструменты: Консоль запросов, Консоль СКД, Консоль кода, Редактор объекта, Анализ прав доступа, Метаданные, Поиск ссылок, Сравнение объектов, Все функции, Подписки на события и др. Редактор запросов и кода с раскраской и контекстной подсказкой. Доработанный конструктор запросов тонкого клиента. Продукт хорошо оптимизирован и обладает самым широким функционалом среди всех инструментов, представленных на рынке.

13000 руб.

02.09.2020    119908    656    389    

701

Infostart PrintWizard

Пакетная печать Печатные формы Инструментарий разработчика Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:Конвертация данных 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

18000 руб.

06.10.2023    7007    20    6    

37

Infostart УДиФ: Управление данными и формами

Инструменты администратора БД Инструментарий разработчика Роли и права Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

10000 руб.

10.11.2023    3243    10    1    

31

SALE! 30%

PowerTools

Инструментарий разработчика Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

3600 2520 руб.

14.01.2013    177340    1070    0    

846

Многопоточность. Универсальный «Менеджер потоков» 2.1

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018    99202    239    97    

296

[ЕХТ] Фреймворк для Расширений 1С

Инструментарий разработчика Платформа 1С v8.3 Управляемые формы Платные (руб)

"Фреймворк для Расширений 1С" это универсальное и многофункциональное решение, упрощающее разработку и поддержку создаваемых Расширений. Поставляется в виде комплекта из нескольких Расширений с открытым исходным кодом. Работает в любых Конфигурациях в режиме Управляемого приложения с режимом совместимости 8.3.12 и выше без необходимости внесения изменений в Конфигурацию.

3000 руб.

27.08.2019    17909    6    8    

38

1С HTML Шаблоны / HTML Templates

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Быстрая и удобная обработка для работы с шаблонами HTML. Позволяет легко и быстро формировать код HTML.

2040 руб.

27.12.2017    27945    3    10    

14

Выполнение произвольного кода или запроса с параметрами через Web-сервис (замена COM-подключений)

Инструментарий разработчика Обмен между базами 1C Платформа 1С v8.3 Платные (руб)

В процессе работы в 1С часто возникает потребность получить данные из другой базы.  Обычно это делается через COM-соединение, и время выполнения запроса при этом оставляет желать лучшего. В данной публикации представлено универсальное решение, позволяющее практически моментально выполнить произвольный код или запрос с параметрами в другой информационной базе через Web-сервис.

2400 руб.

24.09.2019    23486    15    15    

31
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. artbear 1447 30.11.16 14:03 Сейчас в теме
Интересно.
А вот если реализовать прогон тестов на билд-сервере (реализовав CI), тогда возможно различия анализировать для любого коммита в автоматическом режиме.
Например, на билд-сервере всегда можно увидеть, когда (на каком коммите) начал падать любой тест, какая ошибка тестирования и прочую информацию.

Рекомендую именно этот режим (использование CI и билд-сервера) использовать.

И потери времени меньше будет - не нужно будет дважды запускать прогон тестов.

PS ИМХО из статьи не совсем понятно, какой инструмент используется в качестве инструмента тестирования.
Предлагаю явно указать xUnitFor1C со ссылкой на главную страницу проекта на Гитхабе.
2. unichkin 1559 30.11.16 17:23 Сейчас в теме
"А вот если реализовать прогон тестов на билд-сервере"
- так и работает. Но вот выдало мне около 20 упавших тестов, т.е. выдаются ВСЕ тесты, которые падают после моего коммита. Но не факт что все они - из-за него. Вот отсюда и родился отчет.

"Предлагаю явно указать xUnitFor1C со ссылкой на главную страницу проекта на Гитхабе."
- Укажу, раз Вы не против) Сам не решился, а то пахнет саморекламой за чужой счет.
3. pumbaE 30.11.16 17:57 Сейчас в теме
Ну так в Jenkins как раз и выдается +2 new или же -1 сломаных тестов, по отношению к предыдущей сборки.
4. unichkin 1559 30.11.16 18:15 Сейчас в теме
Не знаю, возможно что-то сглючнуло. Но факт - мне выдался список тестов, которые падали до моего коммита. Я и полез сравнение лепить, чтобы в этом убедиться. Недавно также была ситуация, когда локально все тесты прошли, а сборщик выдавал ошибку. Так что 100% уверенности в нем нет, для мутных случаев держу этот отчет под рукой.
5. artbear 1447 01.12.16 18:40 Сейчас в теме
(4) >мне выдался список тестов, которые падали до моего коммита

ИМХО это вполне возможно, если был более ранний коммит, в результате которого начали падать тесты, и эти падения не исправили :)
Т.е. на билд-сервере нужно смотреть, когда появилось падение данного теста, на каком коммите.

Т.е. дифф падений на билд-сервере все-таки возможен.

ЗЫ кому-нибудь приходят уведомления о комментариях в почту с ИС ??
6. unichkin 1559 01.12.16 20:12 Сейчас в теме
Приходят, только поздно. ~3 часа.
Оставьте свое сообщение