Анализ результатов юнит-тестирования

28.11.16

Разработка - Инструментарий разработчика

Не так давно попал на ситуацию, когда непонятно из-за какого коммита упал тест. Разработал для себя инструмент для выявления тех тестов, которые упали именно после моих правок.

Скачать файл

ВНИМАНИЕ: Файлы из Базы знаний - это исходный код разработки. Это примеры решения задач, шаблоны, заготовки, "строительные материалы" для учетной системы. Файлы ориентированы на специалистов 1С, которые могут разобраться в коде и оптимизировать программу для запуска в базе данных. Гарантии работоспособности нет. Возврата нет. Технической поддержки нет.

Наименование		По подписке [?]	Купить один файл
Отчет по результату пакетного теста xUnit .erf 17,67Kb ver:1.1 0	0	Скачать (1 SM)	Купить за 1 850 руб.

Страница проекта x-Unit на гитхабе: xUnitFor1C - простой и мощный фреймворк для тестирования в 1С

Публикация: xUnitFor1C - набор инструментов для выполнения тестирования

Сперва необходимо взять два cf: первый это снимок до коммита, второй - соответственно после. Далее нужно прогнать обе конфы через тесты, и сравнить результаты между собой. Исключив повторяющиеся ошибки, получим именно те тесты, которые упали после коммита.

Как запустить автоматическое тестирование в пакетном режиме написано здесь: запуск тестов из командной строки и получение файлов результатов

В ролике показаны произвольные данные - для демонстрации функционала На деле тестов было очень много, сравнивать их вручную - неблагодарная задача.

Отчет можно использовать не только для анализа сравнения, но и просто как отчет по xml-результату теста.

Demo1.xml - результат теста cf до коммита
Demo2.xml - результат теста cf после коммита
1) Формирование отчета по результату тестирования Demo1.xml
2) Формирование отчета по результату тестирования Demo2.xml
3) Сравнение Demo1 и Demo2, вывод различий
4) Изменение настроек вывода отчета

+4 –

См. также

Infostart Toolkit — Инструменты разработчика 1С 8.3

Инструментарий разработчика Роли и права Запросы СКД Программист Руководитель проекта Платформа 1С v8.3 Управляемые формы Запросы Система компоновки данных Платные (руб)

Инструменты для разработчиков 1С 8.3: Infostart Toolkit. Автоматизация и ускорение разработки на управляемых формах. Легкость работы с 1С.

12000 руб.

02.09.2020 170220 940 403

907

Database Compression Tool (DCT) Универсальный инструмент сжатия, свертки и конвертации баз данных 1С

Инструментарий разработчика Чистка данных Свертка базы Инструменты администратора БД Системный администратор Программист Руководитель проекта Платформа 1С v8.3 Россия Платные (руб)

Инструмент представляет собой обработку для проведения свёртки или обрезки баз данных. Работает на ЛЮБЫХ конфигурациях (УТ, БП, ERP и т.д.). Поддерживаются серверные и файловые базы, управляемые и обычные формы. Может выполнять свертку сразу нескольких баз данных и выполнять их автоматически без непосредственного участия пользователя. Решение в Реестре отечественного ПО

8400 руб.

20.08.2024 13209 100 46

104

OneDebugger - инструмент для отладки кода в 1С без использования конфигуратора

Инструментарий разработчика Программист Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Инструмент для написания и отладки кода в режиме «1С:Предприятие». Представляет собой консоль кода с возможностью пошаговой отладки, просмотра значений переменных любых типов, использования процедур и функций, просмотра стека вызовов, вычисления произвольных выражений на встроенном языке в контексте точки останова, синтаксического контроля и остановки по ошибке. В консоли используется удобный редактор кода с подсветкой, контекстной подсказкой, возможностью вызова конструкторов запроса и форматной строки.

9360 руб.

17.05.2024 26820 90 48

134

Infostart PrintWizard (конструктор печатных форм)

Пакетная печать Печатные формы Инструментарий разработчика Программист Платформа 1С v8.3 Запросы 1С:Зарплата и кадры бюджетного учреждения 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 Платные (руб)

Инструмент, позволяющий абсолютно по-новому взглянуть на процесс разработки печатных форм. Благодаря конструктору можно значительно снизить затраты времени на разработку печатных форм, повысить качество и "прозрачность" разработки, а также навести порядок в многообразии корпоративных печатных форм.

22200 руб.

06.10.2023 16967 41 15

SALE! %

PowerTools: Инструменты администратора 1С 8.3

Инструментарий разработчика Инструменты администратора БД Системный администратор Программист Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

~~4800~~ 3840 руб.

14.01.2013 190757 1151 0

918

Infostart DataFormWizard: Управление данными и формами 1С 8.3

Инструменты администратора БД Инструментарий разработчика Роли и права Программист Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Расширение позволяет без изменения кода конфигурации выполнять проверки при вводе данных, скрывать от пользователя недоступные ему данные, выполнять код в обработчиках. Не изменяет данные конфигурации, легко устанавливается практически на любую конфигурацию на управляемых формах.

15000 руб.

10.11.2023 11493 40 27

Конструктор АРМ

Инструментарий разработчика Платформа 1С v8.3 Конфигурации 1cv8 1С:ERP Управление предприятием 2 Платные (руб)

Разработка Конструктор автоматизированных рабочих мест "Конструктор АРМ" реализована в виде расширения и является универсальным инструментом для создания АРМ любой сложности в пользовательском режиме.

3600 руб.

27.12.2024 954 2 0

Многопоточность в 1С. Универсальный «Менеджер потоков» 2.1

Инструментарий разработчика Программист Платформа 1С v8.3 Конфигурации 1cv8 Россия Платные (руб)

Восстановление партий или взаиморасчетов, расчет зарплаты, пакетное формирование документов или отчетов - теперь все это стало доступнее. * Есть желание повысить скорость работы медленных алгоритмов! Но... * Нет времени думать о реализации многопоточности? * о запуске и остановке потоков? * о поддержании потоков в рабочем состоянии? * о передаче данных в потоки и как получить ответ из потока? * об организации последовательности? Тогда ЭТО - то что надо!!!

5000 руб.

07.02.2018 104010 244 100

306

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. artbear 1565 30.11.16 14:03 Сейчас в теме

Интересно.
А вот если реализовать прогон тестов на билд-сервере (реализовав CI), тогда возможно различия анализировать для любого коммита в автоматическом режиме.
Например, на билд-сервере всегда можно увидеть, когда (на каком коммите) начал падать любой тест, какая ошибка тестирования и прочую информацию.

Рекомендую именно этот режим (использование CI и билд-сервера) использовать.

И потери времени меньше будет - не нужно будет дважды запускать прогон тестов.

PS ИМХО из статьи не совсем понятно, какой инструмент используется в качестве инструмента тестирования.
Предлагаю явно указать xUnitFor1C со ссылкой на главную страницу проекта на Гитхабе.

2. unichkin 1584 30.11.16 17:23 Сейчас в теме

"А вот если реализовать прогон тестов на билд-сервере"
- так и работает. Но вот выдало мне около 20 упавших тестов, т.е. выдаются ВСЕ тесты, которые падают после моего коммита. Но не факт что все они - из-за него. Вот отсюда и родился отчет.

"Предлагаю явно указать xUnitFor1C со ссылкой на главную страницу проекта на Гитхабе."
- Укажу, раз Вы не против) Сам не решился, а то пахнет саморекламой за чужой счет.

3. pumbaE 30.11.16 17:57 Сейчас в теме

Ну так в Jenkins как раз и выдается +2 new или же -1 сломаных тестов, по отношению к предыдущей сборки.

4. unichkin 1584 30.11.16 18:15 Сейчас в теме

Не знаю, возможно что-то сглючнуло. Но факт - мне выдался список тестов, которые падали до моего коммита. Я и полез сравнение лепить, чтобы в этом убедиться. Недавно также была ситуация, когда локально все тесты прошли, а сборщик выдавал ошибку. Так что 100% уверенности в нем нет, для мутных случаев держу этот отчет под рукой.

5. artbear 1565 01.12.16 18:40 Сейчас в теме

(4) >мне выдался список тестов, которые падали до моего коммита

ИМХО это вполне возможно, если был более ранний коммит, в результате которого начали падать тесты, и эти падения не исправили :)
Т.е. на билд-сервере нужно смотреть, когда появилось падение данного теста, на каком коммите.

Т.е. дифф падений на билд-сервере все-таки возможен.

ЗЫ кому-нибудь приходят уведомления о комментариях в почту с ИС ??