Фреймворк для автоматизации тестирования Vanessa Automation существует уже около 10 лет и все это время только набирает популярность. На сегодня он по праву считается отраслевым стандартом де-факто.
Но до сих пор, несмотря на то, что автоматизация тестирования решений на платформе 1С:Предприятие 8 последние годы активно развивается, практически не существует публично доступных способов формального подтверждения знаний в этой области.
Мы в Инфостарт Лаборатории решили заполнить эту нишу в рамках курса «Автоматизация тестирования в 1С» и создали набор вопросов для проведения оценки знаний Vanessa Automation. А потом совместно с Инфостарт Обучением на конференции INFOSTART TECH EVENT 2025 провели тестирование всех желающих.
Как это было
Тестирование проходило в первые два дня конференции в формате, известном по экзаменам «1С:Профессионал»: тест состоял из 14 вопросов, для успешного прохождения нужно было ответить правильно не менее, чем на 12 вопросов, время тестирования ограничивалось тридцатью минутами. Пользоваться подсказками в каком-либо виде было запрещено.
В случае неудачной попытки разрешалась однократная пересдача, но не ранее, чем на следующий день.
Всем, кто сдал успешно, выдавался именной Инфостарт Сертификат:

Вопросы были подготовлены командой Инфостарт Лаборатории и содержал около 150 вопросов, разделенных на 5 разделов, по материалам курса «Автоматизированное тестирование в 1С» и документации Vanessa Automation. Вопросы касались синтаксиса языка TurboGherkin, важных настроек VA и различных практических аспектов использования этого инструмента.
В тест попадали случайные вопросы и варианты ответов перемешивались каждый раз в случайном порядке.
Для тестирования мы разработали собственную небольшую конфигурацию, в которой хранился пул вопросов и была реализована форма тестирования, оформленная в стиле конференции, которая запускалась в режиме «киоск»:

Результаты
Сначала сухие цифры статистики.
В тестировании приняло участие 44 человека, которые вместе предприняли 55 попыток сдачи. 11 человек воспользовались возможностью пересдачи.
Из 44 человек успешно сдали тест и получили сертификат 17 человек, из которых:
-
4 человека ответили правильно на 14 из 14 вопросов
-
5 человек — на 13 из 14
-
8 человек — на 12 из 14
То есть. больше трети участников тестирования получили сертификаты.
Успешно сдавали тест ожидаемо те, кто имел опыт за спиной обширный практический опыт разработки тестов или учился на курсе «Автоматизированное тестирование в 1С».
В целом откровенно спорных или неоднозначных вопросов не было. Те ситуации, которые у участников тестирования вызывали сомнения в корректности постановки или звучали неоднозначно, мы разбирали на месте после тестирования.
При составлении вопросов мы старались избегать искусственных кейсов и тем, которые редко встречаются на практике, и старались акцентировать внимание на практической стороне применения инструмента: знание синтаксиса языка, знания ключевых настроек Vanessa Automation, без понимания которых возникают проблемы в работе, на выработанные популярные практики, которые закреплены в документации Vanessa Automation и разбираются на нашем упомянутом выше курсе.
В ТОП-5 вопросов, в ответах на которые чаще всего встречались ошибки, попали вопросы из областей, по которым действительно регулярно возникают проблемы на практике:
| Вопрос | Сколько раз ответили неправильно | Сколько раз всего был задан вопрос (включая правильные ответы) |
|---|---|---|
| Почему нужно избегать использования имени переменной с символами доллара (например, `"$МояПеременная$"`) при *установке* ее значения, особенно при повторной установке? | 14 | 21 |
| Как интерпретируется падение (исключение) библиотечного шага, используемого в качестве условия в универсальной условной конструкции `Если <шаг-условие> Тогда`? | 14 | 17 |
| В каком порядке должны выполняться шаги при имитации выбора файла в Vanessa Automation? | 12 | 19 |
| В шаг нужно было точно передать строку «ООО "Рога и копыта"» (с двойными кавычками внутри строки). В каком из шагов ниже это сделано с ошибкой? | 11 | 14 |
| На какой операционной системе работают шаги Vanessa Automation, опирающиеся на API UI Automation? | 11 | 17 |
Вопрос про UI Automation сюда попал скорее всего из-за того, что подавляющее большинство тестировщиков под 1С работают преимущественно под ОС Windows, не сильно углубляются в технологические нюансы реализации шагов из библиотеки, а также с тем, что шаги, опирающиеся на эту технологию относительно редко применяются.
Разбор ТОП-5 самых сложных вопросов
Далее я приведу разбор 5 вопросов, которые статистически оказались самыми сложными для участников тестирования. Правильный ответ и объяснение специально скрыты в спойлер, чтобы вы при желании могли бы попробовать ответить на вопрос самостоятельно.
В шаг нужно было точно передать строку «ООО "Рога и копыта"» (с двойными кавычками внутри строки). В каком из шагов ниже это сделано с ошибкой?
Варианты ответов:
-
И я запоминаю строку 'ООО "Рога и копыта"' в переменную "Наименование"
-
И я запоминаю строку "ООО ""Рога и копыта""" в переменную "Наименование""
-
И я запоминаю строку "ООО \"Рога и копыта\"" в переменную "Наименование"
На какой операционной системе работают шаги Vanessa Automation, опирающиеся на API UI Automation?
Варианты ответов:
-
На macOS через виртуализацию Windows.
-
На любой ОС, поддерживающей 1С:Предприятие.
-
На любых серверных ОС.
-
Только на Linux, используя Wine.
-
Только на ОС Windows.
В каком порядке должны выполняться шаги при имитации выбора файла в Vanessa Automation?
Варианты ответов:
-
Выполнять действие, вызывающее диалог, явным образом не нужно, вместо него нужно использовать шаг `Я выбираю файл "ИмяФайла"`
-
Порядок не имеет значения, Vanessa Automation автоматически корректирует его.
-
Сначала действие, вызывающее диалог (например, нажатие на кнопку выбора у поля ввода пути файла), затем шаг, задающий путь к выбираемому файлу (`Я выбираю файл "ИмяФайла"`).
-
Сначала декларация намерения (`Я выбираю файл "ИмяФайла"`), затем действие, вызывающее диалог.
-
Шаг `Я выбираю файл "ИмяФайла"` устарел, нужно использовать шаг, вызывающий диалог выбора файла (например, нажатие на кнопку выбора).
Как интерпретируется падение (исключение) библиотечного шага, используемого в качестве условия в универсальной условной конструкции `Если <шаг-условие> Тогда`?
Варианты ответов:
-
VA игнорирует исключение и выполняет тело условия.
-
Как значение Ложь, сценарий продолжает выполнение, но тело условной конструкции Если не выполняется.
-
Как значение Истина, сценарий продолжает выполнение.
-
Сценарий немедленно падает.
-
Шаг повторяется до успешного выполнения.
Почему нужно избегать использования имени переменной с символами доллара (например, `"$МояПеременная$"`) при *установке* ее значения, особенно при повторной установке?
Варианты ответов:
-
Символы доллара не допускаются в именах переменных.
-
Такое использование приводит к ошибке компиляции.
-
Это может привести к созданию фантомной переменной с неожиданным именем и поведением.
-
Это резервирует переменную для глобального использования.
-
Это синтаксически неверно.
Впечатления и выводы
Субъективно мне наш «пилот» показался успешным — желающих проверить свои знания оказалось больше, чем я ожидал, отклики положительные.
Было много вопросов о том, не будет ли этот тест доступен онлайн. Мы думаем об этом и какую-то часть вопросов скорее всего действительно опубликуем и сделаем доступной.
Проверка знаний таким способом безусловно не является ультимативным подтверждением компетенций, особенно сегодня, при наличии мощных поисковых систем и ИИ. И особенно если тест сдается онлайн.
Но с другой стороны, это полезный инструмент оценки базовых знаний. Мы продолжим расширять набор вопросов теста, постараемся сделать его разнообразнее, добавить больше практических примеров.
Пользу такой формы аттестации я больше вижу в том, что это самый простой, доступный и быстрый способ самодиагностики — поиска пробелов в знаниях, чтобы сориентироваться, в какой области их нужно подтянуть, что изучить.
В формате офлайн-тестирования, как это было в этот раз, с выдачей сертификатов, мы скорее всего продолжим проводить сертификацию на конференциях INFOSTART EVENT — следите за анонсами.
Напишите в комментариях, хотели бы вы пройти такое тестирование по Vanessa Automation? Сохранить ли формат 1С:Профессионала или сделать тест более объемным?
Если вы принимали участие в сертификации в этот раз, поделитесь в комментариях своими впечатлениями. Какие вопросы, если помните, для вас показались наиболее сложными?
Вступайте в нашу телеграмм-группу Инфостарт









