Связывание автоматических тестов с тестовыми случаями
Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019
Visual Studio 2022 | Visual Studio 2019 | Visual Studio 2017 | Visual Studio 2015
Связывание автоматизированных тестов с тест-кейсами может улучшить процесс тестирования, обеспечивая лучшую трассировку и интеграцию с потоком CI/CD. В этой статье описаны сценарии, в которых связывание автоматизированных тестов с тестовых вариантов полезно и как это эффективно сделать.
Необходимые условия
| Категория | Требование |
|---|---|
| доступ к проекту | член проекта. |
| Уровни доступа | — Чтобы просмотреть рабочие элементы, связанные с тестами, или запустить тестовые случаи: как минимум базовый доступ. Пользователи с доступом Участника не имеют доступа к планам тестирования. — Для выполнения полного спектра функций, связанных с тестами: базовый и тестовые планы уровень доступа или одна из следующих подписок: - Предприятие - Тестировщик-профессионал - Платформы MSDN |
| разрешения | — Чтобы добавить или изменить планы тестирования, наборы тестов, тестовые сценарии или другие типы рабочих элементов, основанных на тестах: редактировать рабочие элементы в этом узле разрешение установлено на Разрешить в соответствующей Области. — Чтобы изменить свойства плана тестирования, такие как параметры сборки и тестирования: установите Управление планами тестирования разрешение на Разрешить в соответствующем пути области. — Чтобы создавать и удалять наборы тестов, добавлять и удалять тестовые варианты из наборов тестов или изменять конфигурации тестов, связанные с наборами тестов: Управление наборами тестов разрешения установлены на Разрешить в соответствующем путь области. — Разрешения на уровне проекта, которые вам могут понадобиться: — Чтобы просмотреть, создать или удалить тестовые запуски: Просмотр тестовых запусков, Создание тестовых запускови Удаление тестовых запусков с разрешением Разрешить. — Управление конфигурациями тестов или средами тестирования: Управление конфигурациями тестов и Управление средами тестирования. — Чтобы добавить новые теги в тестовые рабочие элементы: создание определения тегов должно быть включено в настройках разрешений. — Чтобы переместить тестовые рабочие элементы из проекта: переместите рабочие элементы из этого проекта, установив разрешение в Разрешить. — Для удаления или восстановления тестовых рабочих элементов: Удалить и восстановить рабочие элементы набор разрешений Разрешить. — Для окончательного удаления рабочих элементов, основанных на тестах: окончательное удаление рабочих элементов, установив разрешение на Разрешить. |
Дополнительные сведения см. в разделе Ручной тестовый доступ и разрешения.
Создание тестового проекта и конвейера сборки
Выполните следующие действия, чтобы создать тестовый проект и конвейер сборки.
- Создайте тестовый проект, содержащий автоматический тест. Дополнительные сведения см. в какие типы тестов поддерживаются.
- Проверьте тестовый проект в Azure DevOps.
- Создайте конвейер сборки для проекта и убедитесь, что он содержит автоматизированный тест. Дополнительные сведения см. в статье о том, в чем различия, если вы все еще используете сборки XAML.
Свяжите ваш автоматизированный тест в Visual Studio
Рекомендуется использовать Visual Studio для связывания автоматизированных тестов с тестовый случай в следующих сценариях:
Автоматизация ручных тестовых случаев: Если вы создали ручной тестовый случай, который позже решите считать хорошим кандидатом для автоматизации, но при этом по-прежнему хотите запускать его как часть тестового плана. Эти тесты можно выполнить в конвейере CI/CD, выбрав план тестирования или набор тестов в настройках задания Visual Studio Test. Вы также можете выполнять автоматизированные тесты на веб-портале планов тестирования. Если вы используете сборки XAML, вы можете запустить эти автоматизированные тесты с помощью Microsoft Test Manager.
Включение сквозной трассировки: Если тестовые случаи связаны с требованиями или пользовательскими историями, можно использовать результаты выполнения теста для установления качества этих требований.
Выполните следующие действия, чтобы связать автоматизированный тест с тестовый случай в Visual Studio.
Откройте решение в Visual Studio Enterprise или Professional 2017 или более поздней версии.
Если вы не знаете идентификатор рабочего элемента для тестового случая, найдите тестовый случай в планах тестирования Azure или запросите рабочий элемент в центре работы .
Когда вы знаете идентификатор рабочего элемента для тестового случая:
Если вы используете Visual Studio 2017 или более поздней версии, выполните следующие действия, чтобы связать тесты.
- Если окно Test Explorer не отображается, откройте его из меню Test | Windows.
- Если тесты не отображаются в обозревателе тестов, создайте решение.
- В Тест-обозревателе выберите метод теста, который требуется связать, и выберите "Связать с тестовым случаем".
- В открывшемся диалоговом окне введите идентификатор тестового варианта и нажмите кнопку "Добавить связь", а затем нажмите кнопку "Сохранить".
В диалоговом окне показан список тестовых вариантов, связанных с выбранным методом тестирования. Вы не можете связать несколько методов теста с тест-случаем, но можно связать метод теста с несколькими тестовых случаями.
Если вы используете службы сборки и выпуска в Azure DevOps, а не сборки XAML, можно выполнять связанные тесты в конвейерах сборки и выпуска с помощью задачи теста Visual Studio. Вы не можете выполнять тесты по запросу с помощью Microsoft Test Manager, если вы не используете сборку XAML.
Параметры в тестовом случае не используются ни одним автотестом, связанным с тестовым случаем. Итерации тестового случая, использующее эти параметры, предназначены только для ручных тестов.
Дополнительные сведения см. в следующих статьях:
- Добавление файлов на сервер
- Непрерывная интеграция на любой платформе
- Запись и воспроизведение ручных тестов
- Использование модели автоматизации пользовательского интерфейса для тестирования кода
Соедините ваш автоматизированный тест в Azure DevOps
Свяжите свой тест с конвейером сборки
Перейдите к конвейеру и выберите конвейер, в котором выполнялись автоматические тесты.
Выберите сборку, в которой были выполнены тесты.
На вкладке Тесты найдите автоматический тест, который вы хотите связать с тестовым случаем вручную.
Выберите тест, а затем щелкните на Связать тестовый случай.
Найдите тестовый случай вручную, который необходимо связать с автоматизированным тестом, и щелкните Связать.
После связывания автоматизированных тестов с соответствующими тестовыми случаями можно использовать задачу Azure Test Plan для их выполнения в рамках конвейера.
Часто задаваемые вопросы о связывании автоматизированных тестов
Ознакомьтесь со следующими часто задаваемыми вопросами (часто задаваемыми вопросами).
Вопрос. Какие типы тестов поддерживаются?
Ответ. Для каждого типа теста существуют следующие возможности и ограничения.
| Каркас | *Ассоциация в Visual Studio | Ассоциация в Azure DevOps |
|---|---|---|
| Закодированные тесты пользовательского интерфейса | Поддерживается | Поддерживается |
| Селен | Поддерживается | Поддерживается |
| MSTest версии 1 и 2 | Поддерживается | Поддерживается |
| NUnit | Поддерживается | Поддерживается |
| xUnit | Поддерживается | Поддерживается |
| Python (PyTest) | Не поддерживается | Поддерживается |
| Java (Maven и Gradle) | Не поддерживается | Поддерживается |
* Поддерживается в Visual Studio 15.9( предварительная версия 2 или более поздняя версия).
Тесты, использующие платформу .NET Core, могут быть связаны с рабочим элементом тестового случая при использовании Visual Studio 15.9 preview 2 или более поздней версии. Запустите тесты .NET Core. Соответствующая целевая платформа должна быть указана в файле runsettings.
Вопрос. Можно ли связать тесты из репозитория GitHub?
A: Пока вы запускаете автоматические тесты в Azure Pipelines с помощью задачи VSTest или предоставляете результаты тестов с задачей PublishTestResults, автоматические тесты можно будет связать с тестовыми случаями. Помните, что тест должен выполняться хотя бы один раз, прежде чем он станет доступным для привязки.
Вопрос. Каковы различия, если я по-прежнему использую сборку XAML?
Ответ. Если вы используете сборку XAML в Azure Pipelines, можно выполнить тесты, связанные с рабочим процессом Build-Deploy-Test, с помощью лабораторной среды. Вы также можете выполнять тесты с помощью Microsoft Test Manager и лабораторной среды.
Вопрос. Можно ли настроить рабочие элементы для открытия в Visual Studio?
Ответ. Да. Если вы хотите протестировать рабочие элементы для открытия в Visual Studio вместо пользовательского интерфейса Azure Pipelines по умолчанию в веб-браузере, измените рабочие элементы | Общие параметры из средств | Меню параметров в Visual Studio.
