Тестирование разных конфигураций
Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019
Пользователи, вероятно, установят или запускают приложение в различных конфигурациях, таких как различные операционные системы, веб-браузеры и другие варианты. Вам потребуется выполнить по крайней мере некоторые тесты на этапах, которые имеют разные конфигурации.
Используйте планы тестирования, чтобы решить, какие тесты необходимо выполнить в каких конфигурациях. Необходимо убедиться, что, выполняя тесты, вы настроили все этапы для конфигураций, которые вам нужны.
Можно нарисовать схемную матрицу сочетаний, которые требуется протестировать:
Затем можно:
- Просмотр доступных конфигураций и переменных
- Создание конфигураций и переменных
- Назначение конфигураций для тестовых планов и наборов тестов
- Выполнение тестов с каждой конфигурацией
- Отслеживание результатов теста для каждой конфигурации
Предварительные условия
| Категория | Требование |
|---|---|
| Доступ к проекту | член проекта. |
| Уровни доступа | Чтобы добавить конфигурации тестов: на уровне проекта управление конфигурациями тестов набор разрешений Разрешить. По умолчанию это разрешение предоставляется членам групп участников и администраторов проектов. |
Дополнительные сведения см. в разделе "Доступ к тестированию и разрешения".
Предварительные требования для средства командной строки TCM
| Категория | Требования |
|---|---|
| Инструменты | Visual Studio 2017 Professional или более ранняя версия. Доступ к TCM из командной строки и следующих каталогов: - %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE - %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE— Чтобы выполнить команду TCM, укажите параметры /collection и /teamproject и /login по мере необходимости. Также см. следующую таблицу обязательных и необязательных параметров. |
| Уровни доступа | — Допустимое членство в одном или нескольких проектах, к которым требуется доступ, и наличие необходимых разрешений в зависимости от выполняемых команд. Для получения дополнительной информации см. Ручной доступ к тестированию и разрешения. — Одинаковые уровни доступа для добавления планов тестирования и наборов тестов для клонирования или импорта тестовых объектов. |
| Параметр | Описание |
|---|---|
/коллекция:CollectionURL |
Обязательный. Указывает URI коллекции командных проектов. Формат универсального кода ресурса (URI) выглядит следующим образом: — Для Azure DevOps Services: http://dev.azure.com/OrganizationName— Для Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Если виртуальный каталог не используется, формат URI выглядит следующим образом:http://ServerName:Port/CollectionName |
/teamproject:project |
Обязательный. Имя проекта, содержащего тестовые объекты, в которые требуется клонировать или импортировать автоматические тесты. |
/login:username,[password] |
Необязательно. Указывает имя и пароль допустимого пользователя Azure DevOps и разрешения на выполнение команды. Используйте этот параметр, если учетные данные Windows не имеют соответствующих разрешений или вы используете обычную проверку подлинности или не подключены к домену. |
Просмотр конфигураций и переменных
Часто требуется просмотреть конфигурации, которые уже доступны для выполнения тестов.
Список конфигураций тестов и переменных конфигурации можно просмотреть на странице "Конфигурации ".
В проекте выберите "Конфигурации планов>тестирования" в области навигации слева. Здесь вы увидите все конфигурации тестов и переменные, доступные в настоящее время для планов тестирования.
Выберите конфигурацию или переменную, чтобы просмотреть дополнительные сведения о ней в окне справа.
Создание конфигураций и переменных
Конфигурация теста — это сочетание значений переменных конфигурации. Переменные конфигурации могут быть, например, операционной системой, браузером, типом центрального процессора, базой данных. Конфигурация может быть "Windows 8 + 32-разрядная ЦП" или "Windows 10 + 64-разрядная ЦП".
Сначала создайте переменные конфигурации. Затем объедините несколько значений переменных для создания конфигурации.
Откройте страницу "Конфигурации" на веб-портале "Планы тестирования", щелкните + значок и выберите новую переменную конфигурации.
Введите имя переменной, например браузер и описание. Выберите " Добавить новое значение", а затем добавьте значение. Добавьте столько значений, сколько вы хотите, в переменную конфигурации, а затем сохраните ее.
Повторите действия, чтобы создать другие необходимые переменные конфигурации. Например, создайте переменную конфигурации с именем Операционной системы с именами каждой операционной системы, в которой требуется протестировать.
+ Щелкните значок и выберите новую конфигурацию теста.
Введите имя тестовой конфигурации и добавьте созданные переменные конфигурации. Выберите значение для каждой переменной для этой конфигурации.
Убедитесь, что установлен флажок "Назначить новым планам тестирования", чтобы использовать эту конфигурацию по умолчанию для всех новых создаваемых планов тестирования.
Сохраните новую конфигурацию теста.
Назначение конфигураций для тестовых планов и наборов тестов
Конфигурации можно назначить набору тестов или отдельному тестовому случаю. Конфигурации, назначенные тестовому набору, применяются ко всем тестам или тестовым наборам в нем.
Чтобы назначить конфигурацию набору тестов, на странице "Планы тестирования" выберите план. В области "Наборы тестов" выберите набор тестов и выберите "Дополнительные параметры" или щелкните правой кнопкой мыши, чтобы открыть контекстное меню, а затем выберите "Назначить конфигурацию".
Если добавить несколько конфигураций в набор тестов, тесты повторяются с каждой из назначенных конфигураций.
При необходимости переопределите конфигурацию по умолчанию, назначенную тестовой ситуации, и назначьте нужную конфигурацию. Выберите один или несколько тестовых вариантов, откройте контекстное меню и выберите " Назначить конфигурацию".
Найдите и выберите конфигурации для назначения тестовых вариантов.
Выполнение тестов с каждой конфигурацией
Настройте платформу тестирования для определенной конфигурации, например тестирование приложения с помощью Google Chrome в Windows 10.
Выберите и запустите тест, назначаемый этой конфигурацией.
При выполнении теста в строке состояния появится напоминание о конфигурации.
Отслеживание результатов теста для каждой конфигурации
Откройте страницу "Диаграммы " для набора тестов, выберите "Создать" и выберите "Создать диаграмму результатов теста".
Выберите тип диаграммы, например круговую диаграмму или линейчатую диаграмму, а затем выберите "Группировать по>конфигурации" и нажмите кнопку "ОК".
Создается диаграмма, которая помогает отслеживать тесты на основе конфигураций. Эту диаграмму можно закрепить на панели мониторинга.
Если у вас есть тестовый случай, который отображается в нескольких наборах тестов, можно задать разные конфигурации для каждого набора. Один и тот же тестовый случай может иметь разные параметры конфигурации в разных наборах тестов и планах тестирования.