Тестирование разных конфигураций
Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019
Пользователи, вероятно, установят или запускают приложение в различных конфигурациях, таких как различные операционные системы, веб-браузеры и другие варианты. Вам потребуется выполнить по крайней мере некоторые тесты на этапах, которые имеют разные конфигурации.
Используйте планы тестирования, чтобы решить, какие тесты необходимо выполнить в каких конфигурациях. Необходимо убедиться, что при выполнении тестов, которые вы настроили для необходимых конфигураций.
Можно нарисовать схемную матрицу сочетаний, которые требуется протестировать:
Затем можно:
- Просмотр доступных конфигураций и переменных
- Создание конфигураций и переменных
- Назначение конфигураций для тестовых планов и наборов тестов
- Выполнение тестов с каждой конфигурацией
- Отслеживание результатов теста для каждой конфигурации
Необходимые компоненты
| Категория | Требование |
|---|---|
| Доступ к проекту | член проекта. |
| Уровни доступа | Чтобы добавить конфигурации тестов: на уровне проекта управление конфигурациями тестов набор разрешений Разрешить. По умолчанию это разрешение предоставляется членам групп участников и администраторов проектов. |
Дополнительные сведения см. в разделе "Тестовый доступ и разрешения вручную".
Предварительные требования для средства командной строки TCM
| Категория | Требования |
|---|---|
| Инструменты | Visual Studio 2017 Professional или более ранняя версия. Доступ к TCM из командной строки и следующих каталогов: - %programfiles(x86)%\Microsoft Visual Studio\2017\Professional\Common7\IDE - %programfiles(x86)%\Microsoft Visual Studio\2017\Enterprise\Common7\IDE- %programfiles(x86)%\Microsoft Visual Studio 14.0\Common7\IDE— Чтобы выполнить команду TCM, укажите параметры /collection и /teamproject и /login по мере необходимости. Также см. следующую таблицу обязательных и необязательных параметров. |
| Уровни доступа | — Допустимое членство в одном или нескольких проектах, к которым требуется доступ, и наличие необходимых разрешений в зависимости от выполняемых команд. Дополнительные сведения см. в разделе "Тестовый доступ и разрешения вручную". — Одинаковые уровни доступа для добавления планов тестирования и наборов тестов для клонирования или импорта тестовых объектов. |
| Параметр | Описание |
|---|---|
/коллекция:CollectionURL |
Обязательный. Задает универсальный код ресурса (URI) коллекции проектов группы. Формат универсального кода ресурса (URI) выглядит следующим образом: — Для Azure DevOps Services: http://dev.azure.com/OrganizationName— Для Azure DevOps Server: http://ServerName:Port/VirtualDirectoryName/CollectionName. Если виртуальный каталог не используется, формат URI выглядит следующим образом:http://ServerName:Port/CollectionName |
/teamproject:project |
Обязательный. Имя проекта, содержащего тестовые объекты, в которые требуется клонировать или импортировать автоматические тесты. |
/login:username,[password] |
Необязательно. Указывает имя и пароль допустимого пользователя Azure DevOps и разрешения на выполнение команды. Используйте этот параметр, если учетные данные Windows не имеют соответствующих разрешений или вы используете обычную проверку подлинности или не подключены к домену. |
Просмотр конфигураций и переменных
Часто требуется просмотреть конфигурации, которые уже доступны для выполнения тестов.
Список конфигураций тестов и переменных конфигурации можно просмотреть на странице "Конфигурации ".
В проекте выберите "Конфигурации планов>тестирования" в области навигации слева. Здесь вы увидите все конфигурации тестов и переменные, доступные в настоящее время для планов тестирования.
Выберите конфигурацию или переменную, чтобы просмотреть дополнительные сведения о ней в окне справа.
Создание конфигураций и переменных
Конфигурация теста — это сочетание значений переменных конфигурации. Переменные конфигурации могут быть, например, операционной системой, браузером, типом ЦП, базой данных. Конфигурация может быть "Windows 8 + 32-разрядная ЦП" или "Windows 10 + 64-разрядная ЦП".
Сначала создайте переменные конфигурации. Затем объедините несколько значений переменных для создания конфигурации.
Откройте страницу "Конфигурации" на веб-портале "Планы тестирования", щелкните + значок и выберите новую переменную конфигурации.
Введите имя переменной, например браузер и описание. Выберите " Добавить новое значение", а затем добавьте значение. Добавьте столько значений, сколько вы хотите, в переменную конфигурации, а затем сохраните ее.
Повторите действия, чтобы создать другие необходимые переменные конфигурации. Например, создайте переменную конфигурации с именем Операционной системы с именами каждой операционной системы, в которой требуется протестировать.
+ Щелкните значок и выберите новую конфигурацию теста.
Введите имя тестовой конфигурации и добавьте созданные переменные конфигурации. Выберите значение для каждой переменной для этой конфигурации.
Убедитесь, что установлен флажок "Назначить новым планам тестирования", чтобы сделать эту конфигурацию стандартной для всех создаваемых новых планов тестирования.
Сохраните новую конфигурацию теста.
Конфигурация теста — это сочетание значений переменных конфигурации. Переменные конфигурации могут быть, например, операционной системой, браузером, типом ЦП, базой данных. Конфигурация может быть "Windows 8 + 32-разрядная ЦП" или "Windows 10 + 64-разрядная ЦП".
Сначала необходимо создать переменные конфигурации. Затем объедините несколько значений переменных для создания конфигурации.
Откройте страницу "Конфигурации" на веб-портале "Планы тестирования", выберите
значок и выберите новую переменную конфигурации.
Введите имя переменной, например браузер, и введите значение. Добавьте столько значений, сколько вы хотите, в переменную конфигурации, а затем сохраните ее.
Повторите действия, чтобы создать другие необходимые переменные конфигурации. Например, создайте переменную конфигурации с именем Операционной системы с именами каждой операционной системы, в которой требуется протестировать.
-
Щелкните значок и выберите новую конфигурацию теста.
Введите имя тестовой конфигурации и добавьте созданные переменные конфигурации. Выберите значение для каждой переменной для этой конфигурации.
Убедитесь, что установлен флажок "Назначить новым планам тестирования", чтобы сделать эту конфигурацию по умолчанию для всех создаваемых тестов.
Сохраните новую конфигурацию теста.
Назначение конфигураций для тестовых планов и наборов
Конфигурации можно назначить набору тестов или отдельному тестовом варианту. Конфигурации, назначенные набору тестов, применяются ко всем тестам или наборам в нем.
Чтобы назначить конфигурацию набору тестов, на странице "Планы тестирования" выберите план. В области "Наборы тестов" выберите набор тестов и выберите "Дополнительные параметры" или щелкните правой кнопкой мыши, чтобы открыть контекстное меню, а затем выберите "Назначить конфигурацию".
Если добавить несколько конфигураций в набор тестов, тесты повторяются с каждой из назначенных конфигураций.
При необходимости переопределите конфигурацию по умолчанию, назначенную тестовой ситуации, и назначьте нужную конфигурацию. Выберите один или несколько тестовых вариантов, откройте контекстное меню и выберите " Назначить конфигурацию".
Найдите и выберите конфигурации для назначения тестовых вариантов.
Конфигурации можно назначить плану тестирования, набору тестов или отдельному тестовом варианту. Конфигурации, назначенные плану тестирования или набору тестов, применяются ко всем тестам или наборам в нем.
Чтобы назначить конфигурацию тестовой плану, откройте контекстное меню плана и выберите "Назначить конфигурацию для тестового плана".
Чтобы назначить конфигурацию набору тестов, откройте контекстное меню набора и выберите " Назначить конфигурацию для набора тестов".
При добавлении нескольких конфигураций в тестовый план или набор тесты повторяются в плане или наборе с каждой назначенной конфигурацией.
При необходимости переопределите конфигурацию по умолчанию, назначенную тестовой ситуации, и назначьте нужную конфигурацию. Выберите один или несколько тестовых вариантов, откройте контекстное меню и выберите пункт " Назначить конфигурации".
Найдите и выберите конфигурации, которые нужно назначить этим тестовых случаям.
Выполнение тестов с каждой конфигурацией
Настройте платформу тестирования для определенной конфигурации, например тестирование приложения с помощью Google Chrome в Windows 10.
Выберите и запустите тест, назначаемый этой конфигурацией.
При выполнении теста в строке состояния появится напоминание о конфигурации.
Настройте платформу тестирования для определенной конфигурации, например тестирование приложения с помощью Google Chrome в Windows 10.
Выберите и запустите тест, назначаемый этой конфигурацией.
При выполнении теста напоминание о требуемой конфигурации, показанной в строке состояния окна тестового запуска.
Отслеживание результатов теста для каждой конфигурации
Откройте страницу "Диаграммы " для набора тестов, выберите "Создать" и выберите "Создать диаграмму результатов теста".
Выберите тип диаграммы, например круговую диаграмму или линейчатую диаграмму, а затем выберите "Группировать по>конфигурации" и нажмите кнопку "ОК".
Создается диаграмма, которая помогает отслеживать тесты на основе конфигураций. Эту диаграмму можно закрепить на панели мониторинга.
Если у вас есть тестовый случай, который отображается в нескольких наборах тестов, можно задать разные конфигурации для каждого набора. Один и тот же тестовый случай может иметь разные параметры конфигурации в разных наборах тестов и планах тестирования.
Откройте страницу "Диаграммы" для плана тестирования или набора тестов, выберите "Создать" и выберите "Создать диаграмму результатов теста".
Выберите нужный тип диаграммы, выберите "Конфигурация " в группе по списку и нажмите кнопку "ОК".
Создается диаграмма, которая помогает отслеживать тесты на основе конфигураций. Эту диаграмму можно закрепить на панели мониторинга.
Если у вас есть тестовый случай, который отображается в нескольких планах тестирования и наборах тестов, можно задать разные конфигурации для каждого из них. Один и тот же тестовый случай может иметь разные параметры конфигурации в разных наборах тестов и планах тестирования.