Поделиться через

Запуск автоматических тестов из командной строки с помощью TCM

  • Статья

Можно запускать тестовые случаи с соответствующими средствами автоматизации из командной строки с помощью tcm.exe, а не через пользовательский интерфейс, предоставленный Microsoft Test Manager. Это позволяет автоматически начинать запуски из пакетного файла. Например, можно настроить запуск пакетного файла каждый раз после завершения построения.

Для выполнения этих автоматических тестовых случаев с занесением результатов тестов в план тестирования нужно использовать лабораторную среду. Если выполнение запускается из командной строки, нужно воспользоваться файлом tcm.exe. Необходимо задать параметры теста, который содержит набор ролей, необходимых для выполнения тестов, и описать среду, которая содержит этот набор. Дополнительные сведения о параметрах теста и средах см. в разделе Настройка тестовых компьютеров для выполнения тестов или сбора данных.

Примечание

Если требуется выполнить автоматические тесты, которые взаимодействуют с рабочим столом, настройте свой агент для запуска в виде процесса, а не службы.Дополнительные сведения см. в разделе Практическое руководство. Настройка агента тестирования для выполнения тестов, взаимодействующих с рабочим столом.

Задать комбинацию тестового случая и конфигурации можно с помощью запроса. Эти комбинации называются тестовыми точками. Кроме того, можно задать наборы тестов и конфигурации, которые должны выполняться в плане тестирования. Необходимо знать идентификаторы плана тестирования, наборов тестов и конфигураций. При необходимости для составления списка этих идентификаторов можно использовать tcm.exe.

Используйте следующие процедуры, чтобы получить необходимые сведения для выполнения автоматических тестов из командной строки, а затем выполните эти тесты.

  • Создание списка всех настроек командного проекта.

  • Создание списка всех планов тестирования командного проекта.

  • Создание списка всех тестовых сред командного проекта.

  • Создание списка всех наборов теста в плане тестирования.

  • Создание тестового запуска с использованием запроса тестовой точки.

  • Создание тестового запуска для набора тестов и конкретной конфигурации.

  • Просмотр и обновление результатов теста

Стандартные параметры для данных процедур

Параметр

Описание

/collection:CollectionURL

Задает универсальный код ресурса (URI) коллекции командных проектов. URI необходимо указать в следующем формате: http://ИмяСервера:Порт/ИмяВиртуальногоКаталога/ИмяКоллекции.

Если виртуальный каталог не используется, URI имеет следующий формат:

http://ИмяСервера:Порт/ИмяКоллекции.

Если правильный путь неизвестен, обратитесь к системному администратору Team Foundation.

/teamproject: TeamProjectName

Командный проект, который требуется использовать. Командный проект должен быть определен в коллекции проектов, указанной параметром /collection.

/login: UserName,Password

Необязательно. Задает имя и пароль пользователя, который выполнил вход на сервер уровня приложений Team Foundation Server и имеет разрешения на выполнение команды.

Этот параметр используется в следующих случаях: учетным данным Windows не предоставлены соответствующие разрешения, используется базовая проверка подлинности, пользователь не подключен к домену.

Чтобы войти в Visual Studio Online, необходимо также использовать /allowalternatecredentials, перечисленые ниже.

/allowalternatecredentials

Этот флаг требуется указать в дополнение к параметру /login при подключении к Visual Studio Online. (Этот флаг доступен только при наличии Visual Studio 2013 с обновлением 4 или более поздней версии.)

/build

Необязательно. Определяет номер сборки, который будет связан с тестовым запуском. Если параметр /buildDir не задан, папка сброса данной сборки будет использована для выбора двоичных файлов теста.

/buildDefinition

Имя определения сборки, к которому относится сборка.

/flavor

Нужная версия сборки при наличии нескольких версий.

/platform

Нужная платформа сборки при наличии нескольких платформ.

/? или help

Отображает справку по команде в окне командной строки.

Процедуры

Dd465192.collapse_all(ru-ru,VS.140).gifСоздание списка всех настроек командного проекта.

Создание списка всех настроек командного проекта

  1. Откройте командную строку Visual Studio.

    Для этого нажмите кнопку Пуск, последовательно выберите Все программы, Microsoft Visual Studio 2012, Инструменты Visual Studio, после чего выберите пункт Командная строка разработчика.

    Откроется командная строка в папке <диск>:\Program Files\Microsoft Visual Studio 11.0\VC

  2. Чтобы создать список всех настроек командного проекта, введите в командной строке следующий текст.

    tcm configs /list /collection:<CollectionURL> /teamproject:<Team Project name>

    Будут получены примерно следующие результаты.

    Id Name

    ---------------- ------------------

    1 Vista and IE 7

    25 Vista and IE 8

    Примечание

    Кроме того, можно перечислить планы в командном проекте, воспользовавшись следующей командой: Tcm plans /list /collection:<CollectionURL> /teamproject:<Team Project name>

Dd465192.collapse_all(ru-ru,VS.140).gifСоздание списка всех планов тестирования командного проекта.

Создание списка всех планов тестирования командного проекта

  1. Откройте командную строку Visual Studio.

    Для этого нажмите кнопку Пуск, последовательно выберите Все программы, Microsoft Visual Studio 2012, Инструменты Visual Studio, после чего выберите пункт Командная строка разработчика.

    Откроется командная строка в папке <диск>:\Program Files\Microsoft Visual Studio 11.0\VC

  2. Чтобы создать список всех планов командного проекта, введите в командной строке следующий текст.

    tcm plans /list /collection:<CollectionURL> /teamproject:<Team Project name>

    Будут получены примерно следующие результаты.

    Id Name

    ---------------- ------------------

    1 Beta 1 Test Plan

    22 RTM Test Plan

  3. (Необязательно) Чтобы найти все наборы тестов в плане тестирования, введите в командной строке следующий текст.

    tcm suites /list /planid:<your plan id> /collection:<CollectionURL> /teamproject:<Team Project name>

    Будут получены примерно следующие результаты.

    Id Name

    ---------------- ------------------

    1 Priority 1 Test Suite

    15 Shopping Cart Test Suite

Dd465192.collapse_all(ru-ru,VS.140).gifСоздание списка всех тестовых сред командного проекта.

Создание списка всех тестовых сред командного проекта

  1. Откройте командную строку Visual Studio.

    Для этого нажмите кнопку Пуск, последовательно выберите Все программы, Microsoft Visual Studio 2012, Инструменты Visual Studio, после чего выберите пункт Командная строка разработчика.

    Откроется командная строка в папке <диск>:\Program Files\Microsoft Visual Studio 11.0\VC

  2. Чтобы создать список всех планов командного проекта, введите в командной строке следующий текст.

    tcm testenvironments /list /collection:<CollectionURL> /teamproject:<Team Project name>

    Будут получены примерно следующие результаты.

    Name Description

    ---------------- ------------------

    Staging Environment Use to test staging environment

    Testing Environment for Customer ABC

Dd465192.collapse_all(ru-ru,VS.140).gifСоздание списка всех наборов теста в плане тестирования.

Создание списка всех наборов теста в плане тестирования

  1. Откройте командную строку Visual Studio.

    Для этого нажмите кнопку Пуск, последовательно выберите Все программы, Microsoft Visual Studio 2012, Инструменты Visual Studio, после чего выберите пункт Командная строка разработчика.

    Откроется командная строка в папке <диск>:\Program Files\Microsoft Visual Studio 11.0\VC

  2. Чтобы найти все наборы тестов в плане тестирования, введите в командной строке следующий текст.

    tcm suites /list /planid:<your plan id> /collection:<CollectionURL> /teamproject:<Team Project name>

    Будут получены примерно следующие результаты.

    Id Name

    ---------------- ------------------

    1 Priority 1 Test Suite

    15 Shopping Cart Test Suite

Dd465192.collapse_all(ru-ru,VS.140).gifСоздание тестового запуска с использованием запроса тестовой точки.

Создание тестового запуска с использованием запроса тестовой точки

  1. Откройте командную строку Visual Studio.

    Для этого нажмите кнопку Пуск, последовательно выберите Все программы, Microsoft Visual Studio 2012, Инструменты Visual Studio, после чего выберите пункт Командная строка разработчика.

    Откроется командная строка в папке <диск>:\Program Files\Microsoft Visual Studio 11.0\VC

  2. Чтобы создать тестовый запуск с использованием запроса тестовой точки для конкретной конфигурации теста, воспользуйтесь сведениями из следующей таблицы.

    Идентификатор

    Значение

    Planid

    1

    Configid

    13

    В командной строке введите следующее:

    tcm run /create /title:"Nightly Run" /planid:1 /querytext:"SELECT * FROM TestPoint WHERE ConfigurationId=13" /settingsname:"<Name of your automated test settings>" /testenvironment:"<Name of a matching environment>" /collection:<CollectionURL> /teamproject:<Team Project name>

    Будут получены примерно следующие результаты.

    Run created with ID: <xxx>.

    Примечание

    Для запуска автоматического теста с помощью tcm.exe необходимо обеспечить параметры тестирования и среду, соответствующую набору ролей, указанному в параметрах тестирования.Дополнительные сведения о параметрах теста и средах см. в разделе Настройка тестовых компьютеров для выполнения тестов или сбора данных.Сведения о создании параметров теста см. в разделе Создание параметров тестирования для автоматических системных тестов с помощью Microsoft Test Manager.

  3. Чтобы просмотреть выполнение тестового запуска, выполните инструкции в разделе Просмотр и обновление результатов теста.

Dd465192.collapse_all(ru-ru,VS.140).gifСоздание тестового запуска для набора тестов и конкретной конфигурации.

Создание тестового запуска для набора тестов и конкретной конфигурации

  1. Откройте командную строку Visual Studio.

    Для этого нажмите кнопку Пуск, последовательно выберите Все программы, Microsoft Visual Studio 2012, Инструменты Visual Studio, после чего выберите пункт Командная строка разработчика.

    Откроется командная строка в папке <диск>:\Program Files\Microsoft Visual Studio 11.0\VC

  2. Чтобы создать тестовый запуск для всех тестов набора для конкретной конфигурации, воспользуйтесь сведениями из следующей таблицы.

    Идентификатор

    Значение

    Planid

    1

    Suiteid

    5

    Configid

    13

    В командной строке введите следующее:

    tcm run /create /title:"Nightly Run" /planid:1 /suiteid:5 /configid:13 /settingsname:"<Name of your automated test settings>" /testenvironment:"<Name of a matching environment>" /collection:<CollectionURL> /teamproject:<Team Project name>

    Будут получены примерно следующие результаты.

    Run created with ID: <xxx>.

    Примечание

    Для запуска автоматического теста с помощью tcm.exe необходимо обеспечить параметры тестирования и среду, соответствующую набору ролей, указанному в параметрах тестирования.Дополнительные сведения о параметрах теста и средах см. в разделе Настройка тестовых компьютеров для выполнения тестов или сбора данных.Сведения о создании параметров теста см. в разделе Создание параметров тестирования для автоматических системных тестов с помощью Microsoft Test Manager.

  3. Чтобы просмотреть выполнение тестового запуска, выполните инструкции в разделе Просмотр и обновление результатов теста.

Просмотр и обновление результатов теста

Просмотр и обновление результатов теста

  1. Откройте Microsoft Test Manager.

    Примечание

    Чтобы отобразить окно Microsoft Test Manager, щелкните "Пуск", а затем выберите "Все программы".Укажите на Microsoft Visual Studio 2012 и выберите Microsoft Test Manager.

  2. Чтобы просмотреть результаты теста, щелкните стрелку раскрывающегося списка на центральном переключателе групп и выберите Центр тестирования.

  3. В строке меню центральной группы последовательно выберите пункты Тест и Анализ тестовых запусков.

    Отображается действие Анализ тестовых запусков, показывающее все тестовые запуски для данного плана тестирования.

  4. Чтобы открыть и просмотреть подробности, откройте тестовый запуск с присвоенным ему названием из командной строки.

    Отображаются сведения о тестовом запуске.

  5. (Необязательно) Чтобы обновить название тестового запуска, введите новое имя в поле Название.

  6. (Необязательно) Если тест завершился ошибкой, можно добавить причину ошибки. Выберите пункт Разрешение и выберите причину ошибки из списка.

  7. (Необязательно) чтобы добавить примечание к результату теста, щелкните значок "Комментарии". Введите примечание и нажмите кнопку Сохранить примечания.

  8. (Необязательно) Для просмотра подробностей отдельного теста откройте тест.

    Отобразится результат теста, который содержит подробности тестового запуска и журнал результатов данного теста. Чтобы вернуться к тестовому запуску, нужно закрыть это представление.

    Примечание

    Если во время анализа обнаружена ошибка, из этого представления можно создать сообщение об ошибке.

  9. Чтобы сохранить изменения для данного тестового запуска, нажмите на панели инструментов кнопку Сохранить.

См. также

Ссылки

tcm. Создание списков планов тестирования, наборов тестов, конфигураций тестов и сред

tcm. Запуск тестов из плана тестирования с помощью служебной программы командной строки

Основные понятия

Запуск автоматических тестов из командной строки

Другие ресурсы

Планирование ручных тестов с помощью Team Web Access