Поделиться через

Просмотр результатов теста

  • Статья

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Автоматические тесты можно настроить для запуска в рамках сборки или выпуска для различных языков. Тестовые отчеты предоставляют эффективный и согласованный способ просмотра результатов тестов, выполняемых с помощью различных фреймворков тестирования, с целью измерения качества конвейерных процессов, проверки трассируемости, устранения сбоев и определения ответственности за сбои. Кроме того, он предоставляет множество расширенных возможностей создания отчетов, рассмотренных в следующих разделах.

Вы также можете выполнить более глубокий анализ результатов теста с помощью службы аналитики. Пример использования с конвейерами сборки и развертывания см. в статье "Анализ результатов теста".

Ознакомьтесь с глоссарием, чтобы понять терминологию тестового отчета.

Опубликованные результаты теста можно просмотреть на вкладке "Тесты" в сводке по сборке или релизу.

Результаты теста Surface на вкладке "Тесты"

Результаты теста можно просмотреть на вкладке "Тесты " с помощью одного из следующих параметров:

  • Автоматически выводить результаты теста. По умолчанию конвейер может автоматически выводить выходные данные теста для нескольких популярных тестовых модулей. Проанализируйте журналы ошибок, созданные во время операции сборки, и затем проверьте наличие признаков тестовых сбоев. В настоящее время Azure DevOps поддерживает следующие языки и тестовые средства выполнения для автоматического вывода результатов теста:

  • Задачи выполнения тестов. Встроенные задачи выполнения тестов, такие как Visual Studio Test, которые автоматически публикуют результаты теста в конвейере или другие, такие как Ant, Maven, Gulp, Grunt и Xcode, которые предоставляют эту возможность в качестве варианта в задаче.

  • Публикация задачи "Результаты теста". Задача, которая публикует результаты тестирования в Azure Pipelines или TFS при выполнении тестов с помощью выбранного средства выполнения, а результаты доступны в любом из поддерживаемых форматов результатов теста.

  • API-интерфейсы. Результаты теста, опубликованные непосредственно с помощью API управления тестами.

Сведения о тестировании Surface за пределами вкладки "Тесты"

На вкладке " Тесты " представлена подробная сводка по выполнению теста. Это полезно для отслеживания качества конвейера и устранения неполадок. Azure DevOps также предоставляет другие способы получения сведений о тестировании:

Просмотр результатов теста в сборке

Сводка по сборке предоставляет представление временной шкалы ключевых шагов, выполняемых в сборке. Если тесты выполнялись и сообщались в рамках сборки, в представлении временной шкалы отображается веха теста. Контрольная точка теста содержит сводку результатов тестирования в качестве меры процента прохождения с индикаторами сбоев и прерываний, если таковые имеются.

Просмотр теста в представлении временной шкалы сборки

Посмотрите результаты теста в выпуске

В представлении конвейера можно просмотреть все этапы и связанные тесты. Представление содержит сводку результатов теста в качестве меры процента прохождения вместе с индикаторами сбоев и прерываний, если они существуют. Эти индикаторы совпадают с представлением временной шкалы сборки, обеспечивая согласованный интерфейс для сборки и выпуска.

Просмотр теста в представлении холста релиза

Вкладка "Тесты"

Сводки сборки и релиза содержат сведения о выполнении тестов. Выберите "Сводка теста", чтобы просмотреть сведения на вкладке "Тесты ". Эта страница содержит следующие разделы

  • Сводка: Предоставляет ключевые количественные метрики для выполнения тестов, например, общее количество тестов, количество неудачных тестов, процент успешных тестов и многое другое. Он также предоставляет разностные индикаторы изменений по сравнению с предыдущим выполнением.

  • Результаты: перечисляет все выполненные и сообщаемые тесты в рамках текущей сборки или выпуска. В представлении по умолчанию показаны только неудачные и прерванные тесты, чтобы сосредоточиться на тестах, требующих внимания. Однако вы можете выбрать другие результаты с помощью предоставленных фильтров.

  • Сведения: список тестов, которые можно сортировать, группировать, искать и фильтровать, чтобы найти нужные результаты теста.

Вкладка

Выберите любой тестовый запуск или результат, чтобы просмотреть область сведений, которая отображает дополнительные сведения, необходимые для устранения неполадок, таких как сообщение об ошибке, трассировка стека, вложения, рабочие элементы, исторические тенденции и многое другое.

Вкладка

Совет

Если вы используете задачу тестирования Visual Studio для выполнения тестов, выходные данные диагностики, записанные из тестов (с помощью любого из методов Console.WriteLine, Trace.WriteLine или TestContext.WriteLine), будут отображаться в виде вложения для неудачного теста.

Следующие возможности вкладки "Тесты" помогают повысить производительность и устранить неполадки.

Фильтрация крупных результатов теста

Со временем тесты накапливаются, и в больших приложениях их количество может легко вырасти до десятков тысяч. Для этих приложений с большим количеством тестов может быть трудно ориентироваться в результатах, чтобы выявить сбои тестов, определить первопричины и осуществить контроль над проблемами. Фильтры упрощают быстрый переход к результатам теста, интересующим вас. Вы можете фильтровать по названию теста, результату (неудача, успех и многое другое), тестовым файлам (файлы, содержащие тесты) и владельцу (для тестовых файлов). Все критерии фильтрации являются накопительными по природе.

Фильтрация большого набора результатов теста

Кроме того, с несколькими параметрами группирования, такими как тестовое выполнение, файл тестирования, приоритет, требование и многое другое, можно упорядочить представление результатов точно так же, как требуется.

Тестирование управления долгами на наличие ошибок

Чтобы управлять тестовой задолженностью за неудачные или длительные тесты, можно создать ошибку или добавить данные в существующую ошибку, а затем просмотреть все связанные рабочие элементы на вкладке рабочих элементов.

Иммерсивный интерфейс устранения неполадок

Сообщения об ошибках и трассировки стека по своей природе достаточно длинные и требуют достаточно места для просмотра деталей во время устранения неполадок. Чтобы обеспечить иммерсивное взаимодействие по устранению неполадок, представление сведений можно развернуть до полного представления страницы, при этом сохраняя возможность выполнения необходимых операций в контексте, например создание ошибок или ассоциация требований для выбранного результата теста.

Полноэкранный режим панели

Устранение неполадок при сбое теста

Для диагностики тестовых сбоев доступны сообщения об ошибках и трассировки стека. Вы также можете просмотреть все вложения, связанные с сбоем теста на вкладке "Вложения ".

Тестирование управления долгами

Вы можете создать новую или добавить к существующей ошибке для управления технической задолженностью в тестировании из-за сбоев или длительно работающих тестов. Вкладка "Рабочие элементы" содержит сведения обо всех ошибках и требованиях, связанных с тестом, чтобы проанализировать влияние на требования, а также знать состояние и кто работает над ошибкой.

Журнал выполнения теста может обеспечить значимые аналитические сведения о надежности или производительности тестов. При устранении неполадок важно знать, как тест выполнялся в прошлом. Вкладка "Тесты" предоставляет журнал тестов в контексте результатов теста. Сведения об истории тестов отображаются последовательно, начиная с текущего конвейера сборки к другим ветвям или с текущей стадии к другим этапам, для сборки и выпуска соответственно.

Просмотр исторических тенденций

Просмотр выполнения выполняемых тестов

Тесты, такие как интеграция и функциональные тесты, могут выполняться в течение длительного времени. Поэтому важно видеть текущее или почти текущее состояние выполнения теста в режиме реального времени в любое время. Даже в случаях, когда тесты выполняются быстро, полезно знать состояние соответствующих результатов теста как можно раньше; особенно при возникновении сбоев. Просмотр в процессе выполнения устраняет необходимость ждать завершения теста. Результаты доступны почти в режиме реального времени по мере выполнения, помогая выполнять действия быстрее. Вы можете отлаживать ошибку, сообщить об ошибке или прервать процесс.

Просмотр выпуска в процессе

Примечание.

В настоящее время эта функция доступна как для сборки, так и для выпуска с помощью задачи Тестирования Visual Studio в задании с несколькими агентами. Он будет доступен для заданий одного агента в будущем выпуске.

В следующем примере показана текущая сводка по тестам в выпуске, сообщая общее количество тестов и количество отказов тестов на данный момент времени. Тестовые сбои доступны для устранения неполадок, создания ошибок или принятия других соответствующих действий.

Представление сводки хода выполнения

Просмотр сводных результатов теста

Во время выполнения теста он может создать несколько экземпляров или тестов, которые вносят вклад в общий результат. Ниже приведены некоторые примеры: тесты, которые выполняются повторно, тесты, состоящие из упорядоченного сочетания других тестов (упорядоченных тестов) или тестов с различными экземплярами на основе входного параметра (управляемые данными тесты).

Поскольку эти тесты связаны, они должны быть представлены вместе с общим результатом, полученным из отдельных экземпляров или тестов. Эти результаты теста отображаются в виде сводного результата теста на вкладке "Тесты ":

  • Повторный запуск неудачных тестов: возможность повторного запуска неудачных тестов доступна в последней версии задачи Тестирования Visual Studio. Во время повторного запуска можно выполнить несколько попыток для неудачного теста, и каждая ошибка может иметь другую первопричину из-за недетерминированного поведения теста. Тестовые отчеты предоставляют объединенное представление для всех попыток повторного выполнения, а также общий результат теста в виде сводной единицы. Api управления тестами теперь поддерживают возможность публикации и запроса результатов теста.

    Повторное выполнение неудачных тестов

  • Тесты на основе данных: аналогично повторному запуску неудачных тестов, все итерации тестов на основе данных передаются в этом тесте в сводном представлении. Сводное представление также доступно для упорядоченных тестов (.orderedtest в Visual Studio).

    Тест на основе данных

Примечание.

Метрики в разделе сводки теста, такие как общее количество тестов, прошедших, проваливших или других, вычисляются с использованием корневого уровня итогового результата теста.

Просмотр прерванных тестов

Выполнение теста может прерываться из-за нескольких причин, таких как неправильный код теста, ошибки в исходном тесте или проблемы с окружающей средой. Независимо от причины прерывания, важно иметь возможность диагностировать поведение и определить первопричину. Прерванные тесты и тестовые запуски можно просмотреть вместе с завершенными запусками на вкладке "Тесты ".

Просмотр остановленных тестов.

Примечание.

В настоящее время эта функция доступна как для сборки, так и для выпуска, используя задачу тестирования Visual Studio в задании нескольких агентов или публикации результатов теста с помощью API управления тестами. Он будет доступен для заданий с одним агентом в будущей версии.

Автоматически выведенные результаты теста

Azure DevOps может автоматически выводить выходные данные тестов, выполняемых в конвейерах для нескольких поддерживаемых платформ тестирования. Эти автоматически выведенные тестовые отчеты не требуют определенной конфигурации конвейеров и являются нулевым способом начать работу с помощью отчетов о тестах.

Пример автоматически выводимого тестового отчета

См. список исполнителей, для которых результаты теста определяются автоматически.

Поскольку в таких выводимых отчетах присутствуют только ограниченные метаданные теста, они ограничены функциями и возможностями. Следующие функции недоступны для выводных тестовых отчетов:

  • Группируйте результаты теста по файлу теста, владельцу, приоритету и другим полям
  • Поиск и фильтрация результатов теста
  • Проверка сведений о пройденных тестах
  • Предварительный просмотр всех вложений, созданных во время тестов в самом веб-пользовательском интерфейсе
  • Свяжите тестовый сбой с новой ошибкой или посмотрите список связанных рабочих элементов для этого сбоя.
  • См. аналитику последовательных сборок для тестирования в Пайплайнах

Примечание.

Некоторые тестовые фреймворки, такие как Mocha, имеют несколько встроенных консольных отчётчиков, например, dot-matrix и progress-bar. Если вы настроили нестандартные выходные данные консоли для вашего тестового запуска или используете настраиваемый репортер, Azure DevOps не сможет определить результаты теста. Он может выводить только результаты от репортера по умолчанию .

Справка и поддержка