Платформа автоматического тестирования

Цель этого документа — предоставить техническим группам, управляющим корпоративными платформами веб-трансляции инструкции о том, как использовать средство автоматического тестирования Microsoft eCDN для аудита своих корпоративных сетей в рамках подготовки к фактическим событиям.

Платформа автоматического тестирования Microsoft eCDN позволяет легко выполнять симуляции на нескольких устройствах, чтобы эмулировать и анализировать поведение определенной сети под нагрузкой видеосодержимого.

Автоматический тест — это реальный видеосеанс, который выполняется в фоновом режиме (отключается) на устройстве конечного пользователя. Пользователь может продолжать работать на своем компьютере, не зная, что тест запущен, хотя может произойти замедление сетевого подключения, соответствующего пропускной способности видео.

Примечание.

Содержимое имитированного события автоматического тестирования размещается в домене *.ecdn.teams.microsoft.com . Таким образом, автоматическое тестирование не должно использоваться в качестве целостного теста для ратуш или любых других продуктов трансляций.

Платформа состоит из трех main компонентов:

• Устройства средства выполнения
• Панель мониторинга управления
• Аналитика

Эти компоненты описываются по одному в следующих разделах.

Устройства средства выполнения

Каждое устройство, которое подключается к платформе, считается "средство выполнения". Каждое средство выполнения имитирует одно средство просмотра и взаимодействует с серверной частью Microsoft eCDN, чтобы получить инструкции по выполнению теста. В большинстве случаев тесты не выполняются. В этом случае средство выполнения ожидает простоя, пока не начнется тест. Вместо того, чтобы развертывать назначенное приложение агента на каждом компьютере в качестве средства выполнения, eCDN Майкрософт использует существующее программное обеспечение, которое обычно устанавливается на компьютерах конечных пользователей для запуска средств выполнения в фоновом режиме.

Так как средство выполнения по сути является веб-страницей, его можно открыть в любом браузере или в браузерной среде. Существует два способа создания экземпляра средства выполнения.

Важно!

Microsoft Edge или Google Chrome должны быть установлены на компьютере конечного пользователя. Кроме того, для участия в автоматических тестах устройство должно быть включено и подключено к Интернету.

Средство прямого выполнения

Открытие страницы средства выполнения вручную со следующим URL-адресом и замена заполнителя TENANT_ID_HERE идентификатором вашего клиента в браузере считается "прямым модулем выполнения".

https://st-sdk.ecdn.teams.microsoft.com/?customerId=TENANT_ID_HERE&adapterId=Direct

Предостережение

В то время как средство автоматического выполнения содержит необходимые аргументы для предоставления IP-адреса компьютера службе eCDN Майкрософт, средство прямого выполнения использует глобальные параметры компьютера. Таким образом, если вы еще не отключили маскировку IP-адресов mDNS, средство прямого выполнения вряд ли будет одноранговым подключением.

Средство автоматического выполнения

Мы предоставляем сценарии PowerShell & Bash, которые запускают браузер без головного Chromium в фоновом режиме со страницей средства выполнения, которая считается "автоматическим средством выполнения". Затем скрипт можно выполнить в группе пользователей, чтобы подключить их к платформе.

Дополнительные сведения см. в приложении B. Интеграция средств выполнения с помощью браузера без головы

Панель мониторинга управления

Панель мониторинга управления позволяет планировать, изменять и отменять тесты, а также показывает количество подключенных средств выполнения. В окне main перечислены ожидающие тесты, текущие и прошедшие тесты, которые уже завершились. Завершенные тесты отображаются в течение 24 часов, а затем скрываются из списка.

Аналитика

Когда тест запланирован, он устанавливается в режим ожидания. По достижении времени начала тест активируется и все средства выполнения в сети отправляют сигнал активации. Затем целевая страница запускается каждым средством выполнения, и видео (отключается) в скрытом окне. Microsoft eCDN SDK собирает метрики сети и пользовательского интерфейса, представленные на различных диаграммах и диаграммах, доступных на панели мониторинга Аналитики. Аналитика сообщается во время выполнения теста, поэтому администраторы могут проверка состояние еще до завершения теста.

Параллелизм

На графике параллелизма показано количество активных пользователей с течением времени. Чтобы считаться активным, пользователь должен воспроизводить видео.

Скорость HTTP+P2P

На диаграмме пропускной способности сети показана разбивка потребления сети по протоколам HTTP и P2P.

Представлено как	Описание	Axis
Темно-синие полосы	Пропускная способность HTTP	left
Оранжевые полосы	Пропускная способность P2P	left
Зеленая пунктирная линия	Отношение P2P к общему значению в процентах	Правильно

Например, соотношение P2P в 90 % означает, что только 10 % трафика было загружено по протоколу HTTP, а остальное было пирингово между пользователями.

Если P2P ниже, чем ожидалось, это означает, что либо параллелизм пользователя не был достаточно высок, либо сеть требует большей оптимизации. Сведения об устранении неполадок см. в документации по устранению неполадок с низкой эффективностью пиринга .

Взаимодействие с пользователем

На графике взаимодействия с пользователем отображается объединенное время, затраченное на воспроизведение, и время, затраченное на отпор (замороженное видео).

Представлено как	Описание	Axis
Зеленые полосы	Совокупное время, затраченное на игру в минутах	left
Красные полосы	Объединенное время, затраченное на отпор в минутах	left
Синяя пунктирная линия	Отношение отпора от общего времени в процентах	Правильно

Например, коэффициент отпора 2% означает, что видео воспроизводилось правильно в течение 98 % времени, в то время как в течение 2 % времени видео зависло.

В идеале отпор должен быть ниже 1%. Высокие числа или пики в отказе могут свидетельствовать о перегрузке сети, перегрузке сервера или неправильно настроенном содержимом.

Требования к сети

Платформа автоматического тестирования использует следующие домены и порты:

Hostname (Имя узла)	Порты	Протокол	Описание
*.ecdn.teams.microsoft.com	443	HTTPS	Страница средства выполнения & ресурсов
*.ecdn.teams.microsoft.com	443	WSS	Подключение WebSocket к серверной части microsoft eCDN
любой	Высокий уровень портов 10 000 +	SCTP	Это требуется для одноранговых подключений WebRTC. Может быть ограничено только локальной сетью.

Безопасность

Платформа автоматического тестирования работает путем назначения тестов средствам выполнения. Хотя средство выполнения является статической страницей, которая подключается к серверной части Microsoft eCDN, выполняемый тест является динамическим и может выполнять любую целевую страницу. По этой причине средства выполнения выполняются на веб-странице, изолированной браузером и использующее механизмы безопасности, встроенные в современные браузеры. Независимо от интеграции (за исключением пользовательских интеграций), целевая страница всегда выполняется в безопасном и чистом контексте с помощью iframe.

Сетевые разрешения также ограничены браузером и ограничены общими веб-API, включая HTTP, WebSocket, WebRTC и т. д.

Ожидая выполнения тестов, средства выполнения поддерживают постоянное подключение WebSocket через безопасное подключение TLS (WSS).

Приложение

Приложение А. Планирование автоматического теста

1. Перейдите на панель мониторинга автоматического тестирования.

2. Выберите символ +.

   

3. Заполните обязательные поля

   

   • Имя — произвольное имя по вашему выбору.

   • Время & дата — конкретное время начала теста.

   • Duration — длительность теста. Рекомендуется не менее 20 минут, чтобы обеспечить надлежащее моделирование.

   • Целевой URL-адрес — общедоступный URL-адрес страницы события, которая воспроизводит видео во время имитации события. Вы можете использовать нашу встроенную страницу или создать собственную.

     • Встроенная Stream . ECDN Майкрософт включает уже интегрированную встроенную страницу с потоковой трансляцией, которая включает несколько представлений и настраиваемые протоколы потоковой передачи.

     • Настраиваемая Stream. Может потребоваться предоставить только собственный поток трансляции и использовать автоматическую страницу eCDN Майкрософт. Поток должен быть общедоступным и содержать заголовки CORS, чтобы средства выполнения могли загрузить его. Поток автоматически воспроизводится при запуске теста.

     • Настраиваемая страница — настраиваемая страница. Страница должна содержать проигрыватель и трансляцию и интегрироваться с eCDN Майкрософт. Проигрыватель ДОЛЖЕН начать воспроизведение видео автоматически, так как во время теста взаимодействие с пользователем не выполняется. Некоторые браузеры ограничивают возможность автозапуска видео. По этой причине рекомендуется отключить звук, что упрощает ограничение. Встроенные страницы по умолчанию отключаются.

   • Фильтры устройств . Ограничьте тест определенной группой устройств. В некоторых случаях может потребоваться выполнить тест на подмножестве подключенных устройств. Например, для запуска теста только в офисах в США или только на устройствах direct runner.

     • Фильтр стран — включают только устройства из определенных стран или регионов (GeoIP).

     • Фильтр интеграции . Включает только устройства, подключенные через определенную интеграцию.

     • Фильтр идентификаторов устройств — выполнение теста только для определенных идентификаторов устройств. Этот фильтр используется в основном для локальной отладки.

4. Выберите Расписание , и тест будет создан.

5. По достижении времени начала автоматического теста тест будет выполнен на назначенных подключенных устройствах.

Приложение Б. Интеграция средств выполнения с помощью браузера без головы

Microsoft eCDN предоставляет скрипт автоматического тестирования без установки.

Этот скрипт запускает браузер chromium в фоновом режиме компьютеров на определенной странице в течение указанного времени, а затем закрывает процесс фонового браузера.

Кроме того, microsoft eCDN предоставляет скрипт для запуска автоматического тестера на удаленных компьютерах, перечисленных в Active Directory.

Примечание.

Перезапуск компьютера не приведет к автоматическому восстановлению средства выполнения, и браузер потребуется снова запустить с помощью скрипта.

Инструкции по выполнению для среды Windows

1. Скачать silent-tester-runner-windows.ps1 — скрипт PowerShell, который запускает браузер на основе chromium (Microsoft Edge или Google Chrome, если Edge не найден) в фоновом режиме в течение 24 часов.

2. Изменить silent-tester-runner-windows.ps1:

   • $TenantID— замените TENANT_ID идентификатором клиента Майкрософт.

   • $TestID— замените TEST_ID уникальной строкой идентификатора. Эта строка используется при создании файлов журнала, позволяя администраторам автоматического тестирования однозначно идентифицировать результаты теста.

   Важно!

   Каждый тест должен иметь уникальный $TestID. Если скрипт обнаруживает, что он ранее выполнялся с тем же $TestID, что и текущий экземпляр, он завершит работу без выполнения автоматического теста.

   • (Необязательно) $scenarioDuration . Задайте для браузера требуемое значение в секундах. Вы можете выполнять автоматические тесты на целевых компьютерах в течение этого времени. Так как браузер бездействует, нет никаких проблем с увеличением этого значения до нескольких дней, чтобы обеспечить большую гибкость при выполнении тестов. Этот процесс не выживет после перезагрузки системы. По умолчанию — 86 400 секунд (24 часа).

   • (Необязательно) $customChromePath . Если Microsoft Edge или Google Chrome не установлен по пути по умолчанию (C:\Program Files или C:\Program Files (x86)), задайте для этой переменной путь к исполняемому файлу браузера. Например: C:\Custom Path\Edge\msedge.exe

3. Выполните сценарий на целевых компьютерах, используя выбранный вами метод, например один из следующих параметров.

   • Использование объекта групповой политики

   • Использование SCCM

   • Или вручную из контроллера домена. Для вашего удобства мы предлагаем пример скрипта вызова.

     1. Скачать remote-invocation.ps1 — скрипт PowerShell, который выполняет silent-tester-runner-windows.ps1 на всех компьютерах в Active Directory

     2. (необязательно) Измените скрипт, чтобы ограничить запрос Active Directory определенной группой компьютеров в зависимости от ваших потребностей. Дополнительные сведения о фильтрации см. в Get-ADComputerдокументации по командлетам.

     Примечание.

     Убедитесь, что silent-tester-runner-windows.ps1 находится в том же каталоге, из чего выполняется скрипт вызова.

     Предостережение

     Для достижения наилучших результатов выполните сценарий средства выполнения в контексте пользователя. Не рекомендуется выполнять сценарий средства выполнения под учетной записью SYSTEM.

4. Перейдите на панель мониторинга автоматического тестирования и убедитесь, что целевые компьютеры теперь отображаются как средства выполнения в сети.

Инструкции по выполнению для среды Mac

1. Скачать silent-tester-runner-mac.sh — скрипт Bash, который запускает Google Chrome в фоновом режиме в течение 24 часов.

2. Изменить silent-tester-runner-mac.sh:

   1. ecdnCustomerId — замените CUSTOMER_ID идентификатором клиента Майкрософт.

   2. (Необязательно) scenarioDuration — задайте для браузера требуемое значение в секундах. Вы можете выполнять автоматические тесты на целевых компьютерах в течение этого времени. Так как браузер бездействует, нет никаких проблем с увеличением этого значения до нескольких дней, чтобы обеспечить большую гибкость при выполнении тестов. По умолчанию — 86 400 секунд (24 часа).

3. В зависимости от средства, используемого для управления устройствами на сайте, например Jamf Pro, существуют различные способы выполнения скрипта на разных компьютерах.