Поделиться через

Проверка подключения ExpressRoute.

  • Статья

Изучив сведения из этой статьи, вы узнаете, как проверить и устранить неполадки с подключением Azure ExpressRoute. ExpressRoute расширяет локальную сеть в Microsoft Cloud через частное подключение, предоставляемое поставщиком подключений. Подключение ExpressRoute включает три отдельные сетевые зоны:

  • Клиентская сеть
  • сеть поставщика;
  • центр обработки данных Майкрософт.

Примечание.

В модели подключения ExpressRoute Direct можно напрямую подключиться к порту маршрутизаторов Microsoft Enterprise Edge (MSEE). Эта модель включает только сеть и зоны сети Майкрософт.

В этой статье показано, как определить проблемы с подключением и получить поддержку от соответствующей команды, чтобы устранить их.

Внимание

Эта статья предназначена для диагностики и устранения простых проблем. Это не замена для поддержки Майкрософт. Если вы не можете решить проблему с помощью этого руководства, откройте запрос в службу поддержки с служба поддержки Майкрософт.

Обзор

На следующей схеме показано логическое подключение между клиентской сетью и сетью Майкрософт через ExpressRoute. 1

На схеме цифры указывают ключевые сетевые точки:

  1. Клиентское вычислительное устройство (например, сервер или компьютер).
  2. Клиентские пограничные маршрутизаторы (CE).
  3. Пограничные маршрутизаторы поставщика или коммутаторы (PEs) с пограничными маршрутизаторами клиента.
  4. PEs с маршрутизаторами Microsoft Enterprise Edge ExpressRoute (MSE), называемыми PE-MSE.
  5. MSEE.
  6. Шлюз виртуальной сети.
  7. Вычислительные устройства в виртуальной сети Azure.

Эти сетевые точки ссылаются на их связанное число по всей статье.

В зависимости от модели подключения ExpressRoute точки сети 3 и 4 могут быть коммутаторами (устройствами уровня 2) или маршрутизаторами (устройствами уровня 3). Модели подключения — это совместное размещение облачных exchange, подключение Ethernet типа "точка — точка" или "любой" (IPVPN).

В модели прямого подключения отсутствуют точки сети 3 и 4. Вместо этого CE (2) напрямую подключаются к MSEE через темное волокно.

Если используется модель совместного размещения в Cloud Exchange, подключение типа "точка — точка" через Ethernet или прямое подключение, в пограничных маршрутизаторах клиента (2) устанавливается пиринг по протоколу BGP с MSEE (5).

Если используется модель подключения типа "любой к любому" (IPVPN), маршрутизаторы PE (подключенные к MSEE) (4) устанавливают пиринг BGP с маршрутизаторами MSEE (5). Маршрутизаторы периметра провайдера (РЕ), подключенные к MSEE, распространяют маршруты в обратном направлении в сеть клиента по сети поставщика услуг IPVPN.

Примечание.

Для обеспечения высокой доступности корпорация Майкрософт устанавливает полное избыточное параллельное подключение между парами MSEE и PE-MSEE. Также рекомендуется использовать полностью избыточный параллельный сетевой путь между клиентской сетью и парами маршрутизаторов PE-CE. Дополнительные сведения о высокой доступности см. в разделе "Проектирование обеспечения высокой доступности" с помощью ExpressRoute.

В последующих разделах приведены логические шаги для устранения неполадок канала ExpressRoute.

Проверка подготовки и состояния канала

При подготовке канала ExpressRoute устанавливается избыточное подключение уровня 2 между маршрутизаторами CE/PE-MSEE (2/4) и MSEE (5). Дополнительные сведения о создании, изменении, подготовке и проверке канала ExpressRoute см. в статье "Создание и изменение канала ExpressRoute".

Совет

Ключ службы однозначно идентифицирует канал ExpressRoute. Если вам нужна помощь от корпорации Майкрософт или партнера ExpressRoute для устранения проблемы, укажите ключ службы, чтобы легко определить канал.

Проверка на портале Azure

В портал Azure перейдите на страницу для канала ExpressRoute. В 3 разделе страницы перечислены основные компоненты ExpressRoute, как показано на следующем снимке экрана:

4

В разделе "Основные компоненты ExpressRoute" состояние канала указывает состояние канала на стороне Майкрософт, а состояние поставщика указывает, был ли канал подготовлен поставщиком услуг.

Для работы канала ExpressRoute параметр Состояние цепи должен иметь значение Включено, а параметр Состояние поставщика — значение Подготовлено.

Примечание.

Если состояние канала не включено, обратитесь к служба поддержки Майкрософт. Если состояние поставщика не подготовлено, обратитесь к поставщику услуг.

Проверка с помощью PowerShell

Чтобы перечислить все каналы ExpressRoute в группе ресурсов, используйте следующую команду:

Get-AzExpressRouteCircuit -ResourceGroupName "Test-ER-RG"

Совет

Чтобы найти имя группы ресурсов, используйте Get-AzResourceGroup команду для перечисления всех групп ресурсов в подписке.

Чтобы получить сведения о конкретном канале ExpressRoute в группе ресурсов, используйте следующую команду:

Get-AzExpressRouteCircuit -ResourceGroupName "Test-ER-RG" -Name "Test-ER-Ckt"

Вот пример ответа:

Name                             : Test-ER-Ckt
ResourceGroupName                : Test-ER-RG
Location                         : westus2
Id                               : /subscriptions/***************************/resourceGroups/Test-ER-RG/providers/***********/expressRouteCircuits/Test-ER-Ckt
Etag                             : W/"################################"
ProvisioningState                : Succeeded
Sku                              : {
                                    "Name": "Standard_UnlimitedData",
                                    "Tier": "Standard",
                                    "Family": "UnlimitedData"
                                   }
CircuitProvisioningState         : Enabled
ServiceProviderProvisioningState : Provisioned
ServiceProviderNotes             :
ServiceProviderProperties        : {
                                    "ServiceProviderName": "****",
                                    "PeeringLocation": "******",
                                    "BandwidthInMbps": 100
                                   }
ServiceKey                       : **************************************
Peerings                         : []
Authorizations                   : []

Чтобы убедиться, что канал ExpressRoute работает, убедитесь, что следующие поля заданы правильно.

CircuitProvisioningState         : Enabled
ServiceProviderProvisioningState : Provisioned

Примечание.

Если состояние канала не включено, обратитесь к служба поддержки Майкрософт. Если состояние поставщика не подготовлено, обратитесь к поставщику услуг.

Проверка конфигурации пиринга

После подготовки канала ExpressRoute поставщик услуг можно создать несколько конфигураций маршрутизации с помощью внешней BGP (eBGP) по каналу между CEs/MSEE-PEs (2/4) и MSEEs (5). Каждый канал ExpressRoute может иметь одну или обе из следующих конфигураций пиринга:

  • Частный пиринг Azure: для трафика в частные виртуальные сети в Azure
  • Пиринг Майкрософт: для трафика к общедоступным конечным точкам платформы как услуга (PaaS) и программному обеспечению как услуга (SaaS)

Дополнительные сведения о создании и изменении конфигураций маршрутизации см. в статье "Создание и изменение маршрутизации для канала ExpressRoute".

Проверка на портале Azure

Примечание.

В модели подключения IPVPN поставщики услуг отвечают за настройку пиринга (служб уровня 3). Если пиринг пустой на портале после настройки поставщика услуг, попробуйте обновить конфигурацию канала с помощью кнопки обновления на портале. Эта операция извлечет правильную конфигурацию маршрутизации из вашей схемы.

В портал Azure можно проверить состояние канала ExpressRoute на своей странице. В 3 разделе перечислены пиринги ExpressRoute, как показано на следующем снимке экрана:

5

В предыдущем примере частный пиринг Azure подготовлен, но общедоступные и пиринги Майкрософт не являются. Контекст пиринга, подготовленный успешно, также будет перечислять основные и вторичные подсети точек. Подсети /30 используются для IP-адресов интерфейса MSE и CEs/PE-MSE. В списке также указывается, кто в последний раз изменил конфигурацию.

Примечание.

В случае сбоя включения пиринга проверьте, соответствуют ли назначенные первичные и вторичные подсети конфигурации связанных маршрутизаторов CE/PE-MSEE. Кроме того, убедитесь, что VlanIdAzureASNзначения и PeerASN значения в MSE соответствуют соответствующим значениям в связанном CE/PE-MSEE.

Если выбран хэширование MD5, убедитесь, что общий ключ совпадает с парами MSEE и CE/PE-MSEE. Ранее настроенные общие ключи не будут отображаться по соображениям безопасности.

Если на маршрутизаторе MSEE необходимо изменить любую из этих конфигураций, см. статью Создание и изменение маршрутизации для канала ExpressRoute.

Примечание.

В подсети /30, назначенной интерфейсу, корпорация Майкрософт будет использовать второй используемый IP-адрес для интерфейса MSEE. Убедитесь, что первый доступный IP-адрес назначается одноранговому CE/PE-MSEE.

Проверка с помощью PowerShell

Чтобы получить дополнительные сведения о конфигурации частного пиринга Azure, используйте следующие команды:

$ckt = Get-AzExpressRouteCircuit -ResourceGroupName "Test-ER-RG" -Name "Test-ER-Ckt"
Get-AzExpressRouteCircuitPeeringConfig -Name "AzurePrivatePeering" -ExpressRouteCircuit $ckt

Вот пример ответа в случае успешной настройки частного пиринга:

Name                       : AzurePrivatePeering
Id                         : /subscriptions/***************************/resourceGroups/Test-ER-RG/providers/***********/expressRouteCircuits/Test-ER-Ckt/peerings/AzurePrivatePeering
Etag                       : W/"################################"
PeeringType                : AzurePrivatePeering
AzureASN                   : 12076
PeerASN                    : 123##
PrimaryPeerAddressPrefix   : 172.16.0.0/30
SecondaryPeerAddressPrefix : 172.16.0.4/30
PrimaryAzurePort           :
SecondaryAzurePort         :
SharedKey                  :
VlanId                     : 200
MicrosoftPeeringConfig     : null
ProvisioningState          : Succeeded

Контекст пиринга успешно включен, перечисляет префиксы первичного и вторичного адресов. Подсети /30 используются для IP-адресов интерфейса MSE и CEs/PE-MSE.

Чтобы получить дополнительные сведения о конфигурации пиринга Майкрософт, используйте следующие команды:

$ckt = Get-AzExpressRouteCircuit -ResourceGroupName "Test-ER-RG" -Name "Test-ER-Ckt"
Get-AzExpressRouteCircuitPeeringConfig -Name "MicrosoftPeering" -ExpressRouteCircuit $ckt

Если пиринг не настроен, вы получите сообщение об ошибке. Ниже приведен пример ответа, когда указанный пиринг не настроен в канале:

Get-AzExpressRouteCircuitPeeringConfig : Sequence contains no matching element
At line:1 char:1
    + Get-AzExpressRouteCircuitPeeringConfig -Name "MicrosoftPeering ...
    + ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
        + CategoryInfo          : CloseError: (:) [Get-AzExpr...itPeeringConfig], InvalidOperationException
        + FullyQualifiedErrorId : Microsoft.Azure.Commands.Network.GetAzureExpressRouteCircuitPeeringConfigCommand

Примечание.

В случае сбоя включения пиринга проверьте, соответствуют ли назначенные первичные и вторичные подсети конфигурации связанных маршрутизаторов CE/PE-MSEE. Кроме того, убедитесь, что VlanIdAzureASNзначения и PeerASN значения в MSE соответствуют соответствующим значениям в связанном CE/PE-MSEE.

Если выбран хэширование MD5, убедитесь, что общий ключ совпадает с парами MSEE и CE/PE-MSEE. Ранее настроенные общие ключи не будут отображаться по соображениям безопасности.

Если на маршрутизаторе MSEE необходимо изменить любую из этих конфигураций, см. статью Создание и изменение маршрутизации для канала ExpressRoute.

Примечание.

В подсети /30, назначенной интерфейсу, корпорация Майкрософт будет использовать второй используемый IP-адрес для интерфейса MSEE. Убедитесь, что первый доступный IP-адрес назначается одноранговому CE/PE-MSEE.

Проверка ARP

Таблица протокола ARP обеспечивает сопоставление IP-адреса и MAC-адреса для конкретного пиринга. Таблица ARP для пиринга канала ExpressRoute содержит следующие сведения о каждом интерфейсе (первичном и вторичном).

  • Сопоставление IP-адреса интерфейса локального маршрутизатора с MAC-адресом.
  • Сопоставление IP-адреса интерфейса маршрутизатора ExpressRoute с MAC-адресом (необязательно).
  • Длительность сопоставления.

Таблицы ARP помогают проверить конфигурацию уровня 2 и устранить проблемы с подключением на базовом уровне 2.

Примечание.

В зависимости от аппаратной платформы результаты ARP могут отличаться и отображать только локальный интерфейс.

Сведения о том, как просмотреть таблицу ARP пиринга ExpressRoute и как использовать эту информацию для устранения неполадок подключения уровня 2, см. в документе Получение таблиц ARP в модели развертывания с помощью Resource Manager.

Проверка BGP и маршрутов MSEE

Чтобы получить таблицу маршрутизации из MSEE на основном пути для контекста частной маршрутизации, используйте следующую команду:

Get-AzExpressRouteCircuitRouteTable -DevicePath Primary -ExpressRouteCircuitName <CircuitName> -PeeringType AzurePrivatePeering -ResourceGroupName <ResourceGroupName>

Пример ответа:

Network : 10.1.0.0/16
NextHop : 10.17.17.141
LocPrf  :
Weight  : 0
Path    : 65515

Network : 10.1.0.0/16
NextHop : 10.17.17.140*
LocPrf  :
Weight  : 0
Path    : 65515

Network : 10.2.20.0/25
NextHop : 172.16.0.1
LocPrf  :
Weight  : 0
Path    : 123##

Примечание.

Если состояние пиринга eBGP между MSEE и CE/PE-MSEE является активным или неактивным, убедитесь, что основной и вторичный одноранговые подсети соответствуют конфигурации связанного CE/PE-MSEE. VlanIdУбедитесь, что значения и AzureASNPeerASN значения правильны для MSE и соответствуют соответствующим значениям в связанном CE/PE-MSEE. Если используется хэширование MD5, общий ключ должен быть одинаковым для пар MSEE и CE/PE-MSEE. Сведения об изменениях конфигурации маршрутизатора MSEE см. в статье "Создание и изменение маршрутизации для канала ExpressRoute".

Примечание.

Если некоторые назначения недоступны для пиринга, проверьте таблицу маршрутов MSEE для соответствующего контекста пиринга. Если присутствует соответствующий префикс, убедитесь, что брандмауэры, группы безопасности сети или списки управления доступом не блокируют трафик.

Пример ответа для несуществующего пиринга:

Get-AzExpressRouteCircuitRouteTable : The BGP Peering AzurePublicPeering with Service Key <ServiceKey> is not found.
StatusCode: 400

Подтверждение наличия трафика

Чтобы получить статистику трафика (байты в и выходе) для контекста пиринга, используйте следующую команду:

Get-AzExpressRouteCircuitStats -ResourceGroupName <ResourceGroupName> -ExpressRouteCircuitName <CircuitName> -PeeringType 'AzurePrivatePeering'

Пример результата:

PrimaryBytesIn PrimaryBytesOut SecondaryBytesIn SecondaryBytesOut
-------------- --------------- ---------------- -----------------
    240780020       239863857        240565035         239628474

Пример выходных данных для несуществующего пиринга:

Get-AzExpressRouteCircuitRouteTable : The BGP Peering AzurePublicPeering with Service Key <ServiceKey> is not found.
StatusCode: 400

Тестирование частного пирингового подключения

Проверьте подключение к частному пирингу, подсчитывая пакеты, поступающие и покидая microsoft edge канала ExpressRoute на устройствах MSEE. Это средство диагностики использует ACL для подсчета пакетов с определенными правилами, подтверждение подключения.

Проверка

  1. В портал Azure выберите "Диагностика и решение проблем" в канале ExpressRoute.

  2. Выберите проблемы с подключением и производительностью.

  3. В раскрывающемся списке "Сообщите нам больше о проблеме" выберите "Проблемы с частным пирингом".

  4. Разверните раздел подключения к частному пирингу теста.

  5. Запустите тест PsPing из локального IP-адреса в IP-адрес Azure и сохраните его во время теста.

  6. Заполните поля формы теми же IP-адресами, которые используются на шаге 5, а затем нажмите кнопку "Отправить " и ждать результатов.

    Форма для отладки ACL.

Интерпретация результатов

Просмотрите результаты для основных и вторичных устройств MSEE:

  • Совпадения, отправленные и полученные в обоих msEE: указывает на здоровый трафик входящего и исходящего трафика. Любая потеря ниже по сравнению с MSE.

  • Полученные совпадения, но не отправленные совпадения: трафик достигает Azure, но не возвращается. Проверьте проблемы с маршрутизацией пути возврата.

  • Отправленные совпадения, но не полученные совпадения: трафик достигает локальной среды, но не возвращается в Azure. Чтобы устранить проблему, обратитесь к поставщику.

  • Один MSEE не показывает совпадений, другой показывает хорошие совпадения: указывает, что один MSEE не получает или передает трафик. Это может быть автономно.

  • Если при проверке с помощью PsPing из локальной среды в Azure (полученные пакеты) вы получаете совпадения, но при отправке совпадений нет, это свидетельствует о том, что трафик отправляется в Azure, но не возвращается в локальную среду. Проверьте, нет ли проблем маршрутизации обратного пути. Например, проверьте, объявляете ли вы соответствующие префиксы в Azure. Переопределяет ли префиксы определяемый пользователем маршрут (UDR)?

  • Если при проверке с помощью PsPing из Azure в локальную среду (отправленные пакеты) совпадений нет, но при получении совпадения отсутствуют, это свидетельствует о том, что трафик поступает в локальную среду, но не возвращается в Azure. Обратитесь к своему поставщику, чтобы определить, почему трафик не направляется в Azure через ваш канал ExpressRoute.

  • Один маршрутизатор MSEE не показывает совпадений, а другой показывает.Это свидетельствует о том, что один маршрутизатор MSEE не получает или не передает трафик. Возможно, он отключен (например, BGP/ARP не работает).

    • Вы можете выполнить дополнительное тестирование, чтобы выявить неработоспособный путь, объявив уникальный локальный маршрут /32 через сеанс BGP на этом пути.
    • Запустите команду "Проверить подключение к частному пирингу" с помощью уникального адреса /32, объявленного в качестве локального адреса назначения, и просмотрите результаты, чтобы подтвердить работоспособность пути.

Результаты проверки каждого устройства MSEE будут выглядеть аналогично тому, как показано в примере ниже.

src 10.0.0.0 dst 20.0.0.0 dstport 3389 (received): 120 matches
src 20.0.0.0 srcport 3389 dst 10.0.0.0 (sent): 120 matches

Проверка доступности шлюза виртуальной сети

Шлюз виртуальной сети ExpressRoute управляет подключением к службам приватного канала и частным IP-адресам в виртуальной сети Azure. Корпорация Майкрософт управляет этой инфраструктурой и может выполнять обслуживание, уменьшая производительность.

Чтобы устранить проблемы с подключением и проверить наличие недавнего обслуживания:

  1. В портал Azure выберите "Диагностика и решение проблем" в канале ExpressRoute.

  2. Выберите "Проблемы с производительностью".

  3. Дождитесь выполнения и интерпретации результатов диагностика.

    Результаты диагностики.

Если обслуживание произошло во время потери пакетов или задержки, возможно, это привело к проблемам с подключением. Выполните рекомендуемые действия и рассмотрите возможность обновления номера SKU шлюза виртуальной сети, чтобы обеспечить более высокую пропускную способность и избежать будущих проблем.

Следующие шаги

Дополнительные сведения доступны в следующих источниках: