Поделиться через

Устранение неполадок с мостом ресурсов Azure Arc

  • Статья

В этой статье содержатся сведения об устранении неполадок и устранении проблем, которые могут возникнуть при попытке развернуть, использовать или удалить мост ресурсов Azure Arc. Мост ресурсов — это упакованая виртуальная машина, в которой размещается кластер Kubernetes управления . Общие сведения см. в обзоре моста ресурсов Azure Arc.

Общие проблемы

сбор журналов;

Для проблем, возникающих с мостом ресурсов Arc, соберите журналы для дальнейшего изучения с помощью команды Azure CLI az arcappliance logs . Эта команда должна выполняться с компьютера управления, используемого для развертывания моста ресурсов Arc. Если вы используете другой компьютер, компьютер должен соответствовать требованиям к компьютеру управления.

Если возникает проблема с сбором журналов, скорее всего, компьютер управления не может связаться с виртуальной машиной устройства. Обратитесь к администратору сети, чтобы разрешить подключение SSH с компьютера управления к виртуальной машине устройства на TCP-порте 22.

Журналы моста ресурсов Arc можно собирать, передав IP-адрес виртуальной машины устройства или kubeconfig в команде журналов.

Чтобы собрать журналы моста ресурсов Arc в VMware с помощью IP-адреса виртуальной машины устройства:

az arcappliance logs vmware --ip <appliance VM IP> --username <vSphere username> --password <vSphere password> --address <vCenter address> --out-dir <path to output directory>

Сведения о сборе журналов Arc Resource Bridge для Azure Stack HCI см. в статье "Сбор журналов".

Если вы не уверены в IP-адресе виртуальной машины устройства, можно также использовать kubeconfig. Вы можете получить kubeconfig, выполнив команду get-credentials, а затем выполните команду журналов.

Чтобы получить kubeconfig и ключ журнала, затем соберите журналы для VMware с поддержкой Arc с другого компьютера, отличного от используемого для развертывания моста ресурсов Arc для VMware с поддержкой Arc:

az account set -s <subscription id>
az arcappliance get-credentials -n <Arc resource bridge name> -g <resource group name> 
az arcappliance logs vmware --kubeconfig kubeconfig --out-dir <path to specified output directory>

Подключение к скачиванию и отправке не выполнено успешно

Если скорость сети низка, возможно, вы не сможете успешно скачать образ виртуальной машины моста ресурсов Arc, что приведет к этой ошибке: ErrorCode: ValidateKvaError, Error: Pre-deployment validation of your download/upload connectivity was not successful. Timeout error occurred during download and preparation of appliance image to the on-premises fabric storage. Common causes of this timeout error are slow network download/upload speeds, a proxy limiting the network speed or slow storage performance.

В качестве обходного решения попробуйте создать виртуальную машину непосредственно в локальном частном облаке, а затем запустить скрипт развертывания моста ресурсов Arc с этой виртуальной машины. Это приведет к более быстрой отправке изображения в хранилище данных.

Время ожидания контекста во время этапа ApplyingKvaImageOperator

При развертывании моста ресурсов Arc может появиться эта ошибка: Deployment of the Arc resource bridge appliance VM timed out. Collect logs with _az arcappliance logs_ and create a support ticket for help. To troubleshoot the error, refer to aka.ms/arc-rb-error { _errorCode_: _ContextError_, _errorResponse_: _{\n\_message\_: \_Context timed out during phase _ApplyingKvaImageOperator_\_\n}_ }

Эта ошибка обычно возникает при попытке скачать KVAIO образ (400 МБ сжатым) через сеть, которая замедляется или возникает периодические подключения. KVAIO Диспетчер контроллера ожидает завершения загрузки образа и истекает время ожидания.

Убедитесь, что скорость сети между виртуальной машиной моста ресурсов Arc и реестромmcr.microsoft.com контейнеров Майкрософт () стабильна и не менее 2 Мбит/с. Если сетевое подключение и скорость стабильны, и вы по-прежнему получаете эту ошибку, подождите не менее 30 минут, прежде чем повторить попытку, так как это может быть связано с реестром контейнеров Майкрософт, получающим большой объем трафика.

Время ожидания контекста во время этапа WaitingForAPIServer

При развертывании моста ресурсов Arc может появиться эта ошибка: Deployment of the Arc resource bridge appliance VM timed out. Collect logs with _az arcappliance logs_ and create a support ticket for help. To troubleshoot the error, refer to aka.ms/arc-rb-error { _errorCode_: _ContextError_, _errorResponse_: _{\n\_message\_: \_Context timed out during phase _WaitingForAPIServer

Эта ошибка означает, что компьютер развертывания не может связаться с IP-адресом плоскости управления для моста ресурсов Arc в течение ограниченного времени. Распространенные причины ошибки часто связаны с сетью, например обмен данными между компьютером развертывания и IP-адресом плоскости управления, передаваемым через прокси-сервер. Трафик от компьютера развертывания к плоскости управления и IP-адреса виртуальных машин устройства не должны проходить через прокси-сервер. Если трафик является прокси-сервером, настройте параметры прокси-сервера в сети или на компьютере развертывания, чтобы не прокси-трафик между компьютером развертывания и IP-адресом виртуальной машины устройства управления. Еще одна причина этой ошибки заключается в том, что брандмауэр закрывает доступ к порту 6443 и порту 22 между компьютером развертывания и IP-адресом плоскости управления или виртуальными машинами развертывания и виртуальными машинами устройства.

403 Запрещено или 404 Сайт не найден

При развертывании моста ресурсов Arc может появиться эта ошибка: { _errorCode_: _UploadError_, _errorResponse_: _{\n\_message\_: \_Pre-deployment validation of your download/upload connectivity was not successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_403 Forbidden{ _errorCode_: _UploadError_, _errorResponse_: _{\n\_message\_: \_Pre-deployment validation of your download/upload connectivity was not successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_404 Site Not Found

Эта ошибка возникает, когда образы необходимо скачать из реестров Майкрософт на компьютер развертывания, но прокси-сервер или брандмауэр блокирует скачивание. Проверьте требования к сети и убедитесь, что доступны все необходимые URL-адреса. Возможно, вам потребуется обновить параметры прокси-сервера, чтобы убедиться, что трафик с компьютера развертывания на необходимые URL-адреса Майкрософт не проходит через прокси-сервер.

Доступ к папке SSH запрещен

Интерфейс командной строки требует разрешения на доступ к папке SSH во время развертывания или операций, включающих доступ к файлам в папке. Эта папка содержит основные файлы, такие как kubeconfig и ключ журналов для виртуальной машины устройства. Например, интерфейс командной строки должен получить доступ к ключу журналов, хранящимся в папке SSH, чтобы собирать журналы с виртуальной машины устройства.

Эта ошибка может появиться: Access to the file in the SSH folder was denied. This may occur if the CLI doesn't have permission to the SSH folder or if another CLI instance is using the file Существует две распространенные причины этой проблемы:

  • Недостаточно разрешений. Интерфейс командной строки не имеет необходимых разрешений для доступа к папке SSH. Убедитесь, что учетная запись пользователя, на котором запущена интерфейс командной строки, имеет соответствующие разрешения для доступа к папке SSH.
  • Одновременный доступ к файлам: другой экземпляр интерфейса командной строки может использовать файл в папке SSH. Это часто происходит на рабочих станциях с общими профилями. Прежде чем продолжить, убедитесь, что любой другой экземпляр CLI завершит или завершит свою операцию.

Мост ресурсов Arc находится в автономном режиме

Сетевые изменения в инфраструктуре, среде или кластере могут остановить возможность взаимодействия виртуальной машины устройства с соответствующим ресурсом Azure. Если вы не можете определить, что изменилось, вы можете перезагрузить виртуальную машину устройства, собрать журналы и отправить запрос в службу поддержки для дальнейшего изучения.

Удаленная оболочка PowerShell не поддерживается

При выполнении az arcappliance команд CLI для моста ресурсов Arc с помощью удаленной оболочки PowerShell может возникнуть ошибка подтверждения проверки подлинности при попытке установить мост ресурсов в кластере Azure Stack HCI или другом типе ошибки.

Использование az arcappliance команд из удаленного PowerShell в настоящее время не поддерживается. Вместо этого войдите на узел с помощью протокола удаленного рабочего стола (RDP) или используйте сеанс консоли.

Не удается обновить конфигурации моста ресурсов

В этом выпуске все параметры задаются во время создания. Чтобы обновить мост ресурсов Arc, необходимо удалить его и повторно развернуть.

Например, если во время развертывания указать неправильное расположение или подписку, создание ресурсов завершается ошибкой. Если вы пытаетесь повторно создать ресурс без повторного развертывания виртуальной машины моста ресурсов, состояние зависает WaitForHeartBeat.

Чтобы устранить эту проблему, удалите устройство и обновите файл YAML устройства. После этого повторно разверните и создайте мост ресурсов.

Сеть устройства недоступна

Если мост ресурсов Arc испытывает проблемы с сетью Appliance Network Unavailable , может появиться ошибка. Как правило, любая проблема с подключением к сети или инфраструктуре к виртуальной машине устройства может привести к этой ошибке. Эта ошибка также может отображаться как Error while dialing dial tcp xx.xx.xxx.xx:55000: connect: no route to host. Проблема может быть в том, что связь между узлом и виртуальной машиной моста ресурсов Arc должна быть открыта через TCP-порт 22 с помощью администратора сети. Временная проблема с сетью может не позволить узлу добраться до виртуальной машины моста ресурсов Arc. После устранения сетевой проблемы можно повторить операцию. Вы также можете проверить, что виртуальная машина устройства для моста ресурсов Arc не остановлена или отключена. При использовании Azure Stack HCI эта ошибка может быть вызвана, если хранилище узла заполнено.

Ошибка обновления маркера

При выполнении команд Azure CLI может возникнуть следующая ошибка: The refresh token has expired or is invalid due to sign-in frequency checks by conditional access.

Эта ошибка возникает, так как при входе в Azure маркер имеет максимальное время существования. При превышении срока существования необходимо снова войти в Azure с помощью az login команды.

Пулы ресурсов узла по умолчанию недоступны для развертывания

При использовании az arcappliance createconfig или az arcappliance run команды интерактивный интерфейс отображает список сущностей VMware, которые можно выбрать для развертывания виртуального устройства. В этом списке показаны все пулы ресурсов, созданные пользователем, а также пулы ресурсов кластера по умолчанию, но пулы ресурсов узла по умолчанию не перечислены. При развертывании устройства в пуле ресурсов узла высокий уровень доступности отсутствует, если оборудование узла завершается сбоем. Рекомендуется не развертывать устройство в пуле ресурсов узла.

Состояние моста ресурсов находится в автономном режиме, а состояние подготовки — сбой

При развертывании моста ресурсов Arc мост может быть успешно развернут, так как при выполнении или az arcappliance createпри выполнении az arcappliance deploy не возникали ошибки. Однако при просмотре моста в портал Azure может отображаться состояние, отображающееся какOffline, и az arcappliance show может отображаться provisioningState как Failed. Эта проблема возникает, когда необходимые поставщики не регистрируются перед развертыванием моста.

Для Azure Stack HCI версии 23H2 и более поздних версий мост ресурсов Arc автоматически развертывается во время развертывания кластера, а установка вручную больше не требуется.

Если мост ресурсов Arc находится в автономном режиме, попробуйте перезапустить виртуальную машину Моста ресурсов Arc. Если проблема будет повторяться, обратитесь в службу поддержки Майкрософт.

Примечание.

Переустановка моста ресурсов Arc в Azure Stack HCI может привести к проблемам с существующими ресурсами Azure.

Чтобы устранить эту проблему, удалите мост ресурсов, зарегистрируйте поставщиков, а затем повторно разверните мост ресурсов.

  1. Удалите мост ресурсов:

    az arcappliance delete <fabric> --config-file <path to appliance.yaml>

  2. Зарегистрируйте поставщиков:

    az provider register --namespace Microsoft.ExtendedLocation –-wait
az provider register --namespace Microsoft.ResourceConnector –-wait

  3. Повторно разверните мост ресурсов.

Примечание.

У партнерских продуктов (таких как VMware vSphere с поддержкой Arc) могут быть собственные поставщики для регистрации. Сведения об этих дополнительных поставщиках см. в документации по продукту.

Истекшие учетные данные на виртуальной машине устройства

Мост ресурсов Arc состоит из виртуальной машины устройства, развернутой в локальной инфраструктуре. Виртуальная машина устройства поддерживает подключение к конечной точке управления локальной инфраструктуры с использованием локально сохраненных учетных данных. Если эти учетные данные не обновляются, мост ресурсов больше не может взаимодействовать с конечной точкой управления. Это может привести к проблемам при попытке обновить мост ресурсов или управлять виртуальными машинами через Azure.

Чтобы устранить эту проблему, необходимо обновить учетные данные на виртуальной машине устройства. Дополнительные сведения см. в разделе "Обновление учетных данных" на виртуальной машине устройства.

Мост ресурсов Arc не поддерживает приватный канал. Вызовы, поступающие из виртуальной машины устройства, не должны проходить через настройку приватного канала. IP-адреса приватного канала могут конфликтуть с диапазоном IP-пула устройств, который не настраивается на мосту ресурсов. Мост ресурсов Arc достигает необходимых URL-адресов , которые не должны проходить через подключение к приватной связи. Необходимо развернуть мост ресурсов Arc в отдельном сетевом сегменте, не связанном с настройкой приватного канала.

Проблемы с сетью

Ошибка обратного извлечения изображения

При попытке развернуть мост ресурсов Arc может появиться ошибка, содержащая back-off pulling image \\\"url"\\\: FailFastPodCondition. Эта ошибка возникает, когда виртуальная машина устройства не может получить URL-адрес, указанный в ошибке. Чтобы устранить эту проблему, убедитесь, что виртуальная машина устройства соответствует требованиям к системе, включая подключение к Интернету для необходимых URL-адресов списка разрешений.

Компьютер управления не может получить доступ к устройству

При попытке развернуть мост ресурсов Arc может появиться сообщение об ошибке, аналогичное следующему:

{ _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_Timeout occurred due to management machine being unable to reach the appliance VM IP, 10.2.196.170. Ensure that the requirements are met: https://aka.ms/arb-machine-reqs: dial tcp 10.2.196.170:22: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.\_\n}_, _errorMetadata_: { _errorCategory_: __ }

Эта ошибка возникает, когда компьютер управления не может связаться с IP-адресом виртуальной машины моста Arc по протоколу SSH (порт 22) или серверу API (порт 6443). Это также может произойти, если прокси-сервер API моста arc; Сервер API моста ресурсов Arc необходимо добавить в параметры noproxy. Дополнительные сведения см. в статье о требованиях к сети моста ресурсов Azure Arc.

Не удается подключиться к URL-адресу

Если появится сообщение об ошибке Not able to connect to https://example.url.com, обратитесь к администратору сети, чтобы убедиться, что сеть позволяет всем необходимым URL-адресам брандмауэра и прокси-сервера развертывать мост ресурсов Arc. Дополнительные сведения см. в статье о требованиях к сети моста ресурсов Azure Arc.

Не удается подключиться — проверка подключения к сети и Интернету завершилась ошибкой

При развертывании моста ресурсов Arc может появиться сообщение об ошибке в errorCode виде errorResponse PostOperationsErrorкода GuestInternetConnectivityError с URL-адресом, указывающим порт 53 (DNS). Эта ошибка может возникнуть из-за того, что IP-адреса виртуальных машин устройства не могут получить доступ к DNS-серверам, поэтому они не могут разрешить конечную точку, указанную в ошибке.

Примеры ошибок:

{ _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_{\\n  \\\_code\\\_:\\\_GuestInternetConnectivityError\\\_,\\n\\\_message\\\_:\\\_Not able to connect to http://aszhcitest01.company.org:55000. Error returned: action failed after 5 attempts: Get \\\\\\\_http://aszhcitest01.company.org:55000\\\\\\\_: dial tcp: lookup aszhcitest01.company.org on 127.0.0.53:53: read udp 127.0.0.1:32975-\\u003e127.0.0.53:53: i/o timeout. Arc Resource Bridge network and internet connectivity validation failed: cloud-agent-connectivity-test. 1. check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM.   2. Check firewall/proxy settings\\\_\\n }\_\n}_ }

{ _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_{\\n  \\\_code\\\_: \\\_GuestInternetConnectivityError\\\_,\\n  \\\_message\\\_: \\\_Not able to connect to https://linuxgeneva-microsoft.azurecr.io. Error returned: action failed after 5 attempts: Get \\\\\\\_https://linuxgeneva-microsoft.azurecr.io\\\\\\\_: dial tcp: lookup linuxgeneva-microsoft.azurecr.io on 127.0.0.53:53: server misbehaving. Arc Resource Bridge network and internet connectivity validation failed: http-connectivity-test-arc. 1. Please check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM.   2. Check firewall/proxy settings\\\_\\n }\_\n}_ }

Чтобы устранить эти ошибки, обратитесь к администратору сети, чтобы разрешить IP-адресам виртуальных машин устройства обращаться к DNS-серверам. Дополнительные сведения см. в статье о требованиях к сети моста ресурсов Azure Arc.

Http2-сервер отправил GOAWAY

При попытке развертывания моста ресурсов Arc могут появиться сообщения об ошибках, аналогичные приведенным ниже:

"errorResponse": "{\n\"message\": \"Post \\\"https://region.dp.kubernetesconfiguration.azure.com/azure-arc-appliance-k8sagents/GetLatestHelmPackagePath?api-version=2019-11-01-preview\\u0026releaseTrain=stable\\\": http2: server sent GOAWAY and closed the connection; LastStreamID=1, ErrCode=NO_ERROR, debug=\\\"\\\"\"\n}"

or

Post \_https://canadacentral.dp.kubernetesconfiguration.azure.com/azure-arc-appliance-k8sagents/GetLatestHelmPackagePath?api-version=2019-11-01-preview\u0026releaseTrain=stable\_: read tcp 10.128.131.173:52425-\u003e52.228.84.81:443: wsarecv: An existing connection was forcibly closed by the remote host.

Эти ошибки могут возникать, когда брандмауэр или прокси-сервер включает проверку SSL/TLS и блокирует вызовы http2 с компьютера, используемого для развертывания моста ресурсов. Чтобы подтвердить проблему, выполните следующий командлет PowerShell, чтобы вызвать веб-запрос с http2 (требуется PowerShell версии 7 или более поздней), заменив регион в URL-адресе и api-version (например, 2019-11-01) значениями из ошибки:

Invoke-WebRequest -HttpVersion 2.0 -UseBasicParsing -Uri https://region.dp.kubernetesconfiguration.azure.com/azure-arc-appliance-k8sagents/GetLatestHelmPackagePath?api-version=2019-11-01-preview"&"releaseTrain=stable -Method Post -Verbose

Если результат имеет значение The response ended prematurely while waiting for the next frame from the server, то вызов http2 блокируется и должен быть разрешен. Обратитесь к администратору сети, чтобы отключить проверку SSL/TLS, чтобы разрешить http2-вызовы с компьютера, используемого для развертывания моста.

Нет такого узла — .local не поддерживается

При попытке задать конфигурацию моста ресурсов Arc может появиться сообщение об ошибке, аналогичное следующему:

"message": "Post \"https://esx.lab.local/52c-acac707ce02c/disk-0.vmdk\": dial tcp: lookup esx.lab.local: no such host"

Эта ошибка возникает, когда .local путь предоставляется для параметра конфигурации, например прокси-сервер, dns, хранилище данных или конечная точка управления (например, vCenter). Виртуальная машина моста ресурсов Arc использует ОС Linux Azure, которая по умолчанию не поддерживается .local . Решение может быть для предоставления IP-адреса, в котором применимо.

Мост ресурсов Azure Arc недоступен

Мост ресурсов Azure Arc выполняет кластер Kubernetes, а для его плоскости управления требуется статический IP-адрес. IP-адрес указан в infra.yaml файле. Если IP-адрес назначен с DHCP-сервера, адрес может измениться, если он не зарезервирован. Перезагрузка моста ресурсов Azure Arc или виртуальной машины может активировать изменение IP-адреса и привести к сбою служб.

Мост ресурсов Arc может периодически потерять зарезервированную IP-конфигурацию. Эта потеря возникает из-за поведения, описанного в потере IP-адресов при systemd-networkd перезапуске. Если IP-адрес не назначен виртуальной машине моста ресурсов Azure Arc, вызов сервера API моста ресурсов завершается сбоем. Основные операции, такие как создание ресурса, подключение к частному облаку из Azure или создание пользовательского расположения, не будут работать должным образом.

Чтобы устранить эту проблему, перезагрузите виртуальную машину моста ресурсов и восстановите IP-адрес. Если адрес назначен с DHCP-сервера, зарезервировать IP-адрес, связанный с мостом ресурсов.

Мост ресурсов Arc также может быть недоступным из-за медленного доступа к диску. Мост ресурсов Azure Arc использует расширенное дерево конфигурации Kubernetes (ETCD), которое требует задержки в 10 мс или меньше. Если базовый диск имеет низкую производительность, операции влияют и могут возникнуть сбои.

Проблемы с конфигурацией прокси-сервера SSL

Убедитесь, что прокси-сервер на компьютере управления доверяет как SSL-сертификату для ssl-прокси, так и SSL-сертификату серверов загрузки Майкрософт. Дополнительные сведения см. в разделе конфигурации SSL-прокси.

Нет такого узла — dp.kubernetesconfiguration.azure.com

Ошибка, содержащая dial tcp: lookup westeurope.dp.kubernetesconfiguration.azure.com: no such host при развертывании моста ресурсов Arc, означает, что плоскость данных конфигурации в настоящее время недоступна в указанном регионе. Служба может быть временно недоступна. Дождитесь доступности службы, а затем повторите развертывание.

Прокси-сервер подключения tcp — такой узел для моста ресурсов Arc не требуется URL-адрес

Ошибка, содержащая необходимый URL-адрес моста ресурсов Arc с сообщением proxyconnect tcp: dial tcp: lookup http: no such host , указывает, что DNS не может разрешить URL-адрес. Ошибка может выглядеть примерно так, как в этом примере, где обязательный URL-адрес :https://msk8s.api.cdp.microsoft.com

Error: { _errorCode_: _InvalidEntityError_, _errorResponse_: _{\n\_message\_: \_Post \\\_https://msk8s.api.cdp.microsoft.com/api/v1.1/contents/default/namespaces/default/names/arc-appliance-stable-catalogs-ext/versions/latest?action=select\\\_: POST https://msk8s.api.cdp.microsoft.com/api/v1.1/contents/default/namespaces/default/names/arc-appliance-stable-catalogs-ext/versions/latest?action=select giving up after 6 attempt(s): Post \\\_https://msk8s.api.cdp.microsoft.com/api/v1.1/contents/default/namespaces/default/names/arc-appliance-stable-catalogs-ext/versions/latest?action=select\\\_: proxyconnect tcp: dial tcp: lookup http: no such host\_\n}_ }

Эта ошибка может возникать, если параметры DNS, предоставленные во время развертывания, не являются правильными или возникли проблемы с DNS-серверами. Можно проверить, может ли DNS-сервер разрешить URL-адрес, выполнив следующую команду с компьютера управления или компьютера с доступом к DNS-серверам:

nslookup
> set debug
> <hostname> <DNS server IP>

Чтобы устранить эту ошибку, настройте DNS-серверы для разрешения всех необходимых URL-адресов моста ресурсов Arc. DNS-серверы должны быть правильно предоставлены при развертывании моста ресурсов Arc.

Ошибка времени ожидания KVA

Ошибка времени ожидания KVA является универсальной ошибкой, вызванной различными неправильно настроенными сетями, включающими компьютер управления, например, виртуальная машина устройства или IP-адрес плоскости управления может не иметь связи друг с другом, с Интернетом или необходимыми URL-адресами. Эти сбои связи часто возникают из-за проблем с разрешением DNS, параметрами прокси-сервера, конфигурацией сети или доступом к Интернету.

Для ясности компьютер управления ссылается на компьютер, на котором выполняются команды CLI развертывания. Виртуальная машина устройства — это виртуальная машина, на которую размещается мост ресурсов Arc. IP-адрес плоскости управления — это IP-адрес плоскости управления для кластера управления Kubernetes на виртуальной машине устройства.

Основные причины ошибки времени ожидания KVA

  • Компьютер управления не может взаимодействовать с IP-адресом плоскости управления и IP-адресом виртуальной машины устройства.
  • Виртуальная машина устройства не может взаимодействовать с компьютером управления, конечной точкой vCenter (для VMware) или конечной точкой облачного агента MOC (для Azure Stack HCI). 
  • Виртуальная машина устройства не имеет доступа к Интернету.
  • Виртуальная машина устройства имеет доступ к Интернету, но подключение к одному или нескольким обязательным URL-адресам блокируется, возможно, из-за прокси-сервера или брандмауэра.
  • Виртуальная машина устройства не может связаться с DNS-сервером, который может разрешать внутренние имена, например конечную точку vCenter для vSphere или конечной точки облачного агента для Azure Stack HCI. DNS-сервер также должен иметь возможность разрешать внешние адреса, такие как адреса службы Azure и имена реестра контейнеров. 
  • Конфигурация прокси-сервера на компьютере управления или файлах конфигурации моста ресурсов Arc неправильная. Это может повлиять как на компьютер управления, так и на виртуальную машину устройства. az arcappliance prepare При выполнении команды и неправильной настройке прокси-сервера узла компьютер управления не может подключить и скачать образы ОС. Доступ к Интернету на виртуальной машине устройства может быть нарушен неправильной или отсутствует конфигурацией прокси-сервера, что влияет на способность виртуальной машины извлекать образы контейнеров. 

Устранение ошибки времени ожидания KVA

Чтобы устранить ошибку, может потребоваться устранить одну или несколько неправильных конфигураций сети.

  • Первым шагом является сбор журналов по IP-адресу виртуальной машины устройства (а не kubeconfig, так как kubeconfig может быть пустым, если команда развертывания не завершилась). Проблемы, связанные с сбором журналов, скорее всего, связаны с тем, что компьютер управления не может получить доступ к виртуальной машине устройства.

    После сбора журналов извлеките папку и откройте kva.logее. Просмотрите журнал сведений, которые могут помочь определить причину ошибки времени ожидания KVA.

  • Компьютер управления должен иметь возможность взаимодействовать с IP-адресом виртуальной машины устройства и IP-адресом плоскости управления. Проверьте ip-адрес IP-адреса плоскости управления и IP-адрес виртуальной машины устройства с компьютера управления и убедитесь, что у обоих IP-адресов есть ответ.

    Если время ожидания запроса истекает, компьютер управления не может взаимодействовать с IP-адресами. Эта проблема может быть вызвана закрытым портом, неправильной настройкой сети или блоком брандмауэра. Обратитесь к администратору сети, чтобы разрешить обмен данными между компьютером управления и IP-адресом виртуальной машины уровня управления.

  • IP-адрес виртуальной машины устройства и IP-адрес плоскости управления должен иметь возможность взаимодействовать с конечной точкой управления и конечной точкой vCenter (для VMware) или конечной точкой облачного агента MOC (для Azure Stack HCI). Обратитесь к администратору сети, чтобы убедиться, что сеть настроена для разрешения этого взаимодействия. Возможно, потребуется добавить правило брандмауэра, чтобы открыть порт 443 из IP-адреса виртуальной машины устройства и IP-адреса плоскости управления в vCenter или открыть порт 65000 и 55000 для облачного агента Azure Stack HCI MOC. Просмотрите требования к сети для моста ресурсов Azure Stack HCI и VMware для Arc.

  • IP-адрес виртуальной машины устройства и IP-адрес плоскости управления требует доступа к интернету к этим необходимым URL-адресам. Для Azure Stack HCI требуются дополнительные URL-адреса. Обратитесь к администратору сети, чтобы убедиться, что IP-адреса могут получить доступ к необходимым URL-адресам.

  • В среде, отличной от прокси-сервера, компьютер управления должен иметь внешнее и внутреннее разрешение DNS. Компьютер управления должен иметь доступ к DNS-серверу, который может разрешать внутренние имена, такие как конечная точка vCenter для vSphere или конечной точки облачного агента для Azure Stack HCI. DNS-сервер также должен иметь возможность разрешать внешние адреса, такие как URL-адреса Azure и URL-адреса загрузки образов ОС. Обратитесь к системному администратору, чтобы убедиться, что компьютер управления имеет внутреннее и внешнее разрешение DNS. В среде прокси-сервера разрешение DNS на прокси-сервере должно разрешать внутренние конечные точки и необходимые внешние адреса.

    Чтобы проверить разрешение DNS на внутренний адрес с компьютера управления в сценарии, отличном от прокси-сервера, откройте командную строку и выполните команду nslookup <vCenter endpoint or HCI MOC cloud agent IP>. Вы должны получить ответ, если на компьютере управления есть внутреннее разрешение DNS в сценарии, отличном от прокси-сервера. 

  1. Виртуальная машина устройства должна иметь доступ к DNS-серверу, который может разрешать внутренние имена, например конечную точку vCenter для vSphere или конечной точки агента облака для Azure Stack HCI. DNS-сервер также должен иметь возможность разрешать внешние или внутренние адреса, такие как адреса служб Azure и имена реестра контейнеров для скачивания образов контейнеров моста ресурсов Arc из облака.

    Убедитесь, что IP-адрес DNS-сервера, используемый для создания файлов конфигурации, имеет внутреннее и внешнее разрешение адресов. В противном случае удалите устройство, создайте файлы конфигурации моста ресурсов Arc с правильными параметрами DNS-сервера, а затем разверните мост ресурсов Arc с помощью новых файлов конфигурации.

Перемещение расположения моста ресурсов Arc

Перемещение ресурсов моста ресурсов Arc в настоящее время не поддерживается. Вместо этого удалите мост ресурсов Arc и повторно разверните его в нужное расположение.

Виртуальные машины с поддержкой Azure Arc в Azure Stack HCI

Общие сведения об устранении проблем, связанных с виртуальными машинами с поддержкой Azure Arc в Azure Stack HCI, см. в статье "Устранение неполадок виртуальных машин с поддержкой Azure Arc".

Если вы используете Azure Stack HCI версии 23H2 или более поздней версии, а мост ресурсов Arc находится в автономном режиме, не пытайтесь переустановить или удалить мост ресурсов Arc. Вместо этого попробуйте перезапустить виртуальную машину Arc Resource Bridge, чтобы вернуть ее в сеть. Если проблема сохранится, обратитесь к служба поддержки Майкрософт для получения помощи.

Сбой действия — такой узел не выполнен.

При развертывании моста ресурсов Arc при получении ошибки в errorCode виде errorResponse PostOperationsErrorкода GuestInternetConnectivityError и no such hostIP-адреса виртуальных машин устройства могут не получить доступ к конечной точке, указанной в ошибке.

Пример ошибки:

{ _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_{\\n  \\\_code\\\_: \\\_GuestInternetConnectivityError\\\_,\\n  \\\_message\\\_: \\\_Not able to connect to http://aszhcitest01.company.org:55000. Error returned: action failed after 5 attempts: Get \\\\\\\_http://aszhcitest01.company.org:55000\\\\\\\_: dial tcp: lookup aszhcitest01.company.org: on 127.0.0.53:53: no such host. Arc Resource Bridge network and internet connectivity validation failed: cloud-agent-connectivity-test. 1. check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM.   2. Check firewall/proxy settings

В этом примере IP-адреса виртуальных машин устройства не могут получить доступ http://aszhcitest01.company.org:55000к конечной точке MOC. Обратитесь к администратору сети, чтобы убедиться, что DNS-сервер может разрешить необходимые URL-адреса.

Чтобы проверить подключение к DNS-серверу, выполните следующие действия.

ping <dns-server.com>

Чтобы проверить, может ли DNS-сервер разрешить адрес, выполните следующую команду с компьютера, который может получить доступ к DNS-серверам:

Resolve-DnsName -Name "http://aszhcitest01.company.org:55000" -Server "<dns-server.com>"

Проблемы vMware VCenter с поддержкой Azure Arc

errorResponse: error getting the vsphere sdk client

Ошибки с errorCode: CreateConfigKvaCustomerError errorResponse: error getting the vsphere sdk client и возникают, когда компьютер развертывания пытается установить TCP-подключение к адресу vCenter, но сталкивается с проблемой. Это может произойти, если адрес vCenter неверный (ошибка 403 или 404) или из-за блокировки конфигурации сети или прокси-сервера или брандмауэра (сбой попытки подключения).

Если ввести адрес vCenter в качестве имени узла и получить ошибку no such host, компьютер развертывания не может разрешить имя узла vCenter через DNS клиента. Это может произойти, когда компьютер развертывания может разрешить имя узла vCenter, но компьютер развертывания не может получить IP-адрес, полученный от DNS. Эта ошибка также может появиться, если конечная точка, возвращенная DNS, не является вашим адресом vCenter, или если трафик был перехвачен прокси-сервером. Если компьютер развертывания может взаимодействовать с вашим адресом vCenter, убедитесь, что имя пользователя и пароль верны.

Клиент пакета SDK vSphere — сбой попытки подключения

Если во время развертывания возникает ошибка: errorCode_: _CreateConfigKvaCustomerError_, _errorResponse_: _error getting the vsphere sdk client: Post \_https://ip.address/sdk\_: dial tcp ip.address:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond._ } компьютер управления не может взаимодействовать с сервером vCenter.

Чтобы устранить эту проблему, убедитесь, что компьютер управления соответствует требованиям к компьютеру управления и что брандмауэр или прокси-сервер не блокирует связь.

Клиент пакета SDK vSphere — 403 Запрещено или 404 не найдено

Ошибки, содержащие errorCode_: _CreateConfigKvaCustomerError_, _errorResponse_: _error getting the vsphere sdk client: POST \_/sdk\_: 403 Forbidden или 404 not found развертывающие мост ресурсов Arc, скорее всего, связаны с неправильным адресом vCenter. Этот адрес предоставляется во время создания файла конфигурации, когда вам будет предложено ввести адрес vCenter в качестве имени узла или IP-адреса.

Существует несколько способов поиска адреса vCenter. Одним из вариантов является доступ к клиенту vSphere через его веб-интерфейс. Имя узла или IP-адрес vCenter обычно используется в браузере для доступа к клиенту vSphere. Если вы уже вошли в систему, вы можете просмотреть адресную строку браузера, где URL-адрес, используемый для доступа к vSphere, является именем узла или IP-адресом сервера vCenter. Проверьте адрес vCenter, а затем повторите развертывание.

Клиент пакета SDK vSphere — такой узел отсутствует

{ _errorCode_: _CreateConfigKvaCustomerError_, _errorResponse_: _error getting the vsphere sdk client: Post \_https://your.vcenter.hostname/sdk\_: dial tcp: lookup your.vcenter.hostname: no such host_ } Ошибка может возникать во время развертывания, когда компьютер развертывания не может разрешить имя узла vCenter на IP-адрес. Эта проблема возникает, так как процесс развертывания пытается установить TCP-подключение с компьютера развертывания к имени узла vCenter, но подключение завершается ошибкой из-за проблем с разрешением DNS.

Чтобы устранить эту ошибку, убедитесь, что конфигурация DNS на компьютере развертывания правильна, убедитесь, что DNS-сервер находится в сети, и проверьте отсутствие записи DNS для имени узла vCenter. Вы можете протестировать разрешение DNS, выполнив или ping your.vcenter.hostname на nslookup your.vcenter.hostname компьютере развертывания. Если вы указали адрес vCenter в качестве имени узла, рассмотрите возможность использования IP-адреса непосредственно.

Ошибки проверки предустановки

При развертывании моста ресурсов Arc могут возникнуть различные pre-deployment validation of your download\upload connectivity wasn't successful ошибки, такие как:

Pre-deployment validation of your download/upload connectivity wasn't successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_Post \\\\\\\_https://vcenter-server.com/nfc/unique-identifier/disk-0.vmdk\\\\\\\_: Service Unavailable

Pre-deployment validation of your download/upload connectivity wasn't successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_Post \\\\\\\_https://vcenter-server.com/nfc/unique-identifier/disk-0.vmdk\\\\\\\_: dial tcp 172.16.60.10:443: connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.

Pre-deployment validation of your download/upload connectivity wasn't successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_Post \\\\\\\_https://vcenter-server.com/nfc/unique-identifier/disk-0.vmdk\\\\\\\_: use of closed network connection.

Pre-deployment validation of your download/upload connectivity wasn't successful. {\\n \\\_code\\\_: \\\_ImageProvisionError\\\_,\\n \\\_message\\\_: \\\_Post \\\\\\\_https://vcenter-server.com/nfc/unique-identifier/disk-0.vmdk\\\\\\\_: dial tcp: lookup hostname.domain: no such host

Сочетание этих ошибок обычно указывает на то, что компьютер управления потерял подключение к хранилищу данных или что возникла проблема с сетью, из-за чего хранилище данных было недоступно. Это подключение необходимо для отправки OVA с компьютера управления, используемого для сборки виртуальной машины устройства в vCenter.

Чтобы устранить эту проблему, повторите попытку повторного развертывания моста ресурсов Arc между компьютером управления и хранилищем данных.

Срок действия сертификата x509 истек или еще не действителен

При развертывании моста ресурсов Arc может возникнуть ошибка:

Error: { _errorCode_: _PostOperationsError_, _errorResponse_: _{\n\_message\_: \_{\\n \\\_code\\\_: \\\_GuestInternetConnectivityError\\\_,\\n \\\_message\\\_: \\\_Not able to connect to https://msk8s.api.cdp.microsoft.com. Error returned: action failed after 3 attempts: Get \\\\\\\_https://msk8s.api.cdp.microsoft.com\\\\\\\_: x509: certificate has expired or isn't yet valid: current time 2022-01-18T11:35:56Z is before 2023-09-07T19:13:21Z. Arc Resource Bridge network and internet connectivity validation failed: http-connectivity-test-arc. 1. check your networking setup and ensure the URLs mentioned in : https://aka.ms/AAla73m are reachable from the Appliance VM. 2. Check firewall/proxy settings

Эта ошибка возникает, если между узлами ESXi и компьютером управления выполняется команда развертывания для моста ресурсов Arc. Чтобы устранить эту проблему, включите синхронизацию времени NTP на узлах ESXi, убедитесь, что компьютер управления также синхронизирован с NTP, а затем повторите развертывание.

Разрешение для нескольких сетей

При развертывании или обновлении моста ресурсов Arc может возникнуть ошибка, аналогичная следующим:

{ "ErrorCode": "PreflightcheckErrorOnPrem", "ErrorDetails": "Upgrade Operation Failed with error: \"{\\n \\\"code\\\": \\\"PreflightcheckError\\\",\\n \\\"message\\\": \\\"{\\\\n \\\\\\\"code\\\\\\\": \\\\\\\"InvalidEntityError\\\\\\\",\\\\n \\\\\\\"message\\\\\\\": \\\\\\\"Cannot retrieve vSphere Network 'vmware-azure-arc-01': path 'vmware-azure-arc-01' resolves to multiple networks\\\\\\\",\\\\n \\\\\\\"category\\\\\\\": \\\\\\\"\\\\\\\"\\\\n }\\\",\\n \\\"category\\\": \\\"\\\"\\n }\"" }

Эта ошибка возникает, когда сегмент сети vSphere разрешается в несколько сетей из-за нескольких сегментов сети vSphere, используя то же имя, которое указано в ошибке. Чтобы устранить эту ошибку, измените повторяющееся сетевое имя в vCenter (а не сеть с виртуальной машиной устройства) или разверните мост ресурсов Arc в другой сети.

Состояние моста ресурсов Arc отключено

При запуске начального скрипта подключения VMware с поддержкой Arc вам будет предложено предоставить учетную запись vSphere. Эта учетная запись хранится локально в мосту ресурсов Arc в виде зашифрованного секрета Kubernetes. Учетная запись используется для взаимодействия моста ресурсов Arc с vCenter.

Если срок действия учетной записи vSphere, хранящейся локально в мосте ресурсов, истекает, состояние моста ресурсов Arc может быть отключено. Обновите учетные данные в мосте ресурсов Arc и VMware с поддержкой Arc, следуя инструкциям по обновлению учетных данных учетной записи vSphere.

Ошибка во время настройки узла

Если вы используете один и тот же шаблон для развертывания и удаления моста ресурсов Arc несколько раз, может возникнуть следующая ошибка:

Appliance cluster deployment failed with error: Error: An error occurred during host configuration

Чтобы устранить эту проблему, удалите существующий шаблон вручную. Затем запустите az arcappliance prepare , чтобы скачать новый шаблон для развертывания.

Не удалось найти папки

При развертывании моста ресурсов Arc в VMware укажите папку, в которой создается шаблон и виртуальная машина. Выбранная папка должна быть типом виртуальной машины и шаблона. Другие типы папок, например папки хранилища, сетевые папки или папки узла и кластера, нельзя использовать для развертывания моста ресурсов.

Не удается получить ресурс — не найден или не существует

При развертывании моста ресурсов Arc укажите место развертывания виртуальной машины устройства. Виртуальная машина устройства не может быть перемещена из этого пути расположения. Если виртуальная машина устройства перемещает расположение и пытаетесь обновиться, могут появиться ошибки, аналогичные следующим:

{\n \"code\": \"PreflightcheckError\",\n \"message\": \"{\\n \\\"code\\\": \\\"InvalidEntityError\\\",\\n \\\"message\\\": \\\"Cannot retrieve <resource> 'resource-name': <resource> 'resource-name' not found\\\"\\n }\"\n }"

{\n \"code\": \"PreflightcheckError\",\n \"message\": \"{\\n \\\"code\\\": \\\"InvalidEntityError\\\",\\n \\\"message\\\": \\\"The specified vSphere Datacenter '/VxRail-Datacenter' does not exist\\\"\\n }\"\n }"

Чтобы устранить эти ошибки, используйте один из следующих вариантов:

  • Переместите виртуальную машину устройства обратно в исходное расположение и убедитесь, что учетные данные RBAC обновляются для изменения расположения.
  • Создайте ресурс с тем же именем, а затем переместите мост ресурсов Arc на новый ресурс.
  • Для VMware с поддержкой Arc запустите скрипт аварийного восстановления VMware с поддержкой Arc. Скрипт удаляет устройство, развертывает новое устройство и повторно подключает устройство с ранее развернутыми пользовательскими расположениями, расширением кластера и виртуальными машинами с поддержкой Arc.
  • Удалите и повторно разверните мост ресурсов Arc.

Недостаточно привилегий

При развертывании или обновлении моста ресурсов в VMware vCenter может появиться ошибка, аналогичная следующим:

{ ""code"": ""PreflightcheckError"", ""message"": ""{\n \""code\"": \""InsufficientPrivilegesError\"",\n \""message\"": \""The provided vCenter account is missing required vSphere privileges on the resource 'root folder (MoRefId: Folder:group-d1)'. Missing privileges: [Sessions.ValidateSession]. add the privileges to the vCenter account and try again. To review the full list of required privileges, go to https://aka.ms/ARB-vsphere-privilege.\""\n }

При развертывании моста ресурсов Arc вы предоставляете учетные данные vCenter. Мост ресурсов Arc сохраняет эти учетные данные vCenter локально для взаимодействия с vCenter. Чтобы устранить проблему с отсутствующими привилегиями, учетная запись vCenter, используемая мостом ресурсов, должна иметь следующие привилегии в VMware vCenter:

Хранилище данных:

  • Выделение места
  • Обзор хранилища данных
  • Операции с файлами низкого уровня

Папка:

  • Создать папку

Тег vSphere:

  • Назначение или отмена назначения тега vSphere

Сеть.

  • Assign network

Resource.

  • Assign virtual machine to resource pool
  • Миграция выключенной виртуальной машины
  • Миграция включенной виртуальной машины

Сеансы:

  • Проверка сеанса

vApp:

  • Назначение пула ресурсов
  • Import

Виртуальная машина:

  • Изменение конфигурации
    • Получение аренды диска
    • Добавление существующего диска
    • Добавление нового диска
    • Добавление или удаление устройства
    • Расширенная конфигурация
    • Изменение количества ЦП
    • Изменение памяти
    • Изменение параметров
    • Изменение ресурса
    • Настройка managedBy
    • Отображение настроек подключения
    • Расширение виртуального диска
    • изменение параметров устройства;
    • Запрос совместимости с отказоустойчивостью
    • Запрос бесхозных файлов
    • Перезагрузка из пути
    • Удаление диска
    • Переименовать
    • Сброс гостевой информации
    • Задание аннотации
    • Переключение отслеживания изменений диска
    • Переключение родительской вилки
    • Обновление совместимости виртуальной машины
  • Изменение инвентаризации
    • Создание из существующего
    • создание
    • Регистр
    • Удалить
    • Unregister;
  • Гостевые операции
    • Изменение псевдонима гостевой операции
    • Изменение гостевой операции
    • Выполнение программы гостевой операции
    • Запросы гостевой операции
  • Взаимодействие
    • Подключить устройства
    • Взаимодействие с консолью
    • Управление гостевой операционной системой через API VIX
    • Установка средств VMware
    • Выключение питания
    • Включение
    • Reset
    • Приостановить
  • Подготовка
    • Разрешение доступа к диску
    • Разрешение доступа к файлу
    • Allow read-only disk access
    • Разрешение загрузки для виртуальной машины
    • Разрешение загрузки файлов для виртуальной машины
    • Клонирование виртуальной машины
    • Развертывание шаблона
    • Пометка в качестве шаблона
    • Пометка в качестве виртуальной машины
    • Настройка гостя
  • Управление моментальными снимками
    • Создать моментальный снимок
    • Удаление моментального снимка
    • Возврат к моментальному снимку

Следующие шаги

Общие сведения об операциях восстановления для моста ресурсов в сценариях аварий VMware с поддержкой Azure Arc vSphere

Если вы не нашли здесь свою проблему или рекомендации не позволили ее решить, попробуйте использовать один из следующих каналов для получения поддержки:

  • Получите ответы от экспертов Azure на веб-сайте Microsoft Q&A.
  • Подпишитесь на @AzureSupport, официальный канал Microsoft Azure для улучшения качества взаимодействия с клиентами. Служба поддержки Azure взаимодействует с сообществом Azure, предоставляя ответы, поддержку и советы экспертов.
  • Откройте запрос на поддержку Azure.