你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

准备已启用 Azure Arc 的 Kubernetes 群集

项目
08/09/2024

重要

Azure IoT 操作预览版（由 Azure Arc 启用）当前处于预览状态。不应在生产环境中使用此预览版软件。

在正式发布版本推出后，需要部署新的 Azure IoT 操作安装。无法升级预览版安装。

有关 beta 版本、预览版或尚未正式发布的版本的 Azure 功能所适用的法律条款，请参阅 Microsoft Azure 预览版的补充使用条款。

已启用 Azure Arc 的 Kubernetes 群集是部署 Azure IoT 操作预览版的先决条件。本文介绍如何先准备已启用 Azure Arc 的 Kubernetes 群集，以便之后将 Azure IoT 操作预览版部署到启用 Arc 的 Kubernetes 群集来运行你自己的工作负载。本文提供 Ubuntu、Windows 和云环境相关指南。

提示

若要部署 Azure IoT 操作并运行示例工作负载，请参阅快速入门：使用 K3s 在 Github Codespaces 中运行 Azure IoT 操作预览版。

Azure IoT 操作作为一组已启用 Azure Arc 的 Kubernetes 服务提供，旨在与符合 CNCF 的 Arc 验证合作伙伴产品结合使用。目前，Microsoft 已针对下面固定一组基础结构和环境验证 Azure IoT 操作：

环境	版本
Windows 11 IoT 企业版上的 AKS-EE 在单节点 AMD Ryzen-7（8 核，3.3 GHz）上，16-GB RAM	AksEdge-K3s-1.28.3-1.7.639.0
Ubuntu 22.04.2 上的 K3s 在单节点 AMD Ryzen-7（8 核，3.3 GHz）上，16-GB RAM	K3s 版本 1.28.5

重要

前面列出的环境是 Microsoft 已验证的生产类似环境。并非只有这些环境才能运行 Azure IoT 操作。在任何满足已启用 Azure Arc 的 Kubernetes 系统要求的已启用 Arc 的 Kubernetes 群集上，Azure IoT 操作都可以运行。

先决条件

若要准备已启用 Azure Arc 的 Kubernetes 群集，需要满足以下条件：

满足系统要求的硬件。

Azure 订阅。如果还没有 Azure 订阅，可以在开始前创建一个免费帐户。
已在开发计算机上安装 Azure CLI 2.46.0 或更高版本。如有必要，请使用az --version检查版本，使用az upgrade进行更新。有关详细信息，请参阅如何安装 Azure CLI。
适用于 Azure CLI 的 Azure IoT 操作扩展。使用以下命令添加扩展或将其更新到最新版本：
```
az extension add --upgrade --name azure-iot-ops
```
满足系统要求的硬件：
- 确保计算机至少有 10 GB RAM、4 个 vCPU 和 40 GB 可用磁盘空间。
- 查看 AKS 边缘软件包要求和支持矩阵。
- 查看 AKS 边缘软件包网络指南。

Azure 订阅。如果还没有 Azure 订阅，可以在开始前创建一个免费帐户。
已在开发计算机上安装 Azure CLI 2.46.0 或更高版本。如有必要，请使用az --version检查版本，使用az upgrade进行更新。有关详细信息，请参阅如何安装 Azure CLI。
适用于 Azure CLI 的 Azure IoT 操作扩展。使用以下命令添加扩展或将其更新到最新版本：
```
az extension add --upgrade --name azure-iot-ops
```
查看 K3s 要求。

Azure IoT 操作还适用于 Windows 计算机上的适用于 Linux 的 Windows 子系统 (WSL) 中的 Ubuntu。仅将 WSL 用于测试和开发目的。

若要设置 WSL Ubuntu 环境，请执行以下操作：

使用 WSL 在 Windows 上安装 Linux。
启用 systemd：
```
sudo -e /etc/wsl.conf
```
将以下内容添加到 wsl.conf，然后保存文件：
```
[boot]
systemd=true
```

启用 systemd 后，从 WSL 重新启用正在运行的 Windows 可执行文件：

sudo sh -c 'echo :WSLInterop:M::MZ::/init:PF > /usr/lib/binfmt.d/WSLInterop.conf'
sudo systemctl unmask systemd-binfmt.service
sudo systemctl restart systemd-binfmt
sudo systemctl mask systemd-binfmt.service

创建群集

本部分提供相关步骤，介绍如何在 Linux 和 Windows 上已验证的环境中以及云中的 GitHub Codespaces 中准备已启用 Arc 的群集。

Azure Kubernetes 服务边缘软件包是大规模自动运行容器化应用程序的 Azure Kubernetes 服务 (AKS) 的本地 Kubernetes 实现。 AKS 边缘软件包中有一个 Microsoft 支持的 Kubernetes 平台，该平台包括一个轻量级 Kubernetes 发行版，其占用空间小且安装体验简单，让你能够轻松地在电脑类或“轻型”边缘硬件上部署 Kubernetes。

AksEdgeQuickStartForAio.ps1 脚本可自动执行创建和连接群集的过程，并推荐用于在 AKS Edge Essentials 上部署 Azure IoT 操作。

打开提升的 PowerShell 窗口并将目录更改为工作文件夹。

运行以下命令，将占位符值替换为信息：

占位符	值
SUBSCRIPTION_ID	Azure 订阅的 ID。如果不知道订阅 ID，请参阅“查找 Azure 订阅”。
TENANT_ID	Microsoft Entra 租户的 ID。如果不知道租户 ID，请参阅“查找 Microsoft Entra 租户”。
RESOURCE_GROUP_NAME	现有资源组的名称或要创建的新资源组的名称。
LOCATION	离你较近的 Azure 区域。有关当前支持的 Azure 区域的列表，请参阅支持的区域。
CLUSTER_NAME	要创建的新群集的名称。

$url = "https://raw.githubusercontent.com/Azure/AKS-Edge/main/tools/scripts/AksEdgeQuickStart/AksEdgeQuickStartForAio.ps1"
Invoke-WebRequest -Uri $url -OutFile .\AksEdgeQuickStartForAio.ps1
Unblock-File .\AksEdgeQuickStartForAio.ps1
Set-ExecutionPolicy -ExecutionPolicy Bypass -Scope Process -Force
.\AksEdgeQuickStartForAio.ps1 -SubscriptionId "<SUBSCRIPTION_ID>" -TenantId "<TENANT_ID>" -ResourceGroupName "<RESOURCE_GROUP_NAME>"  -Location "<LOCATION>"  -ClusterName "<CLUSTER_NAME>"

如果部署期间出现任何问（如计算机在此过程中重新启动），请再次运行整套命令。

运行以下命令以检查部署是否成功：
```
Import-Module AksEdge
Get-AksEdgeDeploymentInfo
```
在 Get-AksEdgeDeploymentInfo 命令的输出中，应会看到群集的 Arc 状态为 Connected。

Azure IoT 操作应在任何符合 CNCF 的 Kubernetes 群集上工作。对于 Ubuntu Linux，Microsoft 目前支持 K3s 群集。

重要

如果在适用于 Linux 的 Windows 子系统 (WSL) 中使用 Ubuntu，请在 WSL 环境中运行所有这些步骤，包括配置群集的 Azure CLI 步骤。

若要准备 Ubuntu 上的 K3s Kubernetes 群集，请执行以下操作：

运行 K3s 安装脚本：
```
curl -sfL https://get.k3s.io | sh -
```
有关完整安装信息，请参阅 K3s 快速入门指南。

在.kube/config中创建 K3s 配置 yaml 文件：

mkdir ~/.kube
sudo KUBECONFIG=~/.kube/config:/etc/rancher/k3s/k3s.yaml kubectl config view --flatten > ~/.kube/merged
mv ~/.kube/merged ~/.kube/config
chmod  0600 ~/.kube/config
export KUBECONFIG=~/.kube/config
#switch to k3s context
kubectl config use-context default

运行以下命令以增加用户监视/实例限制。

echo fs.inotify.max_user_instances=8192 | sudo tee -a /etc/sysctl.conf
echo fs.inotify.max_user_watches=524288 | sudo tee -a /etc/sysctl.conf

sudo sysctl -p

为了获得更好的性能，请调高文件描述符限制：

echo fs.file-max = 100000 | sudo tee -a /etc/sysctl.conf

sudo sysctl -p

重要

codespace 易于快速设置并稍后拆解，但它们不适用于性能评估或规模测试。仅使用 GitHub Codespaces 进行探索。

使用 GitHub Codespaces 在 Kubernetes 群集上尝试 Azure IoT 操作，无需在本地计算机上安装任何内容。 Azure-Samples/explore-iot-operations codespace 预配置有：

在轻型 Kubernetes 群集的K3d中运行的K3s
Azure CLI
用于管理 Kubernetes 资源的Kubectl
其他有用的工具，例如Helm和k9s

若要创建 codespace 和群集，请使用以下步骤：

在 GitHub Codespaces 中创建 codespace。

为 codespace 提供以下建议的机密：

参数	值
SUBSCRIPTION_ID	Azure 订阅 ID。
RESOURCE_GROUP	将在其中创建群集的新 Azure 资源组的名称。
LOCATION	离你较近的 Azure 区域。有关当前支持区域的列表，请参阅支持的区域。

提示

在此步骤中作为机密提供的值将保存在你的 GitHub 帐户中，以便在此 codespace 和将来的 codespace 中使用。它们还会自动添加为 codespace 终端中的环境变量，你可以在下一部分所述的 CLI 命令中使用这些环境变量。

此外，此 codespace 会自动创建一个使用 codespace 名称进行设置的 CLUSTER_NAME 环境变量。

选择“新建 codespace”。
codespace 准备就绪后，选择左上角的菜单按钮，然后选择“在 VS Code 桌面中打开”。
如果系统提示，请安装适用于 Visual Studio Code 的 GitHub Codespaces 扩展并登录到 GitHub。
在 Visual Studio Code 中，选择“视图”>“终端”。

使用此终端运行用于管理群集的所有命令行和 CLI 命令。

通过 Arc 启用群集

将群集连接到 Azure Arc，以便远程管理它。

在上一节中运行的 AksEdgeQuickStartForAio.ps1 脚本处理了连接群集的步骤。无需执行任何额外的步骤即可启用 Arc。

要将群集连接到 Azure Arc：

在部署 Kubernetes 群集的计算机上或 WSL 环境中，使用 Azure CLI 登录：
```
az login
```

为 Azure 订阅、位置、新资源组以及将在资源组中显示的群集名称设置环境变量。

有关当前支持的 Azure 区域的列表，请参阅支持的区域。

# Id of the subscription where your resource group and Arc-enabled cluster will be created
export SUBSCRIPTION_ID=<SUBSCRIPTION_ID>

# Azure region where the created resource group will be located
export LOCATION=<REGION>

# Name of a new resource group to create which will hold the Arc-enabled cluster and Azure IoT Operations resources
export RESOURCE_GROUP=<NEW_RESOURCE_GROUP_NAME>

# Name of the Arc-enabled cluster to create in your resource group
export CLUSTER_NAME=<NEW_CLUSTER_NAME>

为所有命令设置 Azure 订阅上下文：
```
az account set -s $SUBSCRIPTION_ID
```
在订阅中注册所需的资源提供程序：

注意

对于每个订阅，只需运行此步骤一次。若要注册资源提供程序，你需要有执行 /register/action 操作的权限，该权限包含在订阅“参与者”和“所有者”角色中。有关详细信息，请参阅 Azure 资源提供程序和类型。
```
az provider register -n "Microsoft.ExtendedLocation"
az provider register -n "Microsoft.Kubernetes"
az provider register -n "Microsoft.KubernetesConfiguration"
az provider register -n "Microsoft.IoTOperationsOrchestrator"
az provider register -n "Microsoft.IoTOperations"
az provider register -n "Microsoft.DeviceRegistry"
```

使用az group create命令在 Azure 订阅中创建资源组以存储所有资源：

az group create --location $LOCATION --resource-group $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID

使用 az connectedk8s connect 命令连接到已启用 Arc 的 Kubernetes 群集，并将其作为 Azure 资源组的一部分进行管理：
```
az connectedk8s connect -n $CLUSTER_NAME -l $LOCATION -g $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID
```
获取 Azure Arc 服务使用的 Microsoft Entra ID 应用程序的 objectId，并将其保存为环境变量。
```
export OBJECT_ID=$(az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv)
```
使用az connectedk8s enable-features命令在群集上启用自定义位置支持。此命令使用 Azure Arc 服务所用的 Microsoft Entra ID 应用程序的 objectId。在部署 Kubernetes 群集的计算机上运行此命令：
```
az connectedk8s enable-features -n $CLUSTER_NAME -g $RESOURCE_GROUP --custom-locations-oid $OBJECT_ID --features cluster-connect custom-locations
```

要将群集连接到 Azure Arc：

在 codespace 终端中，登录到 Azure CLI：
```
az login
```
提示

如果在浏览器中使用 GitHub codespace 环境而不是 VS Code 桌面版，则运行 az login 会返回 localhost 错误。若要修复该错误，请执行以下任一操作：
- 在 VS Code 桌面中打开 codespace，然后返回浏览器终端并重新运行 az login。
- 或者，在浏览器中收到 localhost 错误后，请从浏览器复制 URL，并在新的终端选项卡中运行 curl "<URL>"。应会看到 JSON 响应，其中包含消息“你已登录到 Microsoft Azure！”。
为所有命令设置 Azure 订阅上下文：
```
az account set -s $SUBSCRIPTION_ID
```
在订阅中注册所需的资源提供程序：

注意

对于每个订阅，只需运行此步骤一次。若要注册资源提供程序，你需要有执行 /register/action 操作的权限，该权限包含在订阅“参与者”和“所有者”角色中。有关详细信息，请参阅 Azure 资源提供程序和类型。
```
az provider register -n "Microsoft.ExtendedLocation"
az provider register -n "Microsoft.Kubernetes"
az provider register -n "Microsoft.KubernetesConfiguration"
az provider register -n "Microsoft.IoTOperationsOrchestrator"
az provider register -n "Microsoft.IoTOperations"
az provider register -n "Microsoft.DeviceRegistry"
```

使用az group create命令在 Azure 订阅中创建资源组以存储所有资源：

az group create --location $LOCATION --resource-group $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID

使用 az connectedk8s connect 命令连接到已启用 Arc 的 Kubernetes 群集，并将其作为 Azure 资源组的一部分进行管理：
```
az connectedk8s connect -n $CLUSTER_NAME -l $LOCATION -g $RESOURCE_GROUP --subscription $SUBSCRIPTION_ID
```
提示

$CLUSTER_NAME 的值会自动设置为 codespace 的名称。如果你要使用其他名称，请替换环境变量。
获取 Azure Arc 服务使用的 Microsoft Entra ID 应用程序的 objectId，并将其保存为环境变量。
```
export OBJECT_ID=$(az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv)
```
使用az connectedk8s enable-features命令在群集上启用自定义位置支持。此命令使用 Azure Arc 服务所用的 Microsoft Entra ID 应用程序的 objectId。
```
az connectedk8s enable-features -n $CLUSTER_NAME -g $RESOURCE_GROUP --custom-locations-oid $OBJECT_ID --features cluster-connect custom-locations
```

验证群集

若要验证群集是否已准备好进行 Azure IoT 操作部署，可以在 Azure CLI 的 Azure IoT 操作扩展中使用 verify-host 帮助程序命令。在群集主机上运行时，会此帮助程序命令检查与 Azure 资源管理器和 Microsoft 容器注册表终结点的连接。

az iot ops verify-host

若要验证 Kubernetes 群集现在是否已启用 Azure Arc，请运行以下命令：

kubectl get deployments,pods -n azure-arc

输出如下所示：

NAME                                         READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/clusterconnect-agent         1/1     1            1           10m
deployment.apps/extension-manager            1/1     1            1           10m
deployment.apps/clusteridentityoperator      1/1     1            1           10m
deployment.apps/controller-manager           1/1     1            1           10m
deployment.apps/flux-logs-agent              1/1     1            1           10m
deployment.apps/cluster-metadata-operator    1/1     1            1           10m
deployment.apps/extension-events-collector   1/1     1            1           10m
deployment.apps/config-agent                 1/1     1            1           10m
deployment.apps/kube-aad-proxy               1/1     1            1           10m
deployment.apps/resource-sync-agent          1/1     1            1           10m
deployment.apps/metrics-agent                1/1     1            1           10m

NAME                                              READY   STATUS    RESTARTS        AGE
pod/clusterconnect-agent-5948cdfb4c-vzfst         3/3     Running   0               10m
pod/extension-manager-65b8f7f4cb-tp7pp            3/3     Running   0               10m
pod/clusteridentityoperator-6d64fdb886-p5m25      2/2     Running   0               10m
pod/controller-manager-567c9647db-qkprs           2/2     Running   0               10m
pod/flux-logs-agent-7bf6f4bf8c-mr5df              1/1     Running   0               10m
pod/cluster-metadata-operator-7cc4c554d4-nck9z    2/2     Running   0               10m
pod/extension-events-collector-58dfb78cb5-vxbzq   2/2     Running   0               10m
pod/config-agent-7579f558d9-5jnwq                 2/2     Running   0               10m
pod/kube-aad-proxy-56d9f754d8-9gthm               2/2     Running   0               10m
pod/resource-sync-agent-769bb66b79-z9n46          2/2     Running   0               10m
pod/metrics-agent-6588f97dc-455j8                 2/2     Running   0               10m

创建站点

若要对 OT 用户有权访问哪些群集进行管理，可以将群集分组为站点。若要了解详细信息，请参阅什么是 Azure Arc 站点管理器（预览版）？。

后续步骤

现在你已经具有已启用 Azure Arc 的 Kubernetes 群集，接下来可以部署 Azure IoT 操作。

通过