Bereitstellen von Azure Kubernetes Service auf Azure Stack Edge
GILT FÜR: Azure Stack Edge Pro – GPUAzure Stack Edge Pro 2Azure Stack Edge Pro R
Hinweis
Verwenden Sie diese Prozedur nur, wenn Sie ein SAP- oder PMEC-Kunde sind.
Dieser Artikel beschreibt, wie Sie Azure Kubernetes Service (AKS) auf Ihrem Azure Stack Edge-Gerät bereitstellen und verwalten. Sie können diesen Artikel auch verwenden, um persistente Volumes zu erstellen, GitOps zur Verwaltung eines Arc-fähigen Kubernetes-Clusters zu verwenden und AKS und Azure Arc zu entfernen.
Die Zielgruppe für diesen Artikel sind IT-Administratoren, die mit der Einrichtung und Bereitstellung von Workloads auf dem Azure Stack Edge-Gerät vertraut sind.
Info über Azure Kubernetes Service auf Azure Stack Edge
Azure Stack Edge ist ein KI-fähiges Edgecomputing-Gerät mit hochleistungsfähigen Netzwerk-E/A-Funktionen. Nachdem Sie Compute auf Ihrem Azure Stack Edge-Gerät konfiguriert haben, können Sie das Azure-Portal zum Bereitstellen des Azure Kubernetes-Diensts verwenden, einschließlich Infrastruktur-VMs. Der AKS-Cluster wird dann für die Workloadbereitstellung über Azure Arc verwendet.
Voraussetzungen
Bevor Sie beginnen, müssen diese Voraussetzungen erfüllt sein:
Sie verfügen über ein Microsoft-Konto mit Anmeldeinformationen für den Zugriff auf das Azure-Portal und den Zugriff auf ein Azure Stack Edge Pro GPU-Gerät. Das Azure Stack Edge-Gerät wird mithilfe von Anweisungen in Einrichten und Aktivieren Ihres Geräts konfiguriert und aktiviert.
Sie haben mindestens einen virtuellen Switch erstellt und für Compute auf Ihrem Azure Stack Edge-Gerät aktiviert. Ausführliche Schritte finden Sie unter Erstellen virtueller Switches.
Sie haben einen Client, um auf Ihr Gerät zuzugreifen, das ein unterstütztes Betriebssystem ausführt. Stellen Sie bei Verwendung eines Windows-Clients sicher, dass darauf PowerShell 5.0 oder höher ausgeführt wird.
Bevor Sie Azure Arc auf dem Kubernetes-Cluster aktivieren, stellen Sie sicher, dass Sie die Ressourcenanbieter
Microsoft.Kubernetes
undMicrosoft.KubernetesConfiguration
für Ihr Abonnement aktiviert und registriert haben. Detaillierte Schritte finden Sie unter Registrieren von Ressourcenanbietern über Azure CLI.Wenn Sie beabsichtigen, Azure Arc für Kubernetes-Cluster bereitzustellen, müssen Sie eine Ressourcengruppe erstellen. Sie müssen über Zugriff auf Besitzerebene auf die Ressourcengruppe verfügen.
Um die Zugriffsebene für die Ressourcengruppe zu überprüfen, wechseln Sie zu Ressourcengruppe>Zugriffssteuerung (IAM)>Meinen Zugriff anzeigen. Unter Rollenzuweisungen müssen Sie als Besitzer aufgeführt sein.
Je nach den Workloads, die Sie bereitstellen wollen, müssen Sie möglicherweise auch sicherstellen, dass die folgenden optionalen Schritte abgeschlossen sind:
Wenn Sie beabsichtigen, benutzerdefinierte Speicherorte in Ihrem Arc-fähigen Cluster bereitzustellen, müssen Sie den
Microsoft.ExtendedLocation
-Ressourcenanbieter für Ihr Abonnement registrieren.Sie müssen die Objekt-ID des benutzerdefinierten Speicherorts abrufen und sie verwenden, um benutzerdefinierte Speicherorte über die PowerShell-Schnittstelle Ihres Geräts zu aktivieren.
az login az ad sp show --id bc313c14-387c-4e7d-a58e-70417303ee3b --query id -o tsv
Hier ist eine Beispielausgabe mithilfe der Azure CLI. Sie können dieselben Befehle über die Cloud Shell im Azure-Portal ausführen.
PS /home/user> az ad sp show --id bc313c14-388c-4e7d-a58e-70017303ee3b --query id -o tsv 51dfe1e8-70c6-4de5-a08e-e18aff23d815 PS /home/user>
Weitere Informationen finden Sie unter Erstellen und Verwalten von benutzerdefinierten Speicherorten in Arc-fähigen Kubernetes.
Wenn Kubernetes- oder PMEC-Workloads bereitgestellt werden:
- Möglicherweise haben Sie ein bestimmtes Workloadprofil mithilfe der lokalen Benutzeroberfläche oder mithilfe von PowerShell ausgewählt. Detaillierte Schritte für die lokale Benutzeroberfläche sind unter Konfigurieren von Compute-IPS und für PowerShell unter Ändern von Kubernetes-Workloadprofilen dokumentiert.
- Möglicherweise benötigen Sie virtuelle Netzwerke, die Sie mithilfe der Anweisungen in Virtuelle Netzwerke erstellen hinzugefügt haben.
Wenn Sie HPN-VMs als Ihre Infrastruktur-VMs verwenden, sollten die vCPUs automatisch reserviert werden. Führen Sie den folgenden Befehl aus, um die Reservierung zu überprüfen:
Get-HcsNumaLpMapping
Diese Konfiguration wird angewendet, wenn Sie Azure Stack Edge 2307 installieren oder aktualisieren. Es gibt zwei Szenarien, in denen die Konfiguration während des Updates nicht angewendet wird:
Wenn Sie mehr minroot-vCPUs konfiguriert haben als die vier vCPUs von Numa0 + alle vCPUs aus Numa1. Dieses Szenario gilt hauptsächlich für Azure Stack Edge-Gatewaykunden, die alle vCPUs für minroot konfigurieren. Für Azure Stack Edge Pro 2 gibt es nur eine Numa. Für Azure Stack Edge Pro 2 mit 40 Kernen sind mehr minroot-vCPUs konfiguriert als 24 vCPUs, und für Azure Stack Edge Pro 2 mit 48 vCPUs sind mehr als 28 vCPUs konfiguriert.
Wenn Sie HPN-VMs bereitgestellt haben und mehr als 16 vCPUs auf einem Computer mit 40 Kernen verbrauchen, oder mehr als 20 vCPUs auf einem Computer mit 48 Kernen für HPN-VMs.
Hier sehen Sie eine Beispielausgabe für Azure Stack Edge Pro GPU:
Hardware: { Numa Node #0 : CPUs [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] } { Numa Node #1 : CPUs [20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] } HpnCapableLpMapping: { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] } { Numa Node #1 : CPUs [24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39] } 7MT0SZ2: HpnLpMapping: { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] } { Numa Node #1 : CPUs [] } HpnLpAvailable: { Numa Node #0 : CPUs [4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19] } { Numa Node #1 : CPUs [] }
Bereitstellen von AKS in Azure Stack Edge
Es gibt mehrere Schritte zum Bereitstellen von AKS in Azure Stack Edge. Einige Schritte sind optional, wie unten beschrieben.
Überprüfen, ob AKS aktiviert ist
Um zu überprüfen, ob AKS aktiviert ist, wechseln Sie im Azure-Portal zu Ihrer Azure Stack Edge-Ressource. Wählen Sie im Bereich Übersicht die Azure Kubernetes Service-Kachel aus.
Festlegen von benutzerdefinierten Speicherorten (optional)
Stellen Sie eine Verbindung mit der PowerShell-Schnittstelle des Geräts her.
Führen Sie den folgenden Befehl als eine Option aus, um benutzerdefinierte Speicherorte festzulegen. Geben Sie die Objekt-ID des benutzerdefinierten Speicherorts ein, die Sie beim Vervollständigen Ihrer Voraussetzungen abgerufen haben.
Set-HcsKubeClusterArcInfo –CustomLocationsObjectId <custom_location_object_id>
Hier ist eine Beispielausgabe mithilfe der Azure CLI. Sie können dieselben Befehle über die Cloud Shell im Azure-Portal ausführen.
[1d9nhq2.microsoftdatabox.com]: PS> Set-HcsKubeClusterArcInfo –CustomLocationsObjectId 51dfe1e8-70c6-4de5-a08e-e18aff23d815 [1d9nhq2.microsoftdatabox.com]: PS>
Angeben statischer IP-Pools (optional)
Ein optionaler Schritt, in dem Sie IP-Pools für das virtuelle Netzwerk zuweisen können, das von Kubernetes-Pods verwendet wird.
Hinweis
SAP-Kunden können diesen Schritt überspringen.
Sie können einen statischen IP-Adresspool für jedes virtuelle Netzwerk angeben, das für Kubernetes aktiviert ist. Das für Kubernetes aktivierte virtuelle Netzwerk generiert eine NetworkAttachmentDefinition
, die für den Kubernetes-Cluster erstellt wird.
Während der Anwendungsbereitstellung können Kubernetes-Pods statische IP-Adressen im IP-Pool für Containernetzwerkschnittstellen verwenden, z. B. Schnittstellen für Einzelstamm-E/A-Virtualisierung (Single Root I/O Virtualization, SR-IOV) für Container. Dies kann durch Zeigen auf eine NetworkAttachmentDefinition
in der PodSpec erfolgen.
Verwenden Sie die folgenden Schritte, um statische IP-Pools in der lokalen Benutzeroberfläche Ihres Geräts zuzuweisen.
Wechseln Sie zur Seite Erweiterte Netztechnologie im Azure-Portal.
Wenn Sie zuvor keine virtuellen Netzwerke erstellt haben, wählen Sie Virtuelles Netzwerk hinzufügen aus, um ein virtuelles Netzwerk zu erstellen. Sie müssen den virtuellen Switch angeben, der dem virtuellen Netzwerk, der VLAN-ID, der Subnetzmaske und dem Gateway zugeordnet ist.
In einem hier gezeigten Beispiel haben wir drei virtuelle Netzwerke konfiguriert. In jedem dieser virtuellen Netzwerke ist VLAN 0 und Subnetzmaske und Gateway entsprechen den externen Werten, z. B. 255.255.0.0 und 192.168.0.1.
Erstes virtuelles Netzwerk – Der Name ist N2 und vswitch-port5 zugeordnet.
Zweites virtuelles Netzwerk – Der Name ist N3 und vswitch-port5 zugeordnet.
Drittes virtuelles Netzwerk – Der Name ist N6 und vswitch-port6 zugeordnet.
Sobald alle drei virtuellen Netzwerke konfiguriert sind, werden sie unter den virtuellen Netzwerken wie folgt aufgeführt:
Weisen Sie den virtuellen Netzwerken IP-Adresspools zu:
Wählen Sie auf der Seite Kubernetes ein von Ihnen erstelltes virtuelles Netzwerk aus, und aktivieren Sie es für Kubernetes.
Geben Sie einen zusammenhängenden Bereich statischer IP-Adressen für Kubernetes-Pods im virtuellen Netzwerk an. In diesem Beispiel wurde ein Bereich von einer IP-Adresse für jedes der drei von uns erstellten virtuellen Netzwerke bereitgestellt.
Wählen Sie Übernehmen aus, um die Änderungen für alle virtuellen Netzwerke anzuwenden.
Hinweis
Sie können die IP-Pooleinstellungen nicht ändern, nachdem der AKS-Cluster bereitgestellt wurde.
Konfigurieren des VNet für Compute
Verwenden Sie diesen Schritt, um das VNet für Kubernetes-Computedatenverkehr zu konfigurieren.
Wechseln Sie auf der lokalen Benutzeroberfläche Ihres Geräts zur Seite Kubernetes.
Wählen Sie Modifizieren aus, um ein VNet für Kubernetes-Computedatenverkehr zu konfigurieren.
Aktivieren Sie die Compute auf einem Port mit Internetzugriff. In diesem Fall ist z. B. Port 2, der mit dem Internet verbunden war, für Compute aktiviert. Mit dem Internetzugriff können Sie Containerimages von AKS abrufen.
Die virtuelle IP für konsistente Azure-Dienste muss in der Lage sein, dieses VNet-Netzwerk für Compute entweder über externes Routing zu erreichen, oder durch Erstellen einer virtuellen IP für konsistente Azure-Dienste im gleichen Netzwerk.
Geben Sie für Kubernetes-Knoten einen zusammenhängenden Bereich von sechs statischen IP-Adressen im gleichen Subnetz wie das Netzwerk für diesen Port an.
Im Rahmen der AKS-Bereitstellung werden zwei Cluster erstellt, ein Verwaltungscluster und ein Zielcluster. Die von Ihnen angegebenen IP-Adressen werden wie folgt verwendet:
Der Verwaltungscluster benötigt zwei IP-Adressen = 1 IP-Adresse für die Netzwerkschnittstelle der Verwaltungssteuerungsebene + 1 IP-Adresse für API-Server (virtuelle IP).
Der Zielcluster benötigt (2+n) IP-Adressen = 1 IP-Adresse für die Netzwerkschnittstelle der Zielcluster-Steuerungsebene + 1 IP-Adresse für API-Server (virtuelle IP) + Anzahl der Knoten, n.
Eine zusätzliche IP-Adresse wird für rollierende Updates verwendet.
Für ein einzelnes Knotengerät ergeben sich daraus sechs IP-Adressen für die Bereitstellung eines Kubernetes-Clusters. Für einen Zwei-Knoten-Cluster benötigen Sie sieben IP-Adressen.
Geben Sie für die externen Dienst-IP-Adressen von Kubernetes statische IP-Adressen für Dienste an, die außerhalb des Kubernetes-Clusters verfügbar gemacht werden. Für jeden solchen Dienst ist eine IP-Adresse erforderlich.
Aktivieren der VM-Cloudverwaltung
Dieser Schritt ist erforderlich, damit das Azure Stack Edge-Portal die Infrastruktur-VMs auf dem Azure Stack Edge-Gerät für AKS bereitstellen kann, beispielsweise für den Zielcluster-Workerknoten.
Wechseln Sie im Azure-Portal zu Ihrer Azure Stack Edge-Ressource.
Wechseln Sie zur Übersicht, und wählen Sie die Kachel Virtuelle Computer aus.
Wählen Sie auf der Seite Virtuelle Computer>Übersicht die Option Aktivieren fürCloudverwaltung virtueller Computer aus.
Einrichten des Kubernetes-Clusters und Aktivieren von Arc
Verwenden Sie diesen Schritt, um den Kubernetes-Cluster einzurichten und bereitzustellen und ihn für die Verwaltung über Arc zu aktivieren.
Wichtig
Beachten Sie vor dem Erstellen des Kubernetes-Clusters Folgendes:
- Sie können die IP-Pooleinstellungen nicht ändern, nachdem der AKS-Cluster bereitgestellt wurde.
- Im Rahmen der Arc-Aktivierung des AKS-Zielclusters werden benutzerdefinierte Speicherorte aktiviert, wenn die Objekt-ID mithilfe des optionalen Befehls im Abschnitt Benutzerdefinierte Speicherorte festlegen ( optional) in diesem Artikel übergeben wurde. Wenn Sie keine benutzerdefinierten Speicherorte aktiviert haben, können Sie dies trotzdem noch tun, bevor der Kubernetes-Cluster erstellt wird. Nachdem die Clusterbereitstellung gestartet wurde, können Sie keine benutzerdefinierten Speicherorte mehr festlegen.
Führen Sie die folgenden Schritte aus, um den AKS-Cluster bereitzustellen.
Wechseln Sie im Azure-Portal zu Ihrer Azure Stack Edge-Ressource.
Wählen Sie die Kachel Azure Kubernetes Service aus.
Wählen Sie Hinzufügen aus, um AKS zu konfigurieren.
Wählen Sie im Dialogfeld Kubernetes-Dienst erstellen die Kubernetes-Knotengröße für die Infrastruktur-VM aus. Wählen Sie eine VM-Knotengröße aus, die für die Workloadgröße geeignet ist, die Sie bereitstellen. In diesem Beispiel haben wir die VM-Größe Standard_F16s_HPN – 16 vCPUs, 32,77 GB Arbeitsspeicher ausgewählt.
Wählen Sie für SAP-Bereitstellungen die VM-Knotengröße Standard_DS5_v2 aus.
Hinweis
Wenn das Dropdownmenü für die Knotengröße nicht ausgefüllt ist, warten Sie einige Minuten, damit es synchronisiert wird, nachdem VMs im vorherigen Schritt aktiviert wurden.
Überprüfen Sie Container aus der Cloud über Arc-fähiges Kubernetes verwalten. Wenn diese Option aktiviert wird, wird Arc aktiviert, wenn der Kubernetes-Cluster erstellt wird.
Wenn Sie Ändern auswählen, müssen Sie einen Abonnementnamen, eine Ressourcengruppe, einen Clusternamen und eine Region angeben.
Der Abonnementname sollte automatisch ausgefüllt werden.
Wählen Sie einen eindeutigen Ressourcengruppennamen aus. Sie können auch die gleiche Ressourcengruppe verwenden, in der Sie Ihre Azure Stack Edge-Ressource bereitgestellt haben. Sie müssen über Zugriff auf Besitzerebene für diese Ressourcengruppe verfügen. Um die Zugriffsebene für die Ressourcengruppe zu überprüfen, wechseln Sie zu Ressourcengruppe>Zugriffssteuerung (IAM)>Meinen Zugriff anzeigen. Unter Rollenzuweisungen müssen Sie als Besitzer aufgeführt sein.
Geben Sie einen Namen für Ihren Arc-fähigen Kubernetes-Cluster an, oder übernehmen Sie den Standardwert.
Wählen Sie eine Region aus, in der die Ressource für Ihren Arc-fähigen Kubernetes-Cluster erstellt wird. In der Dropdownliste wird eine gefilterte Liste der unterstützten Regionen angezeigt.
Wählen Sie Konfigurierenaus. Sie können die Arc-Einstellungen auch zurücksetzen, indem Sie die Option Auf Standard zurücksetzen auswählen.
Wählen Sie Erstellen aus, um den Kubernetes-Dienst zu erstellen.
Sie werden benachrichtigt, wenn die Clustererstellung beginnt.
Nachdem der Kubernetes-Cluster erstellt wurde, sehen Sie, dass Azure Kubernetes Service ausgeführt wird.
Das Arc-fähige Kubernetes wird auch als Ausgeführt angezeigt.
Wenn Sie planen, Kubernetes-Workloads bereitzustellen, müssen Sie möglicherweise als Nächstes persistente Volumes erstellen, um Speicherplatz zuzuweisen.
Hinzufügen eines persistenten Volumes
PersistentVolume (PV) bezieht sich auf einen Teil des Speichers im Kubernetes-Cluster. Der Kubernetes-Speicher kann statisch als PersistentVolume
bereitgestellt werden. Er kann aber auch dynamisch als StorageClass
bereitgestellt werden. Weitere Informationen finden Sie unter Speicheranforderungen für Kubernetes-Pods.
Es gibt zwei unterschiedliche Workflows zum Erstellen von PVs, je nachdem, ob Compute bei der Erstellung der Freigabe inline aktiviert ist oder nicht. Jeder dieser Workflows wird in den folgenden Abschnitten erläutert.
Erstellen eines persistenten Volumes mit aktivierter Inline-Compute während der Freigabeerstellung
Auf Ihrem Azure Stack Edge Pro-Gerät werden statisch bereitgestellte PersistentVolumes
mithilfe der Speicherfunktionen des Geräts erstellt. Wenn Sie eine Freigabe bereitstellen und die Option Freigabe mit Edgecomputing verwenden aktiviert ist, erstellt diese Aktion automatisch eine PV-Ressource im Kubernetes-Cluster.
Um Cloudtiering zu verwenden, können Sie eine Edge-Cloudfreigabe mit der aktivierten Option Freigabe mit Edgecomputing verwenden erstellen. Für diese Freigabe wird automatisch ein PV erstellt. Wenn Sie diese Option aktivieren, werden alle Anwendungsdaten, die Sie in die Edgefreigabe schreiben, in die Cloud verschoben.
Erstellen eines persistenten Volumes mit nicht inline aktivierter Compute während der Freigabeerstellung
Für die Freigaben, die mit der nicht aktivierten Option Freigabe mit Edgecomputing verwenden erstellt wurden, können Sie ein persistentes Volume mit den folgenden Schritten hinzufügen.
Wechseln Sie im Azure-Portal zur Azure Stack Edge-Ressource für Ihr Gerät. Wechseln Sie zu Cloudspeicher-Gateway>Freigaben. Sie können sehen, dass das Gerät derzeit Freigaben mit dem aktivierten Status Für Compute verwendet aufweist.
Wählen Sie + Freigabe hinzufügen aus. Stellen Sie für diese Freigabe sicher, dass die Option Verwenden der Freigabe mit Edgecomputing deaktiviert ist.
Sie können die neu erstellte Freigabe in der Liste der Freigaben sehen, und der Status Für Compute verwendet ist Deaktiviert.
Wechseln Sie zurück zu Azure Stack Edge-Ressource>Übersicht. Wählen Sie im rechten Bereich die Kachel Azure Kubernetes Service aus.
Auf der Seite Azure Kubernetes Service>Übersicht zeigt die Kachel Persistente Volumes die persistenten Volumes an, die vorhanden sind. Diese Volumes wurden automatisch erstellt, als die Freigaben mit der aktivierter Option Freigabe mit Edgecomputing verwenden erstellt wurden. Um ein neues persistentes Volume zu erstellen, wählen Sie + Persistentes Volume hinzufügen aus.
Wählen Sie im Dialogfeld Persistente Volumes hinzufügen die Freigabe aus, für die Sie das persistente Volume erstellen möchten.
Es wird eine Benachrichtigung angezeigt, dass das persistente Volume erstellt wird. Dieser Vorgang dauert einige Minuten.
Nachdem das persistente Volume erstellt wurde, wird die Seite Übersicht aktualisiert, um das neu hinzugefügte persistente Volume einzuschließen.
Wählen Sie Alle persistenten Volumes anzeigen aus, um das neu erstellte persistente Volume zu sehen.
Entfernen von Azure Kubernetes Service
Verwenden Sie die folgenden Schritte im Azure-Portal, um AKS zu entfernen.
Wechseln Sie in Ihrer Azure Stack Edge-Ressource zu Azure Kubernetes Service>Übersicht.
Wählen Sie auf der oberen Befehlsleiste Entfernen aus.
Wählen Sie das konfigurierte Add-On aus, das Sie zusammen mit AKS entfernen möchten. Azure Arc-fähiges Kubernetes ist ein Add-On. Sobald Sie Entfernen auswählen, werden alle Kubernetes-Konfigurationen und das ausgewählte Add-On entfernt. Der Vorgang ist unumkehrbar und kann nicht rückgängig gemacht werden.
Wählen Sie OK aus, um den Vorgang zu bestätigen.