Erstellen eines Apache Flink-Clusters® in HDInsight auf AKS mit Azure-Portal
Wichtig
Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.
Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.
Wichtig
Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Bei Fragen oder Vorschlägen für Features senden Sie bitte eine Anfrage an AskHDInsight mit den Details und folgen Sie uns für weitere Updates zu Azure HDInsight Community.
Führen Sie die folgenden Schritte aus, um einen Apache Flink-Cluster im Azure-Portal zu erstellen.
Voraussetzungen
Füllen Sie die Voraussetzungen in den folgenden Abschnitten aus:
Wichtig
- Um einen Cluster in einem neuen Clusterpool zu erstellen, weisen Sie der vom Benutzer zugewiesenen verwalteten Identität eine AKS-Agentpool-MSI-Rolle "Managed Identity Operator" zu, die als Teil der Ressourcenvoraussetzungen erstellt wurde. Falls Sie über erforderliche Berechtigungen verfügen, wird dieser Schritt während der Erstellung automatisiert.
- Die verwaltete Identität des AKS-Agentpools wird während der Erstellung des Clusterpools erstellt. Sie können die verwaltete Identität des AKS-Agentpools identifizieren, indem Sie (Ihr Clusterpoolname)-Agentpooldafür nutzen. Führen Sie die folgenden Schritte aus, um die Rollezuzuweisen.
Erstellen eines Apache Flink-Clusters
Flink-Cluster können erstellt werden, nachdem die Bereitstellung eines Clusterpools abgeschlossen wurde. Lassen Sie uns die Schritte für den Fall ausführen, dass Sie mit einem vorhandenen Clusterpool beginnen.
Geben Sie im Azure-Portal HDInsight-Clusterpools/HDInsight/HDInsight auf AKS ein, und wählen Sie Azure HDInsight für AKS-Clusterpools aus, um zur Seite "Clusterpools" zu wechseln. Wählen Sie auf der Seite "HDInsight auf AKS-Clusterpools" den Clusterpool aus, in dem Sie einen neuen Flink-Cluster erstellen möchten.
Klicken Sie auf der Seite für einen bestimmten Clusterpool auf + Neuer Cluster und geben Sie die folgenden Informationen an:
Eigentum Beschreibung Abonnement Dieses Feld wird automatisch mit dem Azure-Abonnement aufgefüllt, das für den Clusterpool registriert wurde. Ressourcengruppe Dieses Feld wird automatisch aufgefüllt und zeigt die Ressourcengruppe im Clusterpool an. Region Dieses Feld wird automatisch aufgefüllt und zeigt die region an, die im Clusterpool ausgewählt ist. Clusterpool Dieses Feld wird automatisch aufgefüllt und zeigt den Clusterpoolnamen an, auf dem der Cluster jetzt erstellt wird. Um einen Cluster in einem anderen Pool zu erstellen, suchen Sie diesen Clusterpool im Portal, und klicken Sie auf + Neuer Cluster. HDInsight in der AKS-Poolversion Dieses Feld wird automatisch aufgefüllt und zeigt die Clusterpoolversion an, auf der der Cluster jetzt erstellt wird. HDInsight auf der AKS-Version Wählen Sie die Neben- oder Patchversion des HDInsight auf AKS des neuen Clusters aus. Clustertyp Wählen Sie in der Dropdownliste Flink aus. Clustername Geben Sie den Namen des neuen Clusters ein. Vom Benutzer zugewiesene verwaltete Identität Wählen Sie in der Dropdownliste die verwaltete Identität aus, die mit dem Cluster verwendet werden soll. Wenn Sie der Besitzer der Managed Service Identity (MSI) sind und die MSI nicht über die Rolle "Managed Identity Operator" im Cluster verfügt, klicken Sie auf den Link unterhalb des Felds, um die für den AKS-Agentpool-MSI erforderliche Berechtigung zuzuweisen. Wenn die MSI bereits über die richtigen Berechtigungen verfügt, wird kein Link angezeigt. Siehe Voraussetzungen für weitere erforderliche Rollenzuweisungen für die MSI. Speicherkonto Wählen Sie in der Dropdownliste das Speicherkonto aus, das dem Flink-Cluster zugeordnet werden soll, und geben Sie den Containernamen an. Der verwalteten Identität wird zusätzlicher Zugriff auf das angegebene Speicherkonto gewährt, indem während der Clustererstellung die Rolle "Besitzer der Speicher-Blob-Daten" genutzt wird. Virtuelles Netzwerk Das virtuelle Netzwerk für den Cluster. Subnetz Das virtuelle Subnetz für den Cluster. Aktivierung des Hive-Katalogs für Flink SQL.
Eigentum Beschreibung Verwenden des Hive-Katalogs Aktivieren Sie diese Option, um einen externen Hive-Metaspeicher zu verwenden. SQL-Datenbank für Hive Wählen Sie in der Dropdownliste die SQL-Datenbank aus, in der Sie Hive-Metastore-Tabellen hinzufügen möchten. SQL-Administratorbenutzername Geben Sie den Benutzernamen des SQL Server-Administrators ein. Dieses Konto wird vom Metastore verwendet, um mit der SQL-Datenbank zu kommunizieren. Schlüsseltresor Wählen Sie in der Dropdownliste den Schlüsseltresor aus, der einen geheimen Schlüssel mit Kennwort für den Benutzernamen des SQL Server-Administrators enthält. Sie müssen eine Zugriffsrichtlinie mit allen erforderlichen Berechtigungen wie Schlüsselberechtigungen, geheimen Berechtigungen und Zertifikatberechtigungen für die MSI einrichten, die für die Clustererstellung verwendet wird. Die MSI benötigt die Rolle des Key Vault Administrators; fügen Sie die erforderlichen Berechtigungen mithilfe von IAM hinzu. SQL-Passwort-Geheimname Geben Sie den geheimen Namen aus dem Key Vault ein, in dem das SQL-Datenbankkennwort gespeichert ist. 
Anmerkung
Standardmäßig verwenden wir das Speicherkonto für den Hive-Katalog wie das Speicherkonto und den Container, das während der Clustererstellung verwendet wird.
Wählen Sie Weiter: Konfiguration, um fortzufahren.
Geben Sie auf der Seite Configuration die folgenden Informationen an:
Eigentum Beschreibung Knotengröße Wählen Sie die Knotengröße, die sowohl für die Flink-Knoten als auch für die Arbeitsknoten verwendet werden soll. Anzahl der Knoten Wählen Sie die Anzahl der Knoten für den Flink-Cluster aus. Standardmäßig sind Kopfknoten zwei. Die Größenbestimmung der Arbeitsknoten hilft bei der Ermittlung der Taskmanager-Konfigurationen für Flink. Der Job-Manager und der Verlaufsserver befinden sich auf Hauptknoten. Geben Sie im Abschnitt Dienstkonfiguration die folgenden Informationen an:
Eigentum Beschreibung Taskmanager-CPU Ganze Zahl. Geben Sie die Größe der Task-Manager-CPUs (in Kernen) ein. Taskmanagerspeicher in MB Geben Sie die Speichergröße des Task-Managers in MB ein. Mindestens 1800 MB. Aufgaben-Manager CPU Ganze Zahl. Geben Sie die Anzahl der CPUs für den Job-Manager (in Kernen) ein. Job-Manager-Speicher in MB Geben Sie die Arbeitsspeichergröße in MB ein. Mindestens 1800 MB. CPU des Verlaufsservers Ganze Zahl. Geben Sie die Anzahl der CPUs für den Job-Manager (in Kernen) ein. Speicher des Verlaufsservers in MB Geben Sie die Arbeitsspeichergröße in MB ein. Mindestens 1800 MB. 
Anmerkung
- Der Verlaufsserver kann bei Bedarf aktiviert/deaktiviert werden.
- Die zeitplanbasierte Automatische Skalierung wird in Flink unterstützt. Sie können die Anzahl der Arbeitsknoten nach Bedarf planen. Beispielsweise wird eine zeitplanbasierte automatisierte Skalierung aktiviert, mit einer standardmäßigen Anzahl von 3 Arbeitsknoten. Während der Wochentage von 9:00 UTC bis 20:00 UTC sind die Arbeitsknoten auf 10 festgelegt. Später am Tag muss sie standardmäßig auf 3 Knoten festgelegt werden ( zwischen 20:00 UTC und dem nächsten Tag 09:00 UTC ). Während der Wochenenden von 9:00 UTC bis 20:00 UTC gibt es 4 Arbeitsknoten.
Aktualisieren Sie im Abschnitt automatische Skalierung & SSH- Folgendes:
Eigentum Beschreibung Automatische Skalierung Bei der Auswahl können Sie die zeitplanbasierte Autoskalierung auswählen, um den Zeitplan für Skalierungsvorgänge zu konfigurieren. Aktivieren von SSH Bei auswahl können Sie sich für die Gesamtanzahl der erforderlichen SSH-Knoten entscheiden, bei denen es sich um die Zugriffspunkte für die Flink CLI mit Secure Shell handelt. Die maximal zulässigen SSH-Knoten sind 5. 
Klicken Sie auf die Schaltfläche Weiter: Integration, um mit der nächsten Seite fortzufahren.
Geben Sie auf der Seite Integration die folgenden Informationen an:
Eigentum Beschreibung Protokollanalyse Dieses Feature ist nur verfügbar, wenn der Clusterpool einem Log Analytics-Arbeitsbereich zugeordnet ist. Sobald die Protokollerfassung aktiviert ist, können die zu sammelnden Protokolle ausgewählt werden. Azure Prometheus Dieses Feature besteht darin, Insights und Protokolle direkt in Ihrem Cluster anzuzeigen, indem Metriken und Protokolle an den Azure Monitor-Arbeitsbereich gesendet werden. 
Klicken Sie auf die Schaltfläche Weiter: Tags, um mit der nächsten Seite fortzufahren.
Geben Sie auf der Seite Tags die folgenden Informationen an:
Eigentum Beschreibung Name Wahlfrei. Geben Sie einen Namen wie HDInsight auf AKS ein, um einfach alle Ressourcen zu identifizieren, die Ihren Clusterressourcen zugeordnet sind. Wert Sie können diesen Wert leer lassen. Ressource Wählen Sie "Alle Ressourcen" aus. Wählen Sie Weiter: Überprüfen und erstellen Sie, um fortzufahren.
Suchen Sie auf der Seite Überprüfen und Erstellen nach der Nachricht Validierung erfolgreich oben auf der Seite, und klicken Sie anschließend auf Erstellen.
Die Seite wird angezeigt, auf der die Bereitstellung erfolgt und der Cluster erstellt wird. Es dauert 5 bis 10 Minuten, um den Cluster zu erstellen. Nachdem der Cluster erstellt wurde, wird die Meldung "Ihre Bereitstellung ist abgeschlossen" angezeigt. Wenn Sie von der Seite weg navigieren, können Sie Ihre Benachrichtigungen auf den aktuellen Status überprüfen.
Anmerkung
Apache, Apache Flink, Flink und zugehörige Open Source-Projektnamen sind Marken der Apache Software Foundation (ASF).