Freigeben über

Apache Flink® Command-Line Interface (CLI) in HDInsight auf AKS-Clustern

  • Artikel

Hinweis

Azure HDInsight on AKS wird am 31. Januar 2025 eingestellt. Vor dem 31. Januar 2025 müssen Sie Ihre Workloads zu Microsoft Fabric oder einem gleichwertigen Azure-Produkt migrieren, um eine abruptes Beendigung Ihrer Workloads zu vermeiden. Die verbleibenden Cluster in Ihrem Abonnement werden beendet und vom Host entfernt.

Bis zum Einstellungsdatum ist nur grundlegende Unterstützung verfügbar.

Wichtig

Diese Funktion steht derzeit als Vorschau zur Verfügung. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure-Vorschauen enthalten weitere rechtliche Bestimmungen, die für Azure-Features in Betaversionen, in Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschau von Azure HDInsight on AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.

Apache Flink stellt eine CLI (Befehlszeilenschnittstelle) bin/flink bereit, um Aufträge (Programme) auszuführen, die als JAR-Dateien verpackt sind, und die Ausführung dieser zu steuern. Die CLI ist Teil der Flink-Einrichtung und kann auf einer VM mit einem einzigen Knoten eingerichtet werden. Sie stellt eine Verbindung mit dem ausgeführten JobManager her, welcher in conf/flink-conf.yaml angegeben wurde.

Installationsschritte

Um Flink CLI unter Linux zu installieren, benötigen Sie eineLinux-VM, um das Installationsskript auszuführen. Sie müssen eine Bash-Umgebung ausführen, wenn Sie Windowsverwenden.

Hinweis

Dies funktioniert nicht mit Windows GIT BASH, Sie müssen WSL installieren, damit dies in Windows funktioniert.

Anforderungen

  • Installieren Sie JRE 11. Führen Sie die unter /java/openjdk/download beschriebenen Schritte durch, falls sie nicht installiert.
  • Fügen Sie „java“ zu PATH hinzu, oder definieren Sie die Umgebungsvariable JAVA_HOME, die auf das JRE-Installationsverzeichnis verweist, sodass $JAVA_HOME/bin/java vorhanden ist.

Installieren oder Aktualisieren

Sowohl für die Installation als auch die Aktualisierung der CLI muss das Installationsskript erneut ausgeführt werden. Installieren Sie die CLI durch Ausführen von curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Wenn Sie Flink 1.17 verwenden, können Sie die folgende CLI verwenden.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Mit diesem Befehl wird Flink CLI im Heimverzeichnis des Benutzers ($HOME/flink-cli) installiert. Das Skript kann auch heruntergeladen und lokal ausgeführt werden. Möglicherweise müssen Sie Ihre Shell neu starten, damit die Änderungen wirksam werden.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Hinweis

Wenn Sie über SSH-Pod arbeiten, verwenden Sie den Befehl bin/flink list, um die vollständige Ausgabe zu erhalten.

Wenn Sie diese Parameter nicht jedes Mal hinzufügen möchten, fügen Sie sie conf/flink-conf.yamlhinzu.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Jetzt wird der Befehl

bin/flink list

Es sollte eine Ausgabe wie die folgende angezeigt werden:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Öffnen Sie https://microsoft.com/devicelogin in Ihrem Browser und geben Sie den Code ein. Verwenden Sie dann Ihre microsoft.com ID, um sich anzumelden. Nach erfolgreicher Anmeldung sollte die Ausgabe wie folgt angezeigt werden, wenn kein Auftrag ausgeführt wird.

Waiting for response...
No running jobs.
No scheduled jobs.

Curl Object Moved Fehler

Wenn Sie einen Fehler von curl im Zusammenhang mit dem -L-Parameter oder eine Fehlermeldung mit dem Text „Objekt verschoben“ erhalten, versuchen Sie, die vollständige URL anstatt der aka.ms-Umleitung zu verwenden:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Beispiele

Hier sind einige Beispiele für Aktionen, die vom CLI-Tool von Flink unterstützt werden:

Aktion Zweck
run Diese Aktion führt Aufträge aus. Sie benötigt zumindest die Jar, welche den Auftrag enthält. Flink- oder auftragsbezogene Argumente können bei Bedarf übergeben werden.
info Diese Aktion kann verwendet werden, um ein optimiertes Ausführungsdiagramm des übergebenen Auftrags zu drucken. Auch hier muss das Jar, das den Auftrag enthält, übergeben werden.
list Diese Aktion listet alle ausgeführten oder geplanten Aufträge auf.
savepoint Diese Aktion kann zum Erstellen oder Entfernen von Speicherpunkten für einen bestimmten Auftrag verwendet werden. Es kann notwendig sein, neben der JobID auch ein Speicherpunktverzeichnis anzugeben.
cancel Diese Aktion kann verwendet werden, um basierend auf der JobID ausgeführte Aufträge abzubrechen.
Stopp Diese Aktion kombiniert die Abbrechen- und Speicherpunktaktionen, um einem ausgeführten Auftrag anzuhalten, erstellt aber auch einen Speicherpunkt, vom dem erneut gestartet werden soll.

Auf alle Aktionen und deren Parameter kann über die folgenden Befehle zugegriffen werden:

bin/flink --help

Die Nutzungsinformationen jeder einzelnen Aktion

bin/flink <action> --help

Tipp

  • Falls Sie über einen Proxy verfügen, welcher die Verbindung blockiert: Zum Abrufen der Installationsskripts muss Ihr Proxy HTTPS-Verbindungen mit den folgenden Adressen zulassen: https://aka.ms/ und https://hdiconfigactions.blob.core.windows.net
  • Um das Problem zu beheben, fügen Sie zum Autorisierungsprofil den Benutzer oder die Gruppe hinzu.

Verweis