Freigeben über

Apache Flink® Command-Line Schnittstelle (CLI) auf HDInsight auf AKS-Clustern

  • Artikel

Wichtig

Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.

Wichtig

Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Featurevorschläge senden Sie bitte eine Anfrage an AskHDInsight zusammen mit den Details und folgen Sie uns, um weitere Updates von Azure HDInsight Communityzu erhalten.

Apache Flink stellt eine CLI (Befehlszeilenschnittstelle) bin/flink bereit, um Aufträge (Programme) auszuführen, die als JAR-Dateien verpackt sind und ihre Ausführung steuern. Die CLI ist Teil des Flink-Setups und kann auf einer VM mit einem einzigen Knoten eingerichtet werden. Es stellt eine Verbindung zum ausgeführten JobManager in conf/flink-conf.yamlher.

Installationsschritte

Um Flink CLI unter Linux zu installieren, benötigen Sie eine Linux-VM-, um das Installationsskript auszuführen. Wenn Sie sich auf Windowsbefinden, müssen Sie eine Bash-Umgebung ausführen.

Anmerkung

Dies funktioniert nicht unter Windows GIT BASH. Sie müssen WSL- installieren, um dies unter Windows zu erledigen.

Anforderungen

  • Installieren Sie JRE 11. Wenn sie nicht installiert ist, führen Sie die in /java/openjdk/downloadbeschriebenen Schritte aus.
  • Fügen Sie Java zu PATH hinzu, oder definieren Sie JAVA_HOME Umgebungsvariable, die auf das JRE-Installationsverzeichnis verweist, sodass $JAVA_HOME/bin/java vorhanden ist.

Installieren oder Aktualisieren

Sowohl die Installation als auch die Aktualisierung der CLI erfordern eine erneute Ausführung des Installationsskripts. Installieren Sie die CLI, indem Sie Curl ausführen.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Wenn Sie Flink 1.17 verwenden, können Sie die folgende CLI verwenden.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Mit diesem Befehl wird Flink CLI im Heimverzeichnis des Benutzers ($HOME/flink-cli) installiert. Das Skript kann auch lokal heruntergeladen und ausgeführt werden. Möglicherweise müssen Sie die Shell neu starten, damit Änderungen wirksam werden.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Anmerkung

Bei der Ausführung über ein SSH-Pod verwenden Sie den Befehl bin/flink list, um die vollständige Ausgabe zu erhalten.

Wenn Sie diese Parameter nicht jedes Mal hinzufügen möchten, fügen Sie sie conf/flink-conf.yamlhinzu.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Jetzt wird der Befehl

bin/flink list

Die Ausgabe sollte wie folgt aussehen:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Öffnen Sie https://microsoft.com/devicelogin in Ihrem Browser, und geben Sie den Code ein, und verwenden Sie dann Ihre microsoft.com-ID, um sich anzumelden. Nach erfolgreicher Anmeldung sollten Sie eine Ausgabe ähnlich der folgenden sehen, wenn kein Auftrag ausgeführt wird.

Waiting for response...
No running jobs.
No scheduled jobs.

curl Object Moved-Fehler

Wenn Sie einen Fehler von curl im Zusammenhang mit dem -L-Parameter oder eine Fehlermeldung mit dem Text "Objekt verschoben" erhalten, versuchen Sie, die vollständige URL anstelle der aka.ms Umleitung zu verwenden:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Beispiele

Hier sind einige Beispiele für Aktionen, die vom CLI-Tool von Flink unterstützt werden:

Handlung Zweck
laufen Diese Aktion führt Aufträge aus. Es erfordert mindestens die JAR-Datei, die den Job enthält. Flink- oder auftragsbezogene Argumente können bei Bedarf übergeben werden.
Info Diese Aktion kann verwendet werden, um ein optimiertes Ausführungsdiagramm des übergebenen Auftrags zu drucken. Auch hier muss das Glas, das den Auftrag enthält, übergeben werden.
Liste Diese Aktion listet alle ausgeführten oder geplanten Aufträgeauf.
Sicherungspunkt Diese Aktion kann verwendet werden, um Speicherpunkte für einen bestimmten Auftrag zu erstellen oder zu entfernen. Möglicherweise muss neben der JobID ein Speicherpunktverzeichnis angegeben werden.
Abbrechen Diese Aktion kann verwendet werden, um ausgeführte Aufträge basierend auf ihrer JobID abzubrechen.
aufhören Diese Aktion kombiniert die Abbrechen- und Speicherpunkt-Aktionen, um einen laufenden Auftrag zu stoppen, erstellt aber auch einen Speicherpunkt, um von dort erneut zu starten.

Auf alle Aktionen und deren Parameter kann über die folgenden Befehle zugegriffen werden:

bin/flink --help

Die Nutzungsinformationen jeder einzelnen Aktion

bin/flink <action> --help

Trinkgeld

  • Wenn Sie über einen Proxy verfügen, der die Verbindung blockiert: Um die Installationsskripts abzurufen, muss Ihr Proxy HTTPS-Verbindungen mit den folgenden Adressen zulassen: https://aka.ms/ und https://hdiconfigactions.blob.core.windows.net
  • Um das Problem zu beheben, fügen Sie den Benutzer oder die Gruppe zum Autorisierungsprofilhinzu.

Referenz