Udostępnij za pośrednictwem

Interfejs wiersza poleceń (CLI) Apache Flink® Command-Line w usłudze HDInsight na klastrach AKS

  • Artykuł

Ważny

Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej przy pomocy tego ogłoszenia.

Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.

Ważny

Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe warunki użytkowania dotyczące wersji poglądowych Microsoft Azure zawierają więcej warunków prawnych, które odnoszą się do funkcji platformy Azure będących w wersji beta, w wersji zapoznawczej lub jeszcze nie wydanych w wersji ogólnodostępnej. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz informacje o wersji zapoznawczej Azure HDInsight na AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij wniosek na AskHDInsight z podanymi szczegółami i śledź nas, aby uzyskać więcej aktualizacji w społeczności Azure HDInsight.

Apache Flink udostępnia interfejs wiersza polecenia (interfejs wiersza polecenia) bin/flink do uruchamiania zadań (programów), które są pakowane jako pliki JAR i do kontrolowania ich wykonywania. Interfejs wiersza polecenia (CLI) jest częścią konfiguracji systemu Flink i można go zainstalować na jednozazodowej maszynie wirtualnej. Nawiązuje połączenie z uruchomionym menedżerem zadań określonym w conf/flink-conf.yaml.

Kroki instalacji

Aby zainstalować interfejs wiersza polecenia Flink w systemie Linux, musisz mieć maszynę wirtualną z systemem Linux, aby wykonać skrypt instalacyjny. Jeśli korzystasz z systemu Windows, musisz uruchomić środowisko powłoki bash.

Notatka

Nie działa to w systemie Windows git BASH, należy zainstalować WSL, aby wykonać tę pracę w systemie Windows.

Wymagania

  • Zainstaluj środowisko JRE 11. Jeśli nie jest zainstalowany, wykonaj kroki opisane w /java/openjdk/download.
  • Dodaj język Java do ścieżki lub zdefiniuj zmienną środowiskową JAVA_HOME wskazującą katalog instalacyjny środowiska JRE, tak aby $JAVA_HOME/bin/java istnieje.

Instalowanie lub aktualizowanie

Zarówno instalowanie, jak i aktualizowanie interfejsu wiersza polecenia wymaga ponownego uruchamiania skryptu instalacji. Zainstaluj interfejs wiersza poleceń, uruchamiając komendę curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Jeśli używasz programu Flink 1.17, możesz użyć poniższego interfejsu wiersza polecenia

curl -L https://aka.ms/hdionaksflink117clilinux | bash

To polecenie instaluje Flink CLI (interfejs wiersza polecenia) w katalogu głównym użytkownika ($HOME/flink-cli). Skrypt można również pobrać i uruchomić lokalnie. Może być konieczne ponowne uruchomienie powłoki, aby zmiany zaczęły obowiązywać.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Notatka

W przypadku wykonywania za pośrednictwem zasobnika SSH użyj polecenia bin/flink list, aby przekazać pełne dane wyjściowe.

Jeśli nie chcesz za każdym razem dodawać tych parametrów, dodaj je do conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Teraz polecenie brzmi

bin/flink list

Powinny zostać wyświetlone dane wyjściowe podobne do następujących:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Otwórz https://microsoft.com/devicelogin w przeglądarce i wprowadź kod, a następnie użyj identyfikatora microsoft.com, aby się zalogować. Po pomyślnym zalogowaniu powinny zostać wyświetlone dane wyjściowe podobne do następujących, jeśli żadne zadanie nie jest uruchomione.

Waiting for response...
No running jobs.
No scheduled jobs.

Błąd curl Object Moved

Jeśli wystąpi błąd z narzędzia curl dotyczący parametru -L lub komunikat o błędzie zawierający tekst "Obiekt przeniesiony", spróbuj użyć pełnego adresu URL zamiast przekierowania poprzez aka.ms.

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Przykłady

Oto kilka przykładów akcji obsługiwanych przez narzędzie interfejsu wiersza polecenia języka Flink:

Akcja Cel
biegać Ta akcja wykonuje zadania. Wymaga to co najmniej pliku JAR zawierającego zadanie. W razie potrzeby można przekazać argumenty związane z Flinkiem lub z pracą.
Info Tej akcji można użyć do wydrukowania zoptymalizowanego wykresu wykonywania przekazanego zadania. Ponownie należy przekazać plik JAR zawierający zadanie.
lista Ta akcja wyświetla listę wszystkich uruchomionych lub zaplanowanych zadań.
punkt zapisywania Tej akcji można użyć do utworzenia lub usunięcia punktów zapisywania dla danego zadania. Może być konieczne określenie katalogu savepoint oprócz identyfikatora jobID.
Anuluj Tej akcji można użyć do anulowania uruchomionych zadań na podstawie ich identyfikatora JobID.
zatrzymaj Ta akcja łączy akcje anulowania i zapisywania punktu kontrolnego w celu zatrzymania uruchomionego zadania, a jednocześnie tworzy punkt kontrolny, aby móc rozpocząć ponownie od tego miejsca.

Dostęp do wszystkich akcji i ich parametrów można uzyskać za pomocą następujących poleceń:

bin/flink --help

Informacje o użyciu poszczególnych akcji

bin/flink <action> --help

Napiwek

  • Jeśli masz serwer proxy blokujący połączenie: Aby uzyskać skrypty instalacji, serwer proxy musi zezwolić na połączenia HTTPS z następującymi adresami: https://aka.ms/ i https://hdiconfigactions.blob.core.windows.net
  • Aby rozwiązać ten problem, dodaj użytkownika lub grupę do profilu autoryzacji .

Odniesienie