Udostępnij za pośrednictwem

Interfejs wiersza polecenia platformy Apache Flink® w usłudze HDInsight w klastrach usługi AKS

  • Artykuł

Uwaga

Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.

Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.

Ważne

Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.

Narzędzie Apache Flink udostępnia bin/flink interfejsu wiersza polecenia do uruchamiania zadań (programów), które są pakowane jako pliki JAR i do kontrolowania ich wykonywania. Interfejs wiersza polecenia jest częścią konfiguracji funkcji Flink i można go skonfigurować na maszynie wirtualnej z jednym węzłem. Nawiązuje połączenie z uruchomionym menedżerem zadań określonym w pliku conf/flink-conf.yaml.

Etapy instalacji

Aby zainstalować interfejs wiersza polecenia Flink w systemie Linux, do wykonania skryptu instalacji potrzebna jest maszyna wirtualna z systemem Linux. Jeśli korzystasz z systemu Windows, musisz uruchomić środowisko powłoki bash.

Uwaga

Nie działa to w systemie Windows GIT BASH. Aby wykonać tę pracę w systemie Windows, należy zainstalować program WSL .

Wymagania

  • Zainstaluj środowisko JRE 11. Jeśli nie jest zainstalowany, wykonaj kroki opisane w temacie /java/openjdk/download.
  • Dodaj język Java do ścieżki lub zdefiniuj zmienną środowiskową JAVA_HOME wskazującą katalog instalacyjny środowiska JRE, tak aby $JAVA_HOME/bin/java istniał.

Instalowanie lub aktualizowanie

Zarówno instalowanie, jak i aktualizowanie interfejsu wiersza polecenia wymaga ponownego uruchamiania skryptu instalacji. Zainstaluj interfejs wiersza polecenia, uruchamiając polecenie curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Jeśli używasz programu Flink 1.17, możesz użyć poniższego interfejsu wiersza polecenia

curl -L https://aka.ms/hdionaksflink117clilinux | bash

To polecenie instaluje interfejs wiersza polecenia Flink w katalogu głównym użytkownika ($HOME/flink-cli). Skrypt można również pobrać i uruchomić lokalnie. Może być konieczne ponowne uruchomienie powłoki, aby zmiany zaczęły obowiązywać.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Uwaga

W przypadku wykonywania za pośrednictwem zasobnika SSH użyj polecenia bin/flink list , aby przekazać pełne dane wyjściowe.

Jeśli nie chcesz za każdym razem dodawać tych parametrów, dodaj je do pliku conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Teraz polecenie staje się

bin/flink list

Powinny zostać wyświetlone dane wyjściowe podobne do następujących:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Otwórz https://microsoft.com/devicelogin w przeglądarce i wprowadź kod, a następnie użyj identyfikatora microsoft.com, aby się zalogować. Po pomyślnym zalogowaniu powinny zostać wyświetlone dane wyjściowe podobne do następujących, jeśli żadne zadanie nie jest uruchomione.

Waiting for response...
No running jobs.
No scheduled jobs.

Błąd curl Object Moved

Jeśli wystąpi błąd z narzędzia curl związany z parametrem -L lub komunikatem o błędzie zawierającym tekst "Obiekt przeniesiony", spróbuj użyć pełnego adresu URL zamiast przekierowania aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Przykłady

Oto kilka przykładów akcji obsługiwanych przez narzędzie interfejsu wiersza polecenia języka Flink:

Akcja Cel
uruchom Ta akcja wykonuje zadania. Wymaga to co najmniej pliku jar zawierającego zadanie. W razie potrzeby można przekazać argumenty związane z Flink- lub job-related.
informacje o Tej akcji można użyć do wydrukowania zoptymalizowanego wykresu wykonywania przekazanego zadania. Ponownie należy przekazać plik jar zawierający zadanie.
lista Ta akcja zawiera listę wszystkich uruchomionych lub zaplanowanych zadań.
punkt zapisywania Za pomocą tej akcji można tworzyć lub usuwać punkty zapisywania dla danego zadania. Może być konieczne określenie katalogu savepoint oprócz identyfikatora jobID.
Anuluj Tej akcji można użyć do anulowania uruchomionych zadań na podstawie ich identyfikatora JobID.
zatrzymać Ta akcja łączy akcje anulowania i zapisywania punktu w celu zatrzymania uruchomionego zadania, ale także tworzy punkt zapisywania, aby rozpocząć od nowa.

Dostęp do wszystkich akcji i ich parametrów można uzyskać za pomocą następujących poleceń:

bin/flink --help

Informacje o użyciu poszczególnych akcji

bin/flink <action> --help

Napiwek

  • Jeśli masz serwer proxy blokujący połączenie: Aby uzyskać skrypty instalacji, serwer proxy musi zezwolić na połączenia HTTPS z następującymi adresami: https://aka.ms/ i https://hdiconfigactions.blob.core.windows.net
  • Aby rozwiązać ten problem, dodaj użytkownika lub grupę do profilu autoryzacji.

Odwołanie