Condividi tramite

Apache Flink® Command-Line Interface (CLI) su HDInsight nei cluster AKS

  • Articolo

Importante

Azure HDInsight su AKS è stato ritirato il 31 gennaio 2025. Scopri di più con questo annuncio.

È necessario eseguire la migrazione dei carichi di lavoro a Microsoft Fabric o a un prodotto Azure equivalente per evitare la chiusura brusca dei carichi di lavoro.

Importante

Questa funzionalità è attualmente in anteprima. Le condizioni supplementari per l'utilizzo per le anteprime di Microsoft Azure includono termini legali più validi applicabili alle funzionalità di Azure in versione beta, in anteprima o altrimenti non ancora rilasciate nella disponibilità generale. Per informazioni su questa anteprima specifica, vedere informazioni sull'anteprima di Azure HDInsight su Azure Kubernetes Service (AKS). Per domande o suggerimenti sulle funzionalità, inviare una richiesta in AskHDInsight con i dettagli e seguici per altri aggiornamenti su Community di Azure HDInsight.

Apache Flink fornisce un'interfaccia della riga di comando (interfaccia della riga di comando) bin/flink per eseguire processi (programmi) inclusi in un pacchetto come file JAR e per controllarne l'esecuzione. L'interfaccia della riga di comando fa parte dell'installazione di Flink e può essere configurata in una macchina virtuale a nodo singolo. Si connette al JobManager in esecuzione specificato in conf/flink-conf.yaml.

Passaggi di installazione

Per installare il CLI di Flink su Linux, è necessaria una macchina virtuale Linux per eseguire lo script di installazione. È necessario eseguire un ambiente bash se si è in Windows.

Nota

Questo non funziona in Windows GIT BASH, è necessario installare WSL per eseguire questa operazione in Windows.

Requisiti

  • Installare JRE 11. Se non è installato, seguire la procedura descritta in /java/openjdk/download.
  • Aggiungere java a PATH o definire JAVA_HOME variabile di ambiente che punta alla directory di installazione JRE, in modo che $JAVA_HOME/bin/java esista.

Installare o aggiornare

Sia l'installazione che l'aggiornamento dell'interfaccia della riga di comando richiedono la ripetizione dello script di installazione. Installare la CLI eseguendo curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Se stai usando Flink 1.17, puoi utilizzare la seguente interfaccia a riga di comando.

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Questo comando installa la CLI Flink nella directory home dell'utente ($HOME/flink-cli). Lo script può anche essere scaricato ed eseguito in locale. Potrebbe essere necessario riavviare la shell per rendere effettive le modifiche.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Nota

Se si esegue tramite pod SSH, usare il comando bin/flink list per fornire l'output completo.

Se non si desidera aggiungere questi parametri ogni volta, aggiungerli a conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Ora il comando diventa

bin/flink list

Verrà visualizzato un output simile al seguente:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Aprire https://microsoft.com/devicelogin nel browser e immettere il codice, quindi usare l'ID microsoft.com per accedere. Al termine dell'accesso, verrà visualizzato un output simile al seguente se non è in esecuzione alcun processo.

Waiting for response...
No running jobs.
No scheduled jobs.

errore di curl Object Moved

Se viene visualizzato un errore da curl correlato al parametro -L o un messaggio di errore che include il testo "Object Moved", provare a usare l'URL completo anziché il reindirizzamento aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Esempi

Ecco alcuni esempi di azioni supportate dallo strumento dell'interfaccia della riga di comando di Flink:

Azione Scopo
Correre Questa azione esegue le attività. Richiede almeno il file JAR contenente il processo. Gli argomenti relativi a Flink o al processo possono essere passati, se necessario.
Informazioni Questa azione può essere utilizzata per stampare un grafico di esecuzione ottimizzato del processo passato. Anche in questo caso, è necessario passare il file JAR contenente l'attività.
lista Questa azione elenca tutti i lavori in esecuzione o pianificati.
punto di salvataggio Questa azione può essere usata per creare o eliminare punti di salvataggio per un dato lavoro. Potrebbe essere necessario specificare una directory del punto di salvataggio oltre a JobID.
Annulla Questa azione può essere usata per annullare i processi in esecuzione sulla base del loro JobID.
fermarsi Questa azione combina le azioni di annullamento e punto di salvataggio per arrestare un processo in esecuzione, ma crea anche un punto di salvataggio da cui ricominciare.

È possibile accedere a tutte le azioni e ai relativi parametri tramite i comandi seguenti:

bin/flink --help

Informazioni sull'utilizzo di ogni singola azione

bin/flink <action> --help

Consiglio

  • Se si dispone di un proxy che blocca la connessione: per ottenere gli script di installazione, il proxy deve consentire le connessioni HTTPS agli indirizzi seguenti: https://aka.ms/ e https://hdiconfigactions.blob.core.windows.net
  • Per risolvere il problema, aggiungere l'utente o il gruppo al profilo di autorizzazione .

Riferimento