Partilhar via

Apache Flink® Command-Line Interface (CLI) no HDInsight em clusters AKS

  • Artigo

Importante

O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.

Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão na versão beta, em pré-visualização ou ainda não foram disponibilizadas para o público geral. Para obter informações sobre essa visualização específica, consulte as informações de pré-visualização do Azure HDInsight no AKS . Para perguntas ou sugestões de funcionalidades, submeta um pedido em AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight .

O Apache Flink fornece uma CLI (Command Line Interface) bin/flink para executar trabalhos (programas) que são empacotados como arquivos JAR e para controlar sua execução. A CLI faz parte da configuração do Flink e pode ser configurada em uma VM de nó único. Ele se conecta ao JobManager em execução especificado em conf/flink-conf.yaml.

Etapas de instalação

Para instalar a CLI do Flink no Linux, precisa-se de uma VM Linux para executar o script de instalação. Você precisa executar um ambiente bash se estiver em Windows.

Observação

Isso NÃO funciona no Windows GIT BASH, você precisa instalar WSL para fazer isso funcionar no Windows.

Requerimentos

  • Instale o JRE 11. Se não estiver instalado, siga os passos descritos em /java/openjdk/download.
  • Adicione java ao PATH ou defina JAVA_HOME variável de ambiente apontando para o diretório de instalação do JRE, de modo que $JAVA_HOME/bin/java exista.

Instalar ou atualizar

A instalação e a atualização da CLI exigem a execução do script de instalação novamente. Instale a CLI executando curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Se você estiver usando Flink 1.17, você pode usar a CLI abaixo

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Este comando instala a CLI do Flink no diretório inicial do usuário ($HOME/flink-cli). O script também pode ser baixado e executado localmente. Talvez seja necessário reiniciar o shell para que as alterações entrem em vigor.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Observação

Se estiver executando via SSH pod, use o comando bin/flink list para fornecer a saída completa.

Se você não quiser adicionar esses parâmetros todas as vezes, adicione-os a conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Agora o comando passa a ser

bin/flink list

Você deve ver uma saída como a seguinte:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Abra https://microsoft.com/devicelogin no seu navegador e introduza o código e, em seguida, utilize o seu ID de microsoft.com para iniciar sessão. Após um login bem-sucedido, deverá ver uma saída semelhante à seguinte se não houver nenhum trabalho em execução.

Waiting for response...
No running jobs.
No scheduled jobs.

Erro Object Moved do curl

Se obtiver um erro do curl relacionado ao parâmetro -L, ou uma mensagem de erro incluindo o texto "Object Moved", tente usar o URL completo em vez do redirecionamento do aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Exemplos

Aqui estão alguns exemplos de ações suportadas pela ferramenta CLI do Flink:

Ação Finalidade
executar Esta ação executa trabalhos. Requer pelo menos o arquivo JAR que contém o trabalho. Argumentos relacionados ao Flink ou ao seu trabalho podem ser passados, se necessário.
informação Esta ação pode ser usada para imprimir um gráfico de execução otimizado do trabalho aprovado. Mais uma vez, o ficheiro jar que contém a tarefa precisa ser processado.
Lista Esta ação lista todos os trabalhos em execução ou agendados.
ponto de salvamento Essa ação pode ser usada para criar ou remover pontos de salvamento para um determinado trabalho. Pode ser necessário especificar um diretório savepoint além do JobID.
Cancelar Essa ação pode ser usada para cancelar as tarefas em execução com base no seu JobID.
parar Essa ação combina as ações cancelar e salvar para parar um trabalho em execução, mas também cria um savepoint para começar de novo.

Todas as ações e seus parâmetros podem ser acessados através dos seguintes comandos:

bin/flink --help

As informações de utilização de cada ação individual

bin/flink <action> --help

Dica

  • Se você tiver um proxy bloqueando a conexão: Para obter os scripts de instalação, seu proxy precisa permitir conexões HTTPS para os seguintes endereços: https://aka.ms/ e https://hdiconfigactions.blob.core.windows.net
  • Para resolver o problema, adicione o usuário ou grupo ao perfil de autorização .

Referência