Compartilhar via

CLI (Interface Command-Line do Apache Flink®) no HDInsight em clusters AKS

  • Artigo

Importante

O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.

Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para enviar perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .

O Apache Flink fornece uma CLI (Interface de Linha de Comando) bin/flink para executar trabalhos (programas) que são empacotados como arquivos JAR e controlar sua execução. A CLI faz parte da configuração do Flink e pode ser configurada em uma VM de nó único. Ele se conecta ao JobManager em execução especificado em conf/flink-conf.yaml.

Etapas de instalação

Para instalar a CLI do Flink no Linux, você precisa de uma VM do Linux para executar o script de instalação. Você precisará executar um ambiente bash se estiver no Windows.

Nota

Isso NÃO funciona no GIT BASH do Windows , você precisa instalar o WSL para fazer isso funcionar no Windows.

Requisitos

  • Instale o JRE 11. Se não estiver instalado, siga as etapas descritas em /java/openjdk/download.
  • Adicione java ao PATH ou defina JAVA_HOME variável de ambiente apontando para o diretório de instalação do JRE, de modo que $JAVA_HOME/bin/java exista.

Instalar ou atualizar

Tanto a instalação quanto a atualização da CLI exigem executar novamente o script de instalação. Instale a CLI executando curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Se você estiver usando o Flink 1.17, poderá usar a CLI abaixo

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Esse comando instala a CLI do Flink no diretório inicial do usuário ($HOME/flink-cli). O script também pode ser baixado e executado localmente. Talvez seja necessário reiniciar o shell para que as alterações entrem em vigor.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Nota

Se estiver executando por meio do pod SSH, use o comando bin/flink list para fornecer a saída completa.

Se você não quiser adicionar esses parâmetros todas as vezes, adicione-os a conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Agora o comando se torna

bin/flink list

Você deverá ver a saída da seguinte maneira:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Abra https://microsoft.com/devicelogin no navegador e insira o código e use sua ID de microsoft.com para fazer logon. Após o logon bem-sucedido, você deverá ver uma saída semelhante à seguinte, caso nenhum trabalho esteja em execução.

Waiting for response...
No running jobs.
No scheduled jobs.

erro de curl Object Moved

Se você receber um erro de curl relacionado ao parâmetro -L ou uma mensagem de erro, incluindo o texto "Objeto Movido", tente usar a URL completa em vez do redirecionamento aka.ms:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Exemplos

Aqui estão alguns exemplos de ações compatíveis com a ferramenta da CLI do Flink:

Ação Propósito
correr Essa ação executa tarefas. Exige pelo menos o arquivo jar que contém o trabalho. Argumentos relacionados ao Flink ou ao trabalho podem ser passados, se necessário.
informação Essa ação pode ser usada para imprimir um grafo de execução otimizado do trabalho passado. Novamente, o recipiente que contém o trabalho precisa ser fornecido.
lista Esta ação lista todas as tarefas em execução ou agendadas.
ponto de salvamento Essa ação pode ser usada para criar ou descartar pontos de salvamento para um determinado trabalho. Talvez seja necessário especificar um diretório de ponto de salvamento além do JobID.
Cancelar Essa ação pode ser usada para cancelar trabalhos em execução baseando-se no seu JobID.
parar Essa ação combina as ações de cancelar e ponto de salvamento para parar um trabalho em execução, mas também cria um ponto de salvamento para reiniciar.

Todas as ações e seus parâmetros podem ser acessados por meio dos seguintes comandos:

bin/flink --help

As informações de uso de cada ação individual

bin/flink <action> --help

Dica

  • Se você tiver um Proxy bloqueando a conexão: para obter os scripts de instalação, o proxy precisará permitir conexões HTTPS para os seguintes endereços: https://aka.ms/ e https://hdiconfigactions.blob.core.windows.net
  • Para resolver o problema, adicione o usuário ou o grupo ao perfil de autorização .

Referência