Partilhar via

Interface de linha de comando (CLI) Apache Flink® no HDInsight em clusters AKS

  • Artigo

Nota

Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.

Apenas o apoio básico estará disponível até à data da reforma.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.

O Apache Flink fornece uma CLI (Command Line Interface) bin/flink para executar trabalhos (programas) que são empacotados como arquivos JAR e para controlar sua execução. A CLI faz parte da configuração do Flink e pode ser configurada em uma VM de nó único. Ele se conecta ao JobManager em execução especificado em conf/flink-conf.yaml.

Passos de Instalação

Para instalar a CLI do Flink no Linux, você precisa de uma VM Linux para executar o script de instalação. Você precisa executar um ambiente bash se estiver no Windows.

Nota

Isso NÃO funciona no Windows GIT BASH, você precisa instalar o WSL para fazer isso funcionar no Windows.

Requisitos

  • Instale o JRE 11. Se não estiver instalado, siga as etapas descritas em /java/openjdk/download.
  • Adicione java ao PATH ou defina JAVA_HOME variável de ambiente apontando para o diretório de instalação do JRE, tal que $JAVA_HOME/bin/java existe.

Instalar ou atualizar

A instalação e a atualização da CLI exigem a execução do script de instalação novamente. Instale a CLI executando curl.

curl -L https://aka.ms/hdionaksflinkcliinstalllinux | bash

Se você estiver usando Flink 1.17, você pode usar a CLI abaixo

curl -L https://aka.ms/hdionaksflink117clilinux | bash

Este comando instala a CLI do Flink no diretório inicial do usuário ($HOME/flink-cli). O script também pode ser transferido e executado localmente. Talvez seja necessário reiniciar o shell para que as alterações entrem em vigor.

cd $HOME/flink-cli 

bin/flink list -D azure.tenant.id=<update-tenant-id> -D rest.address=<flink-cluster-fqdn>

Nota

Se estiver executando via SSH pod, use o comando bin/flink list para fornecer a saída completa.

Se você não quiser adicionar esses parâmetros sempre, adicione-os a conf/flink-conf.yaml.

rest.address: <flink-cluster-fqdn>
azure.tenant.id: <tenant-id>

Agora o comando torna-se

bin/flink list

Deve ver uma saída semelhante ao seguinte:

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code E4LW35GFD to authenticate.

Abra https://microsoft.com/devicelogin no seu browser, introduza o código e, em seguida, utilize o seu ID microsoft.com para iniciar sessão. Após o login bem-sucedido, você verá a saída como a seguinte se nenhum trabalho estiver em execução.

Waiting for response...
No running jobs.
No scheduled jobs.

erro de ondulação Object Moved

Se você receber um erro de curl relacionado ao parâmetro -L ou uma mensagem de erro incluindo o texto "Object Moved", tente usar o URL completo em vez do aka.ms redirecionamento:

curl https://hdiconfigactions.blob.core.windows.net/hiloflinkblob/install.sh | bash

Exemplos

Aqui estão alguns exemplos de ações suportadas pela ferramenta CLI do Flink:

Ação Propósito
execute Esta ação executa trabalhos. Requer pelo menos o frasco que contém o trabalho. Argumentos relacionados ao Flink ou ao trabalho podem ser passados, se necessário.
informação Esta ação pode ser usada para imprimir um gráfico de execução otimizado do trabalho aprovado. Mais uma vez, o frasco que contém o trabalho precisa ser passado.
list Esta ação lista todos os trabalhos em execução ou agendados.
savepoint Essa ação pode ser usada para criar ou descartar savepoints para um determinado trabalho. Pode ser necessário especificar um diretório savepoint além do JobID.
Cancelar Essa ação pode ser usada para cancelar trabalhos em execução com base em seu JobID.
parar Essa ação combina as ações cancelar e salvar pontos para interromper um trabalho em execução, mas também cria um ponto de salvamento para começar de novo.

Todas as ações e seus parâmetros podem ser acessados através dos seguintes comandos:

bin/flink --help

As informações de utilização de cada ação individual

bin/flink <action> --help

Gorjeta

  • Se você tiver um proxy bloqueando a conexão: Para obter os scripts de instalação, seu proxy precisa permitir conexões HTTPS para os seguintes endereços: https://aka.ms/ e ainda https://hdiconfigactions.blob.core.windows.net
  • Para resolver o problema, adicione o usuário ou grupo ao perfil de autorização.

Referência