Cluster do Apache Flink Application Mode no HDInsight no AKS
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas ao público em geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie um pedido no AskHDInsight com os detalhes e siga-nos para mais atualizações sobre a Comunidade de Azure HDInsight .
O HDInsight no AKS agora oferece um cluster de modo de aplicativo Flink. Este cluster permite gerir o ciclo de vida do modo de aplicação Flink do cluster usando o portal do Azure com interface fácil de utilizar e APIs REST do Azure Resource Management. Os clusters de modo de aplicativo são projetados para dar suporte a trabalhos grandes e de longa execução com recursos dedicados e lidar com tarefas de processamento de dados extensas ou que consomem muitos recursos.
Esse modo de implantação permite que você atribua recursos dedicados para aplicativos Flink específicos, garantindo que eles tenham poder de computação e memória suficientes para lidar com grandes cargas de trabalho de forma eficiente.
Vantagens
Implantação de cluster simplificada com ficheiro jar de Job.
API REST amigável: o HDInsight no AKS fornece APIs ARM Rest amigáveis para gerenciar a operação de trabalho no modo de aplicativo, como Atualizar, Salvar, Cancelar, Excluir.
Fácil gestão de atualizações e do estado dos trabalhos: a integração nativa com o portal do Azure fornece uma experiência sem complicações para atualizar os trabalhos e restaurá-los ao seu último estado salvo (savepoint). Essa funcionalidade garante a continuidade e a integridade dos dados durante todo o ciclo de vida do trabalho.
Automatize o(s) trabalho(s) do Flink usando o Azure Pipelines ou outras ferramentas de CI/CD: usando o HDInsight no AKS, os usuários do Flink têm acesso à API ARM Rest amigável, você pode integrar perfeitamente as operações de trabalho do Flink ao seu Pipeline do Azure ou outras ferramentas de CI/CD.
Principais características
Parar e iniciar trabalhos com Savepoints: Os utilizadores podem interromper e reiniciar de forma controlada os seus trabalhos Flink AppMode a partir do seu estado anterior (Savepoint). Os pontos de salvamento garantem que o progresso do trabalho seja preservado, permitindo retomadas sem interrupções.
Job Updates: O utilizador pode atualizar a tarefa AppMode em execução depois de atualizar o jar na conta de armazenamento. Esta atualização toma automaticamente o ponto de salvamento e inicia a tarefa do modo de aplicação com um novo arquivo JAR.
Atualizações sem estado: Reiniciar de forma simplificada um trabalho no AppMode é possível através de atualizações sem estado. Esse recurso permite que os usuários iniciem uma reinicialização limpa usando o jar de trabalho atualizado.
Savepoint Management: A qualquer momento, os usuários podem criar savepoints para seus trabalhos em execução. Esses pontos de salvamento podem ser listados e usados para reiniciar o trabalho a partir de um ponto de verificação específico, conforme necessário.
Cancelar: Cancela o trabalho permanentemente.
Excluir: Excluir agrupamento AppMode.
Como criar um cluster de aplicativos Flink
Pré-requisitos
Preencha os pré-requisitos nas seguintes seções:
Adicione ficheiro de trabalho em Conta de Armazenamento.
Antes de configurar um cluster do modo de aplicativo Flink, várias etapas preparatórias são necessárias. Uma dessas etapas envolve colocar o JAR de trabalho do Modo de Aplicativo na conta de armazenamento do cluster.
Crie um diretório para o ficheiro JAR da tarefa em Modo de Aplicação:
Dentro dos contêineres dedicados, crie um diretório onde você carrega o arquivo JAR de trabalho do Modo de Aplicativo. Este diretório serve como o local para armazenar arquivos JAR que você deseja incluir no classpath do cluster ou trabalho Flink.
Diretório Savepoints (Opcional):
Se os usuários pretendem obter savepoints durante a execução do trabalho, crie um diretório separado dentro da conta de armazenamento para armazenar esses savepoints. Este diretório era usado para armazenar dados de ponto de verificação e metadados destinados a savepoints.
Exemplo de estrutura de diretórios:
Criar cluster do modo de aplicativo Flink
Os clusters Flink AppMode podem ser criados assim que a implantação do pool de clusters for concluída, deixe-nos examinar as etapas caso você esteja começando com um pool de clusters existente.
No portal do Azure, escreva "HDInsight cluster pools/HDInsight/HDInsight on AKS" e selecione "Azure HDInsight on AKS cluster pools" para aceder à página de pools de clusters. Na página Pools de clusters do HDInsight no AKS, selecione o pool de clusters no qual você deseja criar um novo cluster Flink.
Na página do pool de clusters específico, clique em + Novo Clúster e forneça as seguintes informações.
Propriedade Descrição Subscrição Este campo foi preenchido automaticamente com a assinatura do Azure que foi registada para o Pool de Clusters. Grupo de Recursos Este campo preenche automaticamente e mostra o grupo de recursos no pool de clusters. Região Este campo é preenchido automaticamente e mostra a região selecionada no grupo de clusters. Pool de clusters Este campo é preenchido automaticamente e mostra o nome do conjunto de clusters no qual o cluster está a ser criado. Para criar um cluster em um pool diferente, localize o pool de clusters no portal e clique em + Novo cluster. HDInsight na versão do pool AKS Este campo é preenchido automaticamente e mostra a versão do pool de clusters na qual o cluster está a ser criado. HDInsight na versão AKS Selecione a versão secundária ou de patch do HDInsight no AKS do novo cluster. Tipo de cluster Na lista suspensa, selecione Flink. Nome do cluster Insira o nome do novo cluster. Identidade gerenciada atribuída pelo usuário Na lista suspensa, selecione a identidade gerenciada a ser usada com o cluster. Se você for o proprietário da Identidade de Serviço Gerenciado (MSI) e o MSI não tiver a função de Operador de Identidade Gerenciada no cluster, clique no link abaixo da caixa para atribuir a permissão necessária do MSI do pool de agentes do AKS. Se o MSI já tiver as permissões corretas, nenhum link será mostrado. Consulte os Pré-requisitos para outras atribuições de funções necessárias ao MSI. Conta de armazenamento Na lista suspensa, selecione a conta de armazenamento a ser associada ao cluster Flink e especifique o nome do contêiner. A identidade gerenciada também recebe acesso à conta de armazenamento especificada, usando a função 'Proprietário de Dados de Blob de Armazenamento' durante a criação do cluster. Rede virtual A rede virtual para o cluster. Sub-rede A sub-rede virtual para o cluster. Ativando o catálogo do Hive para Flink SQL:
Propriedade Descrição Usar o catálogo do Hive Habilite essa opção para usar um metastore externo do Hive. Banco de dados SQL para Hive Na lista suspensa, selecione a base de dados SQL em que pretende adicionar tabelas do Hive-metastore. Nome de usuário do administrador do SQL Insira o nome de usuário do administrador do SQL Server. Essa conta é usada pelo metastore para se comunicar com o banco de dados SQL. Cofre da chave Na lista suspensa, selecione o Cofre da Chave, que contém um segredo com senha para o nome de usuário do administrador do SQL Server. Você precisa configurar uma política de acesso com todas as permissões necessárias, como permissões de chave, permissões secretas e permissões de certificado para o MSI, que está sendo usado para a criação do cluster. O MSI precisa de uma função de Administrador do Cofre de Chaves. Adicione as permissões necessárias usando o IAM. Nome do segredo da senha SQL Digite o nome secreto do Cofre de Chaves onde a senha do banco de dados SQL está armazenada. 
Observação
Por padrão, usamos a conta de armazenamento para o catálogo do Hive da mesma forma que a conta de armazenamento e o contêiner usados durante a criação do cluster.
Selecione Next: Configuration para continuar.
Na página Configuração, forneça as seguintes informações:
Propriedade Descrição Tamanho do nó Selecione o tamanho do nó a ser usado para os nós Flink, tanto principais como de trabalho. Número de nós Selecione o número de nós para o cluster Flink; Por padrão, os nós principais são dois. O dimensionamento dos nós de trabalho ajuda a determinar as configurações do gerenciador de tarefas para o Flink. O gestor de tarefas e os servidores de histórico estão nos nós principais. Na seção Implantação, escolha o tipo de implantação como Modo de Aplicativo forneça as seguintes informações:
Propriedade Descrição Caminho do Jar Forneça o caminho ABFS (Storage) para o ficheiro JAR do seu trabalho. Por exemplo, abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jarClasse de entrada (opcional) Classe principal para seu cluster de modo de aplicativo. Ex: com.microsoft.testjob Argumentos (Opcional) Argumento para a sua classe principal de trabalho. Salvar nome do ponto Nome do savepoint antigo, que você deseja usar para iniciar o trabalho Modo de atualização Selecione a opção Atualizar padrão. Esta opção é usada quando a atualização da versão principal está acontecendo para o cluster. Existem três opções disponíveis. UPDATE: Usado quando um utilizador deseja recuperar-se do último ponto de salvaguarda após a atualização. STATELESS_UPDATE: Usado quando um utilizador deseja iniciar de novo um trabalho após a atualização. LAST_STATE_UPDATE: Usado quando um utilizador deseja recuperar o trabalho do último ponto de controlo após a atualização Configuração de trabalhos do Flink Adicione mais configurações necessárias para o "trabalho Flink". Selecione 'Agregação do log de trabalho'. Caixa de verificação se pretender carregar o registo de tarefas para o armazenamento remoto. Isso ajuda a depurar os problemas de trabalho. O local padrão para o registo de tarefas é 'StorageAccount/Container/DeploymentId/logs'. Você pode alterar o diretório de log padrão configurando "pipeline.remote.log.dir". O intervalo padrão para a coleta de logs é de 600 seg. O usuário pode alterar configurando "pipeline.log.aggregation.interval".
Na seção Configuração do Serviço, forneça as seguintes informações:
Propriedade Descrição CPU do gestor de tarefas Inteiro. Insira o tamanho das CPUs do gerenciador de tarefas (em núcleos). Memória do gestor de tarefas em MB Introduza o tamanho da memória do Gestor de tarefas em MB. Mínimo de 1.800 MB. CPU do gerenciador de tarefas Inteiro. Insira o número de CPUs para o gerenciador de tarefas (em núcleos). Memória do gestor de tarefas em MB Insira o tamanho da memória em MB. Mínimo de 1.800 MB. CPU do servidor de histórico Inteiro. Insira o número de CPUs para o gerenciador de tarefas (em núcleos). Memória do servidor de histórico em MB Insira o tamanho da memória em MB. Mínimo de 1.800 MB. 
Clique no botão Next: Integration para continuar para a próxima página.
Na página Integração, forneça as seguintes informações:
Propriedade Descrição Análise de logs Esse recurso está disponível apenas se o espaço de trabalho de análises de logs associado ao pool de clusters estiver habilitado; assim, é possível selecionar os logs a serem coletados. Azure Prometheus Esse recurso é para exibir Insights e Logs diretamente em seu cluster enviando métricas e logs para o espaço de trabalho do Azure Monitor. 
Clique no botão Next: Tags para continuar para a próxima página.
Na página Etiquetas, forneça as seguintes informações:
Propriedade Descrição Nome Opcional. Insira um nome como HDInsight no AKS para identificar facilmente todos os recursos associados aos recursos do cluster. Valor Você pode deixar isso em branco. Recurso Selecione Todos os recursos selecionados. Selecione Avançar: Analisar + criar para continuar.
Na página Rever + criar, procure a mensagem Validação bem-sucedida no topo da página e, em seguida, clique em Criar.
A página de implantação em processo mostra que o cluster está a ser criado. Leva de 5 a 10 minutos para criar o cluster. Depois que o cluster for criado, a mensagem "Sua implantação está concluída" será exibida. Se você sair da página, poderá verificar suas Notificações para saber o status atual.
Gerir tarefa de aplicação no Portal
O HDInsight AKS fornece maneiras de gerenciar trabalhos do Flink. Você pode reiniciar um trabalho com falha. Reinicie o trabalho a partir do portal.
Para executar o trabalho Flink a partir do portal, vá para:
Portal > HDInsight no Pool do Cluster AKS > Configurações do Cluster Flink > Tarefas Flink >.
Parar: A tarefa de parar não requer nenhum parâmetro. O usuário pode parar o trabalho selecionando a ação. Quando o trabalho for interrompido, o estado do trabalho será exibido como INTERROMPIDO no portal.
Iniciar: inicia o trabalho a partir do savepoint. Para iniciar o trabalho, selecione o trabalho interrompido e inicie-o.
Atualização: a atualização ajuda a reiniciar trabalhos com código de trabalho atualizado. Os utilizadores precisam actualizar o arquivo jar mais recente no local de armazenamento e actualizar a tarefa no portal. Esta ação interrompe o trabalho com savepoint e começa novamente com o jar mais recente.
Atualização sem estado: Sem estado é como uma atualização, mas envolve um novo reinício do trabalho com o código mais recente. Assim que o trabalho for atualizado, o estado do trabalho no portal aparece como em execução.
Savepoint: Capture o savepoint para a tarefa do Flink.
Cancelar: terminar a tarefa.
Excluir: exclua o cluster AppMode.
Exibir detalhes do trabalho: Para visualizar os detalhes do trabalho, o usuário pode clicar no nome do trabalho, ele fornece os detalhes sobre o trabalho e o resultado da última ação.
Para qualquer ação falhada, esta visão json fornece exceções detalhadas e razões para a falha.