Criar um cluster do Apache Flink® no HDInsight no AKS com o portal do Azure
Importante
O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.
Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade Azure HDInsight.
Conclua as etapas a seguir para criar um cluster Do Apache Flink no portal do Azure.
Pré-requisitos
Conclua os pré-requisitos nas seções a seguir:
- pré-requisitos de assinatura
- pré-requisitos do recurso
- Criar um pool de clusters
Importante
- Para criar um cluster em um novo pool de clusters, atribua a função "Operador de Identidade Gerenciada" do MSI do agentpool do AKS à identidade gerenciada atribuída pelo usuário, que foi criada como parte dos pré-requisitos do recurso. Caso você tenha permissões necessárias, essa etapa é automatizada durante a criação.
- A identidade gerenciada do agentpool do AKS é criada durante a criação do pool de clusters. Você pode identificar a identidade gerenciada do AKS agentpool como (nome do seu clusterpool)-agentpool. Siga estas etapas para atribuir a função.
Criar um cluster do Apache Flink
Os clusters Flink podem ser criados após a conclusão da implantação do pool de clusters, vamos examinar as etapas caso você esteja começando com um pool de clusters existente
No portal do Azure, digite pools de cluster HDInsight/HDInsight/HDInsight no AKS e selecione o Azure HDInsight em pools de cluster do AKS para acessar a página de pools de cluster. Na página de pools de clusters do HDInsight no AKS, selecione o pool de clusters no qual você deseja criar um novo cluster Flink.
Na página específica do grupo de clusters, clique em + Novo cluster e forneça as seguintes informações:
Propriedade Descrição Subscrição Esse campo é preenchido automaticamente com a assinatura do Azure que foi registrada para o Pool de Clusters. Grupo de Recursos Esse campo é preenchido automaticamente e mostra o grupo de recursos no pool de clusters. Região Esse campo é preenchido automaticamente e mostra a região selecionada no pool de clusters. Pool de clusters Esse campo é preenchido automaticamente e mostra o nome do pool de cluster no qual o cluster está sendo criado. Para criar um cluster em um pool diferente, localize esse pool de clusters no portal e clique em + Novo cluster. HDInsight na versão do pool do AKS Esse campo é preenchido automaticamente e mostra a versão do pool de clusters na qual o cluster está sendo criado. HDInsight na versão do AKS Selecione a versão menor ou de patch do HDInsight no AKS do novo cluster. Tipo de cluster Na lista suspensa, selecione Flink. Nome do cluster Insira o nome do novo cluster. Identidade gerenciada atribuída pelo usuário Na lista suspensa, selecione a identidade gerenciada a ser usada com o cluster. Se você for o proprietário da MSI (Identidade de Serviço Gerenciado) e a MSI não tiver a função de Operador de Identidade Gerenciada no cluster, clique no link abaixo da caixa de diálogo para atribuir a permissão necessária do MSI do pool de agentes do AKS. Se o MSI já tiver as permissões corretas, nenhum link será mostrado. Veja os pré-requisitos para outras atribuições de função necessárias para a MSI. Conta de armazenamento Na lista suspensa, selecione a conta de armazenamento a ser associada ao cluster Flink e especifique o nome do contêiner. A identidade gerenciada ainda tem acesso à conta de armazenamento especificada, usando a função 'Proprietário de Dados de Blob de Armazenamento' durante a criação do cluster. Rede virtual A rede virtual do cluster. Sub-rede A sub-rede virtual do cluster. Habilitando o catálogo Hive para o Flink SQL.
Propriedade Descrição Usar o catálogo do Hive Habilite essa opção para usar um metastore externo do Hive. Banco de Dados SQL para Hive Na lista suspensa, selecione o Banco de Dados SQL em que adicionar as tabelas do hive-metastore. Nome de usuário do administrador do SQL Insira o nome de usuário do administrador do SQL Server. Essa conta é usada pelo metastore para se comunicar com o banco de dados SQL. Cofre de chaves Na lista suspensa, selecione o Cofre de Chaves, que contém um segredo com a senha para o nome de usuário do administrador do SQL Server. Você precisa configurar uma política de acesso com todas as permissões necessárias, como permissões de chave, permissões secretas e permissões de certificado para a MSI, que está sendo usada para a criação do cluster. A MSI precisa de uma função de Administrador do Key Vault, adicione as permissões necessárias usando o IAM. Nome do segredo da senha do SQL Insira o nome do segredo do Key Vault onde a senha do banco de dados SQL é armazenada. Nota
Por padrão, usamos a conta de Armazenamento para o catálogo do Hive da mesma forma que a conta de armazenamento e o contêiner usados durante a criação do cluster.
Selecione Avançar: Configuração para continuar.
Na página de Configuração , forneça as seguintes informações:
Propriedade Descrição Tamanho do nó Selecione o tamanho do nó a ser usado tanto para os nós mestre quanto para os nós de trabalho do Flink. Número de nós Selecione o número de nós para o cluster Flink; por padrão, os nós de cabeçalho são dois. O dimensionamento de nós de trabalho ajuda a determinar as configurações do gerenciador de tarefas para o Flink. O gerenciador de trabalhos e o servidor de histórico estão em nós principais. Na seção Configuração de Serviço, forneça as seguintes informações:
Propriedade Descrição CPU do gerenciador de tarefas Inteiro. Insira o tamanho das CPUs do Gerenciador de Tarefas (em núcleos). Memória do gerenciador de tarefas em MB Insira o tamanho da memória do Gerenciador de Tarefas em MB. Mínimo de 1800 MB. CPU do gerenciador de trabalhos Inteiro. Insira o número de CPUs para o Gerenciador de Trabalhos (em núcleos). Memória do gerenciador de trabalhos em MB Insira o tamanho da memória em MB. Mínimo de 1800 MB. CPU do servidor de histórico Inteiro. Insira o número de CPUs para o Gerenciador de Trabalhos (em núcleos). Memória do servidor de histórico em MB Insira o tamanho da memória em MB. Mínimo de 1800 MB. Nota
- O servidor de histórico pode ser habilitado/desabilitado conforme necessário.
- Há suporte para dimensionamento automático baseado em agendamento no Flink. Você pode escalonar o número de nós de trabalho conforme a necessidade. Por exemplo, ele está habilitado para um dimensionamento automático baseado em agendamento com contagem de nós de trabalho padrão como 3. E durante os dias úteis, das 9:00 UTC às 20:00 UTC, o número de nós de trabalho está configurado para ser 10. Mais tarde no decorrer do dia, ele precisa ser configurado para 3 nós (entre 20:00 UTC e o próximo dia 09:00 UTC). Durante os fins de semana, das 9:00 UTC às 20:00 UTC, o número de nós de trabalho é 4.
Na seção dimensionamento automático & SSH, atualize o seguinte:
Propriedade Descrição Dimensionamento automático Após a seleção, você poderá escolher o dimensionamento automático com base em agendamento para configurar as operações de dimensionamento. Habilitar o SSH Após a seleção, você pode optar pelo número total de nós SSH necessários, que são os pontos de acesso da CLI do Flink usando o Secure Shell. O máximo de nós SSH permitidos é 5. Clique no botão Avançar: Integração para continuar para a próxima página.
Na página Integração, forneça as seguintes informações:
Propriedade Descrição Análise de logs Este recurso só estará disponível se o pool de clusters tiver um espaço de trabalho de análise de logs associado. Uma vez habilitado, os logs a serem coletados podem ser selecionados. Azure Prometheus Este recurso permite visualizar insights e logs diretamente em seu cluster ao enviar métricas e logs para o espaço de trabalho do Azure Monitor. Clique no botão Avançar: Marcas para ir para a próxima página.
Na página de tags , forneça as seguintes informações:
Propriedade Descrição Nome Opcional. Insira um nome como HDInsight no AKS para identificar facilmente todos os recursos associados aos recursos do cluster. Valor Você pode deixar isso em branco. Recurso Selecione Todos os recursos selecionados. Selecione Próximo: Revisar e criar para continuar.
Na página Examinar + criar, procure a mensagem de validação de bem-sucedida na parte superior da página e clique em Criar.
A implantação do está em andamento e a página é exibida, na qual o cluster é criado. Leva de 5 a 10 minutos para criar o cluster. Depois que o cluster é criado, a "Sua implantação está concluída" mensagem é exibida. Se você navegar para longe da página, poderá verificar o status atual das Notificações.
Nota
Apache, Apache Flink, Flink e nomes de projeto de software livre associados são marcas comerciais do ASF (Apache Software Foundation).