Introdução ao armazenamento em cluster
Observação
Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.
Somente o suporte básico estará disponível até a data de desativação.
Importante
Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.
O Azure HDInsight no AKS pode integrar-se perfeitamente com o Armazenamento do Azure, que é uma solução de armazenamento de uso geral que funciona bem com muitos outros serviços do Azure. O Azure Data Lake Storage Gen2 (ADLS Gen 2) é o sistema de arquivos padrão para os clusters.
A conta de armazenamento pode ser usada como o local padrão para dados, logs de cluster e outras saídas geradas durante a operação do cluster. Também pode ser um armazenamento padrão para o catálogo do Hive que depende do tipo de cluster.
Para obter mais informações, confira Introdução ao Azure Data Lake Storage Gen2.
Identidades gerenciadas para acesso de arquivo seguro
O Azure HDInsight no AKS usa identidades gerenciadas (MSI) para proteger o acesso de cluster a arquivos no Azure Data Lake Storage Gen2. A identidade gerenciada é um recurso do Microsoft Entra ID que fornece aos serviços do Azure um conjunto de credenciais gerenciadas automaticamente. Essas credenciais podem ser usadas para autenticar qualquer serviço com suporte para autenticação do Active Directory. Além disso, as identidades gerenciadas não exigem que você armazene credenciais em arquivos de código ou configuração.
No Azure HDInsight no AKS, depois de selecionar uma identidade gerenciada e um armazenamento durante a criação do cluster, a identidade gerenciada pode funcionar perfeitamente com o armazenamento para gerenciamento de dados, desde que a função Proprietário de Dados do Blob de Armazenamento seja atribuída ao MSI atribuído pelo usuário.
A tabela a seguir descreve as opções de armazenamento com suporte para o Azure HDInsight no AKS (visualização pública):
| Tipo de cluster | Armazenamento suportado | Conexão | Função no armazenamento |
|---|---|---|---|
| Trino, Apache Flink e Apache Spark | ADLS Gen2 | Identidade gerenciada atribuída pelo usuário do cluster (MSI) | O MSI atribuído pelo usuário precisa ter a função Proprietário de Dados do Blob de Armazenamento na conta de armazenamento. |
Observação
Para compartilhar uma conta de armazenamento em vários clusters, basta atribuir o MSI "Proprietário de Dados do Blob de Armazenamento" atribuído pelo usuário do cluster correspondente na conta de armazenamento compartilhado. Saiba como atribuir uma função.
Depois disso, você pode usar o caminho abfs:// de armazenamento completo para acessar os dados por meio de seus aplicativos.
Para saber mais, confira Gerenciar identidades para recursos do Azure.
Saiba como criar uma conta ADLS Gen2.
Azure HDInsight na arquitetura de armazenamento AKS
O diagrama a seguir fornece uma exibição abstrata da arquitetura do Azure HDInsight no AKS do Armazenamento do Azure.
Gerenciamento de armazenamento
Atualmente, o Azure HDInsight no AKS não oferece suporte a contas de armazenamento com exclusão flexível habilitada, certifique-se de desabilitar a exclusão flexível para sua conta de armazenamento.
