Introdução ao armazenamento em cluster
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão na versão beta, em pré-visualização ou ainda não lançadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na comunidade Azure HDInsight .
O Azure HDInsight no AKS pode integrar-se perfeitamente com o Armazenamento do Azure, que é uma solução de armazenamento de uso geral que funciona bem com muitos outros serviços do Azure. O Azure Data Lake Storage Gen2 (ADLS Gen 2) é o sistema de arquivos padrão para os clusters.
A conta de armazenamento pode ser usada como o local padrão para dados, logs de cluster e outras saídas geradas durante a operação do cluster. Também pode ser um armazenamento padrão para o catálogo do Hive que depende do tipo de cluster.
Para obter mais informações, consulte Introdução ao Azure Data Lake Storage Gen2.
Identidades gerenciadas para acesso seguro a arquivos
O Azure HDInsight no AKS usa identidades gerenciadas (MSI) para proteger o acesso de cluster a arquivos no Azure Data Lake Storage Gen2. A identidade gerenciada é um recurso do Microsoft Entra ID que fornece aos serviços do Azure um conjunto de credenciais gerenciadas automaticamente. Essas credenciais podem ser usadas para autenticar em qualquer serviço que ofereça suporte à autenticação do Ative Directory. Além disso, as identidades gerenciadas não exigem que você armazene credenciais em arquivos de código ou configuração.
No Azure HDInsight no AKS, depois de selecionar uma identidade gerenciada e um armazenamento durante a criação do cluster, a identidade gerenciada pode funcionar perfeitamente com o armazenamento para gerenciamento de dados, desde que a função Proprietário de Dados do Blob de Armazenamento seja atribuída ao MSI atribuído pelo usuário.
A tabela a seguir descreve as opções de armazenamento com suporte para o Azure HDInsight no AKS (visualização pública):
| Tipo de cluster | Armazenamento suportado | Ligação | Função no armazenamento |
|---|---|---|---|
| Trino, Apache Flink e Apache Spark | ADLS Gen2 | Identidade gerenciada atribuída pelo usuário (MSI) do cluster | O MSI atribuído pelo usuário precisa ter função de Proprietário de Dados de Blob de Armazenamento na conta de armazenamento. |
Observação
Para compartilhar uma conta de armazenamento em vários clusters, basta atribuir o MSI correspondente atribuído pelo usuário ao cluster "Storage Blob Data Owner" na conta de armazenamento compartilhada. Saiba como atribuir uma função.
Depois disso, pode usar o caminho completo de armazenamento abfs:// para aceder aos dados através das suas aplicações.
Para obter mais informações, consulte Identidades gerenciadas para recursos do Azure.
Saiba como criar uma conta ADLS Gen2.
Azure HDInsight na arquitetura de armazenamento AKS
O diagrama a seguir fornece uma exibição abstrata do Azure HDInsight na arquitetura AKS do Armazenamento do Azure.
Gerenciamento de armazenamento
Atualmente, o Azure HDInsight no AKS não suporta contas de armazenamento com exclusão suave habilitada, certifique-se de desabilitar a exclusão suave para sua conta de armazenamento.
