Introdução ao armazenamento de cluster
Importante
O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.
Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .
O Azure HDInsight no AKS pode se integrar perfeitamente ao Armazenamento do Azure, que é uma solução de armazenamento de uso geral que funciona bem com muitos outros serviços do Azure. O Azure Data Lake Storage Gen2 (ADLS Gen 2) é o sistema de arquivos padrão para os clusters.
A conta de armazenamento pode ser usada como o local padrão para dados, logs de cluster e outras saídas geradas durante a operação do cluster. Ele também pode ser um armazenamento padrão para o catálogo do Hive que depende do tipo de cluster.
Para obter mais informações, consulte Introdução ao Azure Data Lake Storage Gen2.
Identidades gerenciadas para acesso seguro a arquivos
O Azure HDInsight no AKS usa MSI (identidades gerenciadas) para proteger o acesso de cluster a arquivos no Azure Data Lake Storage Gen2. A identidade gerenciada é um recurso da ID do Microsoft Entra que fornece aos serviços do Azure um conjunto de credenciais gerenciadas automaticamente. Essas credenciais podem ser usadas para autenticar em qualquer serviço que dê suporte à autenticação do Active Directory. Além disso, as identidades gerenciadas não exigem que você armazene credenciais em arquivos de código ou configuração.
No Azure HDInsight no AKS, uma vez que você selecione uma identidade gerenciada e um armazenamento durante a criação do cluster, a identidade gerenciada pode funcionar de forma integrada com o armazenamento para o gerenciamento de dados, desde que a função Proprietário de Dados de Blob de Armazenamento seja atribuída à MSI atribuída pelo usuário.
A tabela a seguir descreve as opções de armazenamento com suporte para o Azure HDInsight no AKS (versão prévia pública):
| Tipo de cluster | Armazenamento com suporte | Conexão | Função no armazenamento |
|---|---|---|---|
| Trino, Apache Flink e Apache Spark | ADLS Gen2 | MSI (identidade gerenciada) atribuída pelo usuário do cluster | A MSI atribuída pelo usuário precisa ter função de Proprietário de Dados de Blob de Armazenamento na conta de armazenamento. |
Nota
Para compartilhar uma conta de armazenamento em vários clusters, basta atribuir o MSI (Identidade de Serviço Gerenciado) correspondente do usuário do cluster como "Proprietário de Dados de Blob de Armazenamento" na conta de armazenamento compartilhada. Saiba como atribuir uma função.
Depois disso, você pode usar o caminho completo do armazenamento abfs:// para acessar os dados por meio de seus aplicativos.
Para obter mais informações, consulte Identidades gerenciadas para recursos do Azure.
Saiba como criar uma conta do ADLS Gen2.
Azure HDInsight na arquitetura de armazenamento do AKS
O diagrama a seguir fornece uma exibição abstrata do Azure HDInsight na arquitetura do AKS do Armazenamento do Azure.
Gerenciamento de armazenamento
Atualmente, o Azure HDInsight no AKS não dá suporte a contas de armazenamento com exclusão reversível habilitada, certifique-se de desabilitar a exclusão reversível para sua conta de armazenamento.
