Atualize seu HDInsight em clusters e pools de clusters AKS
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam às funcionalidades do Azure que estão em versão beta, em pré-visualização, ou que ainda não foram disponibilizadas de forma geral. Para obter informações sobre esta visualização específica, consulte as informações de visualização do Azure HDInsight no AKS . Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade Azure HDInsight .
Saiba como atualizar o HDInsight em clusters AKS e pools de clusters AKS para os patches AKS mais recentes, atualizações de segurança, patches de cluster e hotfixes de cluster com atualização no local.
Por que atualizar
O HDInsight no AKS é um serviço que permite executar o Apache Flink, Apache Spark, Trino no Serviço Kubernetes do Azure (AKS). O HDInsight no AKS oferece os benefícios da escalabilidade, confiabilidade e flexibilidade na nuvem, além de permitir que você use suas ferramentas e aplicativos existentes.
Um dos recursos importantes do HDInsight no AKS é que você pode atualizar seus clusters e pools de clusters com as atualizações de software mais recentes. Isso significa que você pode aproveitar os hotfixes mais recentes, atualizações de segurança e patches AKS, sem recriar clusters.
Como o HDInsight no AKS depende da infraestrutura subjacente do Serviço Kubernetes do Azure (AKS), ele precisa ser atualizado periodicamente para garantir segurança e compatibilidade com os recursos mais recentes. É importante que você atualize para aplicar as versões de segurança mais recentes e obter acesso aos recursos mais recentes do Kubernetes, além de permanecer dentro da janela de suporte do AKS correspondente ao seu HDInsight no pool de clusters AKS. A Microsoft fornece patches e novas imagens para nós de imagem no AKS com frequência (semanalmente), mas os nós em execução não obtêm as novas imagens, a menos que você faça uma atualização do sistema operacional do nó.
Por exemplo, você pode atualizar seu cluster Spark para obter os aprimoramentos de hotfixes mais recentes, correções de segurança para o sistema operacional do nó e atualizações de patch AKS para manter o software de cluster e pools de clusters up-toatualizado.
Neste artigo, mostramos como atualizar seu HDInsight em clusters e pools de clusters AKS, usando o portal do Azure.
Partilhamos algumas práticas recomendadas para o ajudar no processo de atualização.
Tipos de atualizações
A tabela a seguir resume os detalhes dos tipos de atualizações e a frequência com que você pode prever que as atualizações ocorram para pools de clusters e clusters.
| Tipo de atualização | Aplicabilidade | Frequência da atualização | Atualização In-Place |
|---|---|---|---|
| Atualização da versão menor do AKS / Atualização do HDInsight para a versão menor do AKS | Pool de clusters, Cluster | Aproximadamente de seis em seis meses | ✅ |
| HDInsight no AKS – Versão do patch de cluster | Aglomeração | Aproximadamente mensalmente | ✅ |
| HDInsight no AKS – Hotfixes de cluster | Aglomeração | Se necessário | ✅ |
| Atualização da versão do patch AKS | Pool de clusters, Cluster | Cerca de uma vez por semana (dependente da aplicação de patches de origem AKS) | ✅ |
| Atualizações do sistema operacional do nó | Pool de clusters, Cluster | Semanalmente | ✅ |
| Patches de segurança e correções rápidas para imagens de nó | Pool de clusters, Cluster | Se necessário | ✅ |
Saiba mais sobre HDInsight nas versões do AKS.
Como o HDInsight no AKS usa o Serviço Kubernetes do Azure (AKS) como a infraestrutura subjacente, ele precisa ser atualizado periodicamente para garantir a segurança e a compatibilidade com os recursos mais recentes.
Há dois componentes de um cluster AKS que são necessários para manter:
Atualizações de Patch e Versão Menor do AKS: Parte do ciclo de vida do cluster AKS envolve a realização de atualizações para a última versão do Kubernetes. É importante que você atualize para aplicar as versões de segurança mais recentes e ter acesso aos recursos mais recentes do Kubernetes, além de permanecer dentro da janela de suporte AKS. A versão do pool de clusters do HDInsight em AKS corresponde às versões secundárias do AKS.
Os patches AKS são realizados usando atualizações de patch AKS, que podem ser aplicadas ao pool de clusters e conjuntos no HDInsight no AKS, a partir da versão 1.1 do pool de clusters.
As versões secundárias do AKS são realizadas usando a atualização da versão secundária do AKS, que atualiza o pool de clusters, e os clusters para a versão secundária mais recente do AKS suportada no HDInsight no AKS iniciando a versão 1 do pool de clusters.* O HDInsight no AKS visa ficar por dentro da política de suporte do Kubernetes N-2 juntamente com o calendário de lançamento do AKS , para continuar a fornecer-lhe a capacidade de realizar pequenas atualizações in-loco, e encorajamo-lo a planear a atualização para as versões secundárias mais recentes assim que estiverem disponíveis.
Atualizações de OS do nó: o AKS fornece regularmente novas imagens de nó com as mais recentes atualizações de OS e de runtime. É benéfico atualizar as imagens dos seus nós regularmente para garantir suporte aos recursos mais recentes do AKS e aplicar patches de segurança essenciais e hot fixes na camada AKS. Os anúncios de atualização de imagem estão incluídos nas notas de versão do AKS, e pode levar até uma semana para que essas atualizações sejam implementadas em todas as regiões. Com essa atualização, atualizamos apenas as imagens do pool de nós sem atualizar a versão do Kubernetes. No HDInsight em execução no AKS, essa atualização é realizada usando atualizações do sistema operativo Node, que podem ser aplicadas ao pool de clusters e aos clusters, começando com a versão 1.1 do pool de clusters.
Para aproveitar os recursos mais recentes do HDInsight no AKS, recomendamos atualizar regularmente o HDInsight em clusters AKS com hotfixes e patches. O HDInsight no AKS suporta atualizações no local, onde os clusters existentes podem ser atualizados para incluir hotfixes e patches mais recentes. Você não precisa eliminar e recriar o cluster; quando o cluster for elegível para uma atualização, o estado de atualização de software refletirá a atualização pendente e você poderá realizar a atualização com alguns cliques, durante as janelas de manutenção.
As liberações do patch HDInsight no AKS ocorrem a cada 30 a 60 dias. É sempre bom mudar para o patch mais recente o mais cedo possível. A duração máxima recomendada para atualizações de cluster é inferior a três meses.
Hotfix Upgrades: As versões de hotfix são lançadas conforme necessário e incluem apenas algumas correções para um número limitado de módulos dentro do pacote de clusters. As atualizações são aplicáveis aos seus clusters e, quando essas atualizações estiverem disponíveis, o seu cluster refletirá as atualizações pendentes no estado das atualizações de software, permitindo-lhe executar a operação de manutenção com a atualização no local.
Atualizações de Patch: Os recursos no Azure são disponibilizados por um provedor de recursos. O provedor de recursos do HDInsight no AKS é responsável por criar, gerenciar e excluir clusters. O HDInsight no AKS atualiza suas imagens no registro de contêiner do Azure continuamente para reunir componentes de software de código aberto (OSS) que podem ser implantados em um cluster. Essas imagens contêm o sistema operacional Linux do Azure base e componentes principais, como Spark, Flink, Trino. Os patches mensais trazem a correção de erros, do provedor de recursos, bem como dos componentes de código aberto, e outras correções ou melhorias que são específicas para o cluster que está a operar. As atualizações de patch são aplicáveis aos seus clusters e, quando essas atualizações estiverem disponíveis, o cluster mostrará as atualizações pendentes no estado das atualizações de software, de forma a permitir-lhe executar a operação de manutenção com a atualização no local.
Como verificar as atualizações disponíveis
Antes de iniciar a atualização, você precisa verificar as atualizações disponíveis para o seu HDInsight no cluster AKS.
As atualizações dependem da versão do cluster ou da versão do pool de clusters, que é a versão atual do HDInsight no AKS e também da versão do AKS.
Você pode verificar a folha de visão geral para seção de atualização de software para verificar se você tem atualizações de software – atualizadas ou pendentes.
Caso tenha uma atualização de software disponível – verifica que o seu cluster está a mostrar a atualização de software em estado pendente e pode optar por fazer a atualização através do portal do Azure.
Para verificar as atualizações disponíveis usando o portal do Azure, siga estas etapas:
Inicie sessão no portal do Azure.
Na caixa de pesquisa, digite HDInsight no AKS.
Selecione o seu HDInsight no pool de clusters AKS
Na página de visão geral do cluster, verifique o status da atualização de software.
Clique em atualizar
Na folha de atualização, você vê as atualizações disponíveis.
Com base na atualização disponível, você tem uma opção para selecionar e executar a atualização.
Depois de acionar a atualização, você recebe a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters é movido para NodeOSUpgrading.
Como você optou por atualizar os pools de clusters e os clusters juntos, os clusters também se movem para estados semelhantes.
Quando a atualização estiver concluída, você terá uma atualização no banner e o status da atualização de software será refletido no pool de clusters e nos clusters (se o cluster também for atualizado com o pool de clusters), e as atualizações de notificação refletirão o sucesso da atualização.
Planear um upgrade para o HDInsight nos clusters e pools de clusters AKS
Depois de verificar as versões de atualização disponíveis e escolher a que atende às suas necessidades, você pode atualizar seus clusters HDInsight no AKS usando o portal do Azure. O processo de atualização pode levar algum tempo, dependendo do tamanho e da configuração dos clusters e do número de clusters dentro de um pool de clusters.
Durante a atualização, o cluster permanece operacional e acessível, mas você pode sofrer alguma degradação de desempenho ou interrupções temporárias. Portanto, recomendamos que você atualize seus clusters fora do horário de pico ou quando o cluster não estiver sob carga pesada.
Práticas recomendadas para atualização do HDInsight em clusters AKS e grupos de clusters
Para garantir uma atualização sem problemas e com êxito do seu HDInsight em clusters e pools de clusters AKS, siga estas práticas recomendadas:
Antes de iniciar a atualização, verifique se o cluster está íntegro e estável e se o status do cluster não está errado.
Antes da atualização, revise as notas de versão do novo HDInsight na versão AKS e prepare-se para quaisquer alterações necessárias em seus aplicativos ou scripts para se adaptar aos novos recursos ou alterações. Teste-os em um ambiente mais baixo, antes de passar para a produção.
Antes da atualização, planeje a janela de manutenção onde você pode executar as atualizações de cluster na janela planejada. As atualizações no local (cluster e pool de clusters) impactam o desempenho do seu ambiente, e as tarefas podem sofrer interrupções durante o processo de atualização.
Durante a atualização, não faça alterações nos recursos do cluster, como adicionar ou remover nós ou executar dimensionamento, atualizar configurações ou excluir. Isso pode interferir no processo de atualização e causar erros ou falhas.
Durante a atualização, monitore a disponibilidade do cluster. Você pode usar o portal do Azure para verificar o status da atualização de software.
Se a atualização falhar ou encontrar algum problema, você pode entrar em contato com o suporte do Azure ou executar a operação de reversão manual para restaurar a atualização para a versão que você usou antes.
Após a atualização, verifique se o cluster está funcionando conforme o esperado. Você pode verificar a versão, a integridade e as configurações do cluster usando o portal do Azure, a CLI do Azure, o Azure PowerShell ou a integridade do serviço. Você também pode executar alguns trabalhos de teste ou consultas para verificar a funcionalidade do cluster.
Etapas para atualizações
Atualizações do sistema operacional do nó
Depois de clicar em atualizar na folha de visão geral, selecione Atualização do sistema operacional do nó no painel de atualização à esquerda.
Se houver uma atualização do sistema operacional Node, o pool de clusters e os clusters passarão pela atualização simultaneamente.
Depois de acionar a atualização, você recebe a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters é movido para
NodeOSUpgrading.
Como você optou por atualizar os pools de clusters e os clusters juntos, os clusters também se movem para estados semelhantes.
Quando a atualização estiver concluída, haverá uma atualização no banner e o estado da atualização de software será refletido no pool de clusters e nos clusters (se os clusters também tiverem sido atualizados com o pool de clusters), e as notificações refletirão o sucesso da atualização.
Atualizações do patch AKS
Depois de clicar em atualizar na folha de visão geral, selecione Atualização do patch AKS no painel de atualização à esquerda.
Na atualização do patch AKS, o pool de clusters e os clusters não passam pela atualização simultaneamente. Clusters individuais precisam aplicar as atualizações de patch AKS com base nas janelas de manutenção planejadas para seus clusters.
Depois de acionar a atualização, você recebe a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters é movido para AksPatchUpgrading.
Quando a atualização estiver concluída, você receberá uma atualização no banner e o status da atualização de software será refletido no pool de clusters e nos clusters (caso os clusters também tenham sido atualizados com o pool de clusters), e as atualizações de notificação refletirão o sucesso da atualização.
Depois de aplicar o patch para o pool de clusters, pode aplicar os patches AKS aos clusters do pool de clusters de uma só vez ou entrar no cluster individual e aplicar o patch, com base nas agendas de manutenção.
Quando você utiliza a opção de atualizar todos os clusters na página do pool de clusters, consegue concluir a atualização de todos os clusters no pool de uma vez só.
O painel de atualização no lado direito mostra os detalhes da atualização nas versões do patch AKS (atual e caminho de atualização).
Quando a atualização começa, o ícone de notificação mostra que a atualização do cluster está em andamento
O painel de visão geral do cluster no conjunto de clusters também reflete o estado das atualizações.
Quando a atualização estiver concluída, o banner de visão geral e a bandeja de notificação serão atualizados.
Atualizações de hotfix
Na página de visão geral do cluster, você pode observar que você tem uma atualização de hotfix pendente para o cluster.
Depois de clicar em atualizar, vá para a seção de atualizações de cluster com os detalhes da atualização pendente.
Depois de iniciar a atualização, a notificação mostra o progresso da atualização e a página de visão geral do cluster apresenta-se como atualização de hotfix em progresso e o estado da atualização de software muda para atualização em progresso.
Depois que a atualização for concluída, o banner de visão geral quanto ao status do cluster mudará para "em execução", o status de atualização de software mudará para "atualizado" e o banner de notificação na seção de visão geral será atualizado.
