Atualize seu HDInsight em clusters e pools de clusters AKS
Nota
Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.
Apenas o apoio básico estará disponível até à data da reforma.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.
Saiba como atualizar o HDInsight em clusters e pools de clusters AKS para os patches AKS mais recentes, atualizações de segurança, patches de cluster e hotfixes de cluster com atualização in-loco.
Por que atualizar
O HDInsight no AKS é um serviço que permite executar o Apache Flink, Apache Spark, Trino no Serviço Kubernetes do Azure (AKS). O HDInsight no AKS oferece os benefícios da escalabilidade, confiabilidade e flexibilidade na nuvem, além de permitir que você use suas ferramentas e aplicativos existentes.
Um dos recursos importantes do HDInsight no AKS é que você pode atualizar seus clusters e pools de clusters com as atualizações de software mais recentes. Isso significa que você pode aproveitar os hotfixes mais recentes, atualizações de segurança e patches AKS, sem recriar clusters.
Como o HDInsight no AKS depende da infraestrutura subjacente do Serviço Kubernetes do Azure (AKS), ele precisa ser atualizado periodicamente para garantir segurança e compatibilidade com os recursos mais recentes. É importante que você atualize para aplicar as versões de segurança mais recentes e obter acesso aos recursos mais recentes do Kubernetes, além de permanecer dentro da janela de suporte do AKS correspondente ao seu HDInsight no pool de clusters AKS. A Microsoft fornece patches e novas imagens para nós de imagem no AKS com frequência (semanalmente), mas os nós em execução não obtêm as novas imagens, a menos que você faça uma atualização do sistema operacional do nó.
Por exemplo, você pode atualizar seu cluster Spark para obter os aprimoramentos de hotfixes mais recentes, correções de segurança para o sistema operacional do nó e atualizações de patch AKS para manter o software de cluster e pools de cluster atualizado.
Neste artigo, mostramos como atualizar seu HDInsight em clusters e pools de clusters AKS, usando o portal do Azure.
Partilhamos algumas práticas recomendadas para o ajudar no processo de atualização.
Tipos de atualizações
A tabela a seguir resume os detalhes dos tipos de atualizações e a frequência com que você pode prever que as atualizações ocorram para pools de clusters e clusters.
| Tipo de atualização | Aplicabilidade | Frequência da atualização | Atualização in-loco |
|---|---|---|---|
| Atualização da versão (secundária) do AKS / Atualização do HDInsight na versão secundária do AKS | Pool de clusters, Cluster | Aproximadamente de seis em seis meses | ✅ |
| HDInsight no AKS – Versão do patch de cluster | Cluster | Aproximadamente mensalmente | ✅ |
| HDInsight no AKS – Hotfixes de cluster | Cluster | Se necessário | ✅ |
| Atualização da versão do patch AKS | Pool de clusters, Cluster | Aproximadamente semanalmente (dependente da aplicação de adesivos AKS a montante) | ✅ |
| Atualizações do sistema operacional do nó | Pool de clusters, Cluster | Semanais | ✅ |
| Patches de segurança e hot fixes para imagens de nó | Pool de clusters, Cluster | Se necessário | ✅ |
Saiba mais sobre o HDInsight no controle de versão do AKS.
Como o HDInsight no AKS usa o Serviço Kubernetes do Azure (AKS) como a infraestrutura subjacente, ele precisa ser atualizado periodicamente para garantir a segurança e a compatibilidade com os recursos mais recentes.
Há dois componentes de um cluster AKS que são necessários para manter:
Atualizações do patch AKS e da versão secundária: Parte do ciclo de vida do cluster AKS envolve a realização de atualizações para a versão mais recente do Kubernetes. É importante que você atualize para aplicar as versões de segurança mais recentes e ter acesso aos recursos mais recentes do Kubernetes, além de permanecer dentro da janela de suporte do AKS. A versão do pool de clusters do HDInsight no AKS é mapeada para as versões secundárias do AKS.
Os patches AKS são realizados usando atualizações de patch AKS, que podem ser aplicadas ao pool de clusters e clusters no HDInsight no AKS, iniciando o pool de clusters versão 1.1.
As versões secundárias do AKS são realizadas usando a atualização da versão secundária do AKS, que atualiza o pool de clusters, e os clusters para a versão secundária mais recente do AKS suportada no HDInsight no AKS iniciando a versão 1 do pool de clusters.* O HDInsight no AKS visa ficar por dentro da política de suporte do Kubernetes N-2 juntamente com o calendário de lançamento do AKS, para continuar a fornecer a você a capacidade de realizar pequenas atualizações in-loco, e encorajamo-lo a planear a atualização para as versões secundárias mais recentes assim que estiverem disponíveis.
Atualizações do sistema operacional do nó: o AKS fornece regularmente novas imagens de nó com as atualizações mais recentes do sistema operacional e do tempo de execução. É benéfico atualizar as imagens dos seus nós regularmente para garantir o suporte para os recursos mais recentes do AKS e aplicar patches de segurança essenciais e hot fixes na camada AKS. Os anúncios de atualização de imagem estão incluídos nas notas de versão do AKS e pode levar até uma semana para que essas atualizações sejam implementadas em todas as regiões. Com essa atualização, atualizamos apenas as imagens do pool de nós sem atualizar a versão do Kubernetes. No HDInsight no AKS, essa atualização é realizada usando atualizações do sistema operacional do Node, que podem ser aplicadas ao pool de clusters e clusters, iniciando a versão 1.1 do pool de clusters.
Para aproveitar os recursos mais recentes do HDInsight no AKS, recomendamos atualizar regularmente o HDInsight em clusters AKS com hotfixes e patches. O HDInsight no AKS suporta atualizações in-loco onde os clusters existentes podem ser atualizados, hotfixes e patches mais recentes. Você não precisa soltar e recriar um novo cluster, quando o cluster é elegível para uma atualização, o status da atualização de software reflete a atualização pendente e você pode executar a atualização com alguns cliques e janelas de manutenção.
As liberações do patch HDInsight no AKS ocorrem a cada 30 a 60 dias. É sempre bom mudar para o patch mais recente o mais cedo possível. A duração máxima recomendada para atualizações de cluster é inferior a três meses.
Atualizações de hotfix: As versões de hotfix são feitas conforme necessário e incluem apenas algumas correções para um número limitado de módulos dentro do pacote de cluster. Os hotfixes são aplicáveis aos seus clusters e, quando essas atualizações estiverem disponíveis, o cluster refletirá as atualizações pendentes no status das atualizações de software, para que você execute a operação de manutenção com a atualização in-loco.
Atualizações de patch: os recursos no Azure são disponibilizados por um provedor de recursos. O provedor de recursos do HDInsight no AKS é responsável por criar, gerenciar e excluir clusters. O HDInsight no AKS atualiza suas imagens no registro de contêiner do Azure continuamente para reunir componentes de software de código aberto (OSS) que podem ser implantados em um cluster. Essas imagens contêm o sistema operacional Linux do Azure base e componentes principais, como Spark, Flink, Trino. Os patches mensais trazem as correções de bugs, do provedor de recursos, e também componentes de código aberto, e outros bugs ou melhorias de recursos, que são específicos para o cluster que você está operando. As atualizações de patch são aplicáveis aos seus clusters e, quando essas atualizações estiverem disponíveis, o cluster refletirá as atualizações pendentes no status das atualizações de software, para que você execute a operação de manutenção com a atualização in-loco.
Como verificar as atualizações disponíveis
Antes de iniciar a atualização, você precisa verificar as atualizações disponíveis para o seu HDInsight no cluster AKS.
As atualizações dependem da versão do cluster ou da versão do pool de clusters, que é a versão atual do HDInsight no AKS e também da versão do AKS.
Você pode verificar a folha de visão geral para a seção de atualização de software para verificar se você tem atualizações de software - atualizadas ou pendentes.
Caso você tenha uma atualização de software disponível – observe que seu cluster está mostrando a atualização de software no estado pendente e pode optar pela atualização usando o portal do Azure.
Para verificar as atualizações disponíveis usando o portal do Azure, siga estas etapas:
Inicie sessão no portal do Azure.
Na caixa de pesquisa, digite HDInsight no AKS.
Selecione seu HDInsight no pool de clusters AKS
Na página de visão geral do cluster, verifique o status da atualização de software.
Clique em atualizar
Na folha de atualização, você vê as atualizações disponíveis.
Com base na atualização disponível, você tem uma opção para selecionar e executar a atualização.
Depois de acionar a atualização, você recebe a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters é movido para NodeOSUpgrading.
Como você optou por atualizar os pools de clusters e os clusters juntos, os clusters também se movem para estados semelhantes.
Quando a atualização estiver concluída, você terá uma atualização no banner e o status da atualização de software será refletido no pool de clusters e nos clusters (se o cluster também for atualizado com o pool de clusters), e as atualizações de notificação refletirão o sucesso da atualização.
Planejando uma atualização para o HDInsight em clusters e pools de clusters AKS
Depois de verificar as versões de atualização disponíveis e escolher a que atende às suas necessidades, você pode atualizar seus clusters HDInsight no AKS usando o portal do Azure. O processo de atualização pode levar algum tempo, dependendo do tamanho e da configuração dos clusters e do número de clusters dentro de um pool de clusters.
Durante a atualização, o cluster permanece operacional e acessível, mas você pode sofrer alguma degradação de desempenho ou interrupções temporárias. Portanto, recomendamos que você atualize seus clusters fora do horário de pico ou quando o cluster não estiver sob carga pesada.
Práticas recomendadas para atualização in-loco do HDInsight em clusters AKS e pools de clusters
Para garantir uma atualização suave e bem-sucedida do seu HDInsight em clusters e pools de clusters AKS, siga estas práticas recomendadas:
Antes de iniciar a atualização, verifique se o cluster está íntegro e estável e se o status do cluster não está errado.
Antes da atualização, revise as notas de versão do novo HDInsight na versão AKS e prepare-se para quaisquer alterações necessárias em seus aplicativos ou scripts para se adaptar aos novos recursos ou alterações. Teste-os em um ambiente mais baixo, antes de passar para a produção.
Antes da atualização, planeje a janela de manutenção onde você pode executar as atualizações de cluster na janela planejada. As atualizações in-loco (cluster e pool de clusters) afetam o desempenho do seu ambiente e os trabalhos podem sofrer tempo de inatividade enquanto a atualização está em andamento.
Durante a atualização, não faça alterações nos recursos do cluster, como adicionar ou remover nós ou executar dimensionamento, atualizar configurações ou excluir. Isso pode interferir no processo de atualização e causar erros ou falhas.
Durante a atualização, monitore a disponibilidade do cluster. Você pode usar o portal do Azure para verificar o status da atualização de software.
Se a atualização falhar ou encontrar algum problema, você pode entrar em contato com o suporte do Azure ou executar a operação de reversão manual para restaurar a atualização para a versão que você usou antes.
Após a atualização, verifique se o cluster está funcionando conforme o esperado. Você pode verificar a versão, a integridade e as configurações do cluster usando o portal do Azure, a CLI do Azure, o Azure PowerShell ou a integridade do serviço. Você também pode executar alguns trabalhos de teste ou consultas para verificar a funcionalidade do cluster.
Etapas para atualizações
Atualizações do sistema operacional do nó
Depois de clicar em atualizar na folha de visão geral, selecione Atualização do sistema operacional do nó no painel de atualização à esquerda.
Se houver uma atualização do sistema operacional Node, o pool de clusters e os clusters passarão pela atualização simultaneamente.
Depois de acionar a atualização, você recebe a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters é movido para
NodeOSUpgrading.
Como você optou por atualizar os pools de clusters e os clusters juntos, os clusters também se movem para estados semelhantes.
Quando a atualização estiver concluída, você terá uma atualização no banner e o status da atualização de software será refletido no pool de clusters e nos clusters (se os clusters também tiverem sido atualizados com o pool de clusters), e as atualizações de notificação refletirão o sucesso da atualização.
Atualizações do patch AKS
Depois de clicar em atualizar na folha de visão geral, selecione Atualização do patch AKS no painel de atualização à esquerda.
Na atualização do patch AKS, o pool de clusters e os clusters não passam pela atualização simultaneamente. Clusters individuais precisam aplicar as atualizações de patch AKS com base nas janelas de manutenção planejadas para seus clusters.
Depois de acionar a atualização, você recebe a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters é movido para AksPatchUpgrading.
Quando a atualização estiver concluída, você receberá uma atualização no banner e o status da atualização de software será refletido no pool de clusters e nos clusters (caso os clusters também tenham sido atualizados com o pool de clusters), e as atualizações de notificação refletirão o sucesso da atualização.
Depois de aplicar o patch para o pool de clusters, você pode aplicar os patches AKS aos clusters no pool de clusters de uma só vez ou ir para o cluster individual e aplicar o patch, com base nas agendas de manutenção.
Quando você usa a atualização de todos os clusters, na página do pool de clusters para concluir a atualização de todos os clusters no pool de clusters de uma só vez.
O painel de atualização no lado direito mostra os detalhes da atualização nas versões do patch AKS (atual e caminho de atualização).
Quando a atualização começa, o ícone de notificação mostra que a atualização do cluster está em andamento
O painel de visão geral do cluster no pool de clusters também reflete o status das atualizações.
Quando a atualização estiver concluída, o banner de visão geral e a bandeja de notificação serão atualizados.
Atualizações de hotfix
Na página de visão geral do cluster, você pode observar que você tem uma atualização de hotfix pendente para o cluster.
Depois de clicar em atualizar, vá para a seção de atualizações de cluster com os detalhes da atualização pendente.
Depois de iniciar a atualização, a notificação mostra o progresso da atualização e a página de visão geral do cluster reflete o status como atualização de hotfix e status de atualização de software muda para atualização.
Quando a atualização estiver concluída, o banner de visão geral para alterações de status do cluster para execução, o status de atualização de software será alterado para atualizado e o banner de notificação na seção de visão geral será atualizado.
