Atualize o HDInsight nos clusters e pools de clusters do AKS
Importante
O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.
Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações sobre a Comunidade do Azure HDInsight .
Saiba como atualizar seu HDInsight em clusters do AKS e pools de cluster para aplicar os patches mais recentes do AKS, atualizações de segurança do AKS, patches de cluster e hotfixes de cluster com atualização no local.
Por que atualizar
O HDInsight no AKS é um serviço que permite executar Apache Flink, Apache Spark, Trino no AKS (Serviço de Kubernetes do Azure). O HDInsight no AKS oferece os benefícios da escalabilidade, confiabilidade e flexibilidade da nuvem, além de permitir que você use suas ferramentas e aplicativos existentes.
Um dos recursos importantes do HDInsight no AKS é que você pode atualizar seus clusters e pools de cluster com as atualizações de software mais recentes. Isso significa que você pode desfrutar dos hotfixes mais recentes, atualizações de segurança e patches do AKS, sem recriar clusters.
Como o HDInsight no AKS depende da infraestrutura subjacente do AKS (Serviço de Kubernetes do Azure), ele precisa ser atualizado periodicamente para garantir a segurança e a compatibilidade com os recursos mais recentes. É importante que você atualize para aplicar as versões de segurança mais recentes e obter acesso aos recursos mais recentes do Kubernetes e permanecer dentro da janela de suporte do AKS correspondente ao HDInsight no pool de clusters do AKS. A Microsoft fornece patches e novas imagens para nós de imagem no AKS com frequência (semanalmente), mas seus nós em execução não recebem as novas imagens, a menos que você faça uma atualização do sistema operacional do nó.
Por exemplo, você pode atualizar seu cluster Spark para obter os aprimoramentos de hotfixes mais recentes, correções de segurança para o sistema operacional do nó e atualizações de patch do AKS para manter o software de cluster e pools de cluster up-to-date.
Neste artigo, mostramos como atualizar o HDInsight em clusters e pools de clusters do AKS usando o portal do Azure.
Compartilhamos algumas práticas recomendadas para ajudá-lo com o processo de atualização.
Tipos de atualizações
A tabela a seguir resume os detalhes dos tipos de atualizações e com que frequência você pode esperar que as atualizações ocorram para pools de clusters e clusters.
| Tipo de atualização | Aplicabilidade | Frequência de atualização | Atualização do In-Place |
|---|---|---|---|
| Atualização da versão do AKS (secundária) /HDInsight na atualização da versão secundária do AKS | Pool de clusters, Cluster | Aproximadamente a cada seis meses | ✅ |
| HDInsight no AKS – versão do patch de cluster | Agrupamento | Aproximadamente mensalmente | ✅ |
| HDInsight no AKS – Correções emergenciais do cluster | Agrupamento | Conforme necessário | ✅ |
| Atualização de versão do patch do AKS | Conjunto de clusters, Cluster | Aproximadamente uma vez por semana (dependendo da aplicação de patches upstream do AKS) | ✅ |
| Atualizações do sistema operacional do nó | Pool de clusters, Cluster | Semanalmente | ✅ |
| Patches de segurança e correções urgentes para imagens de nó | Pool de clusters, Cluster | Conforme necessário | ✅ |
Saiba mais sobre HDInsight na versãodo AKS.
Como o HDInsight no AKS usa o AKS (Serviço de Kubernetes do Azure) como a infraestrutura subjacente, ele precisa ser atualizado periodicamente para garantir a segurança e a compatibilidade com os recursos mais recentes.
Há dois componentes de um cluster do AKS que são necessários para manter:
Patch do AKS e atualizações de versão menor: Faz parte do ciclo de vida do cluster AKS executar atualizações para a versão mais recente do Kubernetes. É importante que você atualize para aplicar as versões de segurança mais recentes e obter acesso aos recursos mais recentes do Kubernetes e permanecer dentro da janela de suporte do AKS . A versão do pool de clusters do HDInsight em AKS corresponde às versões secundárias do AKS.
Os patches do AKS são feitos usando atualizações de patch do AKS, que podem ser aplicadas ao pool de clusters e clusters no HDInsight em AKS, a partir da versão 1.1 do pool de clusters.
As versões secundárias do AKS são realizadas usando a atualização de versão secundária do AKS, que atualiza o pool de nós e os clusters para a versão secundária mais recente do AKS com suporte no HDInsight no AKS iniciando na versão do pool de clusters 1.*. O HDInsight no AKS tem como objetivo seguir a política de suporte do Kubernetes N-2 , juntamente com o calendário de lançamento do AKS , para continuar a fornecer a você a capacidade de executar atualizações no local, e incentivamos que você planeje a atualização para as versões secundárias mais recentes assim que estiverem disponíveis.
Atualizações do sistema operacional do nó: AKS fornece regularmente novas imagens de nó com as atualizações mais recentes do sistema operacional e do runtime. É benéfico atualizar regularmente as imagens de seus nós para garantir o suporte para os recursos mais recentes do AKS e aplicar patches de segurança essenciais e correções urgentes na camada do AKS. Os anúncios de atualização de imagem são incluídos nas notas de versão do AKSe pode levar até uma semana para que essas atualizações sejam implementadas em todas as regiões. Com essa atualização, atualizamos apenas as imagens do pool de nós sem atualizar a versão do Kubernetes. No HDInsight em AKS, essa atualização é realizada usando atualizações do sistema operacional Node, que podem ser aplicadas ao pool de clusters e clusters, a partir da versão 1.1 do pool de clusters.
Para aproveitar os recursos mais recentes do HDInsight no AKS, recomendamos atualizar regularmente o HDInsight em clusters do AKS com hotfixes e patches. O HDInsight no AKS dá suporte a atualizações in-loco em que os clusters existentes podem ser atualizados com hotfixes e patches mais recentes. Você não precisa descartar e recriar um novo cluster, quando o cluster está qualificado para uma atualização, o status de atualização de software reflete a atualização pendente e você pode executar a atualização com alguns cliques e janelas de manutenção.
As versões de patch do HDInsight no AKS ocorrem a cada 30 a 60 dias. É sempre bom passar para o patch mais recente o mais cedo possível. A duração máxima recomendada para atualizações de cluster é inferior a três meses.
Atualizações de Hotfix: as versões de hotfix são feitas conforme necessário e incluem apenas algumas correções para um número limitado de módulos dentro do pacote de cluster. Os hotfixes são aplicáveis aos seus clusters e, quando essas atualizações estiverem disponíveis, seu cluster refletirá as atualizações pendentes no status de atualizações de software, permitindo que você execute a operação de manutenção com a atualização no local.
Atualizações de Patch: Os recursos no Azure são disponibilizados por um provedor de recursos. O HDInsight no provedor de recursos do AKS é responsável por criar, gerenciar e excluir clusters. O HDInsight no AKS atualiza suas imagens no registro de contêiner do Azure continuamente para reunir componentes de software livre (OSS) que podem ser implantados em um cluster. Essas imagens contêm o sistema operacional Azure Linux base e componentes principais, como Spark, Flink, Trino. Os patches mensais trazem correções de bugs do provedor de recursos, de componentes de software livre e de outros recursos ou melhorias específicas para o cluster que você está operando. As atualizações de patch são aplicáveis aos seus clusters e, quando tais atualizações estiverem disponíveis, o cluster refletirá as atualizações pendentes no status de atualizações de software, permitindo que você realize a operação de manutenção com a atualização no local.
Como verificar as atualizações disponíveis
Antes de iniciar a atualização, você precisa verificar as atualizações disponíveis para o HDInsight no cluster do AKS.
As atualizações dependem da versão do cluster ou da versão do pool de clusters, que corresponde à versão atual do HDInsight no AKS, além da versão do AKS.
Você pode verificar a folha de visão geral da seção atualização de software para verificar se você tem atualizações de software – atualizadas ou pendentes.
Caso você tenha uma atualização de software disponível, observe que seu cluster indica que a atualização de software está no estado de pendente, e você pode optar por realizar a atualização usando o portal do Azure.
Para verificar as atualizações disponíveis usando o portal do Azure, siga estas etapas:
Na caixa de pesquisa, digite HDInsight no AKS.
Selecione o HDInsight no pool de clusters do AKS
Na página de visão geral do cluster, verifique o status da atualização de software.
Clique em atualizar
No painel de atualização, você verá as atualizações disponíveis.
Com base na atualização disponível, você tem uma opção para selecionar e executar a atualização.
Depois de disparar a atualização, você receberá a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters passa para NodeOS Update.
Como você optou por atualizar pools de clusters e clusters juntos, os clusters também mudam para estados semelhantes.
Depois que sua atualização for concluída, você verá um banner atualizando e o status da atualização de software será refletido em todo o pool de clusters e clusters (se seu cluster também for atualizado com o pool de clusters). As notificações serão atualizadas, refletindo o sucesso da atualização.
Planejando uma atualização para o HDInsight em clusters e pools de cluster do AKS
Depois de verificar as versões de atualização disponíveis e escolher aquela que atenda às suas necessidades, você poderá atualizar seus clusters HDInsight no AKS usando o portal do Azure. O processo de atualização pode levar algum tempo, dependendo do tamanho e da configuração dos clusters e do número de clusters em um pool de clusters.
Durante a atualização, seu cluster permanece operacional e acessível, mas você pode experimentar alguma degradação de desempenho ou interrupções temporárias. Portanto, recomendamos que você atualize seus clusters fora do horário de pico ou quando o cluster não estiver sob carga pesada.
Práticas recomendadas para a atualização in-loco do HDInsight em clusters e pools de clusters do AKS
Para garantir uma atualização tranquila e bem-sucedida do HDInsight em clusters e pools de clusters do AKS, siga estas práticas recomendadas:
Antes de iniciar a atualização, verifique se o cluster está íntegro e estável e se o status do cluster não está em erro.
Antes da atualização, examine as notas de versão do novo HDInsight na versão do AKS e prepare-se para as alterações necessárias em seus aplicativos ou scripts para se adaptar aos novos recursos ou alterações. Teste-os em um ambiente inferior, antes de migrar para a produção.
Antes da atualização, planeje a janela de manutenção em que você possa executar as atualizações do cluster na janela planejada. As atualizações no local (tanto de cluster quanto de pool de clusters) afetam o desempenho do seu ambiente, e os trabalhos podem sofrer interrupções enquanto a atualização está em andamento.
Durante a atualização, não faça nenhuma alteração nos recursos do cluster, como adicionar ou remover nós ou executar dimensionamento, atualização de configurações ou exclusão. Isso pode interferir no processo de atualização e causar erros ou falhas.
Durante a atualização, monitore a disponibilidade do cluster. Você pode usar o portal do Azure para verificar o status da atualização de software.
Se a atualização falhar ou encontrar problemas, você poderá entrar em contato com o suporte do Azure ou executar uma operação de reversão manual para restaurar a atualização para a versão usada anteriormente.
Após a atualização, verifique se o cluster está funcionando conforme o esperado. Você pode verificar a versão do cluster, a integridade e as configurações usando o portal do Azure, a CLI do Azure, o Azure PowerShell ou a integridade do serviço. Você também pode executar alguns trabalhos de teste ou consultas para verificar a funcionalidade do cluster.
Etapas para atualizações
Atualizações do sistema operacional do nó
Depois de clicar em atualizar na folha de visão geral, selecione a atualização do sistema operacional do Nó no painel de atualização à esquerda.
Se houver uma atualização do sistema operacional do Nó, o pool de clusters e os clusters passarão pela atualização simultaneamente.
Depois de disparar a atualização, você receberá a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters passa para
NodeOSUpgrading.
Como você optou por atualizar pools de clusters e clusters juntos, os clusters também se deslocam para estados semelhantes.
Depois que a atualização for concluída, você verá uma atualização no banner, e o status da atualização de software será refletido no pool de clusters e nos clusters (se os clusters também forem atualizados com o pool de clusters), e as notificações refletem o sucesso da atualização do sistema.
Atualizações de patch do AKS
Depois de clicar em atualizar na folha de visão geral, selecione a atualização de patch do AKS no painel de atualização à esquerda.
Na atualização de patch do AKS, o pool de clusters e os clusters não passam pela atualização simultaneamente. Clusters individuais precisam aplicar as atualizações de patch do AKS com base nas janelas de manutenção planejadas para seus clusters.
Depois de disparar a atualização, você receberá a notificação de serviço no portal.
O status de atualização do cluster passa de pendente para atualização e o status do pool de clusters passa para AksPatch Update.
Depois que a atualização for concluída, você receberá uma atualização no banner, e o status na atualização de software será refletido em todo o pool de clusters e nos clusters (caso os clusters também tenham sido atualizados com o pool de clusters), e as notificações atualizarão para refletir o sucesso da atualização.
Depois de aplicar o patch ao pool de clusters, você poderá aplicar os patches do AKS a todos os clusters desse pool de uma só vez ou individualmente, com base nos cronogramas de manutenção.
Para concluir a atualização de todos os clusters de um pool de clusters de uma só vez, use a opção de atualizar todos os clusters na página do pool de clusters.
O painel de atualização no lado direito mostra os detalhes da atualização em versões de patch do AKS (caminho atual e de atualização).
Depois que a atualização for iniciada, o ícone de notificação mostrará que a atualização do cluster está em andamento
O painel de visão geral do cluster no pool de clusters também reflete o status das atualizações.
Depois que a atualização for concluída, a faixa de visão geral e a bandeja de notificação serão atualizadas.
Atualizações de hotfix
Na página de visão geral do cluster, você pode observar que você tem uma atualização de hotfix pendente para o cluster.
Depois de clicar na atualização, vá para a seção de atualizações do cluster com os detalhes da atualização pendente.
Depois de iniciar a atualização, a notificação mostra o progresso da atualização, e a página de visão geral do cluster reflete o status como em atualização de hotfix, e o status de atualização de software muda para em atualização.
Após a conclusão da atualização, a faixa de visão geral do status do cluster muda para em execução, o status da atualização de software muda para atualizado e a faixa de notificação na seção de visão geral é atualizada.
