Comissionar o cluster do AKS

As instâncias principais do pacote no serviço do Azure Private 5G Core são executadas em um cluster de AKS (Serviço de Kubernetes do Azure) habilitado para Arc em um dispositivo do Azure Stack Edge (ASE). Este guia de instruções mostra como comissionar o cluster de AKS no ASE para que ele esteja pronto para implantar uma instância principal do pacote.

Importante

Esse procedimento só deve ser usado para o Azure Private 5G Core. O AKS no ASE não tem suporte para outros serviços.

Pré-requisitos

• Conclua as tarefas de pré-requisito para implantar uma rede móvel privada.
• Você precisará da permissão Proprietário no grupo de recursos para o recurso do Azure Stack Edge.

  Observação

  Anote o grupo de recursos do Azure Stack Edge. O cluster de AKS e o local personalizado, criados neste procedimento, devem pertencer a esse grupo de recursos.

• Examine o dimensionamento de máquinas virtuais do Azure Stack Edge para garantir que o ASE tenha espaço suficiente disponível para comissionar o cluster.

Configurar o Kubernetes para o MEC Privada do Azure no dispositivo do Azure Stack Edge

Estas etapas modificam o cluster Kubernetes no dispositivo Azure Stack Edge para otimizá-lo para cargas de trabalho da Computação de Borda de Acesso Múltiplo Privado (MEC).

1. Na IU da Web local, selecione Kubernetes no menu à esquerda.
2. Em Escolher a opção que melhor descreve seu cenário, selecione uma solução da MEC Privada do Azure em seu ambiente.
3. No pop-up de Confirmação de carga de trabalho, selecione Confirmo que estou executando a MEC Privada do Azure em meu ambiente e selecione Aplicar, para fechar o pop-up.
4. Clique em Aplicar para salvar os detalhes.

Após aplicar essas alterações, você deverá visualizar uma opção atualizada na IU da Web local – o Kubernetes se torna Kubernetes (Versão Prévia), conforme mostrado na imagem a seguir.

Caso acesse o portal do Azure e navegue até o recurso do Azure Stack Edge, deverá visualizar uma opção do Serviço de Kubernetes do Azure. Você configurará o Serviço de Kubernetes do Azure em Iniciar o cluster e configurará o Arc.

Configurar rede avançada

Agora você precisará configurar comutadores virtuais e redes virtuais nesses comutadores. Você usará a seção Rede avançada da IU da Web local do Azure Stack Edge, para realizar essa tarefa.

É possível inserir todas as configurações nesta página antes de selecionar Aplicar, na parte inferior para aplicá-las todas de uma vez.

1. Configure três comutadores virtuais. Deve haver um comutador virtual associado a cada porta antes da próxima etapa. Os comutadores virtuais podem já estar presentes, caso tenha outras VNFs (funções de rede virtual) configuradas. Selecione Adicionar comutador virtual e preencha o painel lateral adequadamente para cada comutador antes de selecionar Modificar para salvar essa configuração.

   • Crie um comutador virtual na porta que deve ter a computação habilitada (a porta de gerenciamento). É recomendável usar o formato vswitch-portX, em que X é o número da porta. Por exemplo, crie vswitch-port2 na porta 2.
   • Crie um comutador virtual na porta 3 com o nome vswitch-port3.
   • Crie um comutador virtual na porta 4 com o nome vswitch-port4.

   Agora você deverá visualizar algo semelhante à imagem a seguir:

1. Configure três comutadores virtuais. Deve haver um comutador virtual associado a cada porta antes da próxima etapa. Os comutadores virtuais podem já estar presentes, caso tenha outras VNFs (funções de rede virtual) configuradas. Selecione Adicionar comutador virtual e preencha o painel lateral adequadamente para cada comutador antes de selecionar Modificar para salvar essa configuração.

   • Crie um comutador virtual na porta que deve ter a computação habilitada (a porta de gerenciamento). É recomendável usar o formato vswitch-portX, em que X é o número da porta. Por exemplo, crie vswitch-port3 na porta 3.
   • Crie um comutador virtual na porta 5 com o nome vswitch-port5.
   • Crie um comutador virtual na porta 6 com o nome vswitch-port6.

   Agora você deverá visualizar algo semelhante à imagem a seguir:

2. Crie redes virtuais que representem as seguintes interfaces (para as quais você alocou sub-redes e endereços IP em alocar sub-redes e endereços IP):

   • Interface de acesso ao plano de controle
   • Interface de acesso ao plano de usuário
   • Interfaces de dados do plano do usuário

   É possível nomear essas redes por conta própria, mas o nome deve corresponder ao que você configura no portal do Azure ao implantar o Azure Private 5G Core. Se você estiver usando o tronco VLAN (necessário para implantações de HA), você terá uma única rede virtual N6 sem informações de IP. As informações de VLAN e IP são feitas ao configurar a rede móvel. Com essa configuração, você pode usar os nomes N2, N3 e N6.

   No modo VLAN do Access ou não VLAN, há uma rede virtual N6 para cada rede de dados anexada. Por exemplo, você poderá usar os nomes N2, N3 e até dez N6-DNX (em que X é o número de rede de dados (DN) de 1 a 10 em uma implantação de várias DN; ou apenas N6 para uma única implantação de DN). Opcionalmente, você poderá configurar cada rede virtual com um identificador de rede local virtual (ID de VLAN), para habilitar a separação de tráfego de camada 2. O exemplo a seguir é para uma implantação de 5G multiDN sem VLANs.

3. Se você estiver usando o tronco VLAN (necessário para implantações de HA), execute o seguinte procedimento três vezes:
   1. Selecione Adicionar rede virtual e preencha o painel lateral:
      • Comutador virtual: selecione vswitch-port3 para N2 e N3. Selecione vswitch-port4 para N6.
      • Nome: N2, N3ou N6.
      • Tipo de VLAN: VLAN de tronco
      • Intervalo de ID de VLAN permitido: preencha o conjunto de IDs de VLAN que você deseja configurar.
   2. Selecione Modificar para salvar a configuração dessa rede virtual.
   3. Selecione Aplicar na parte inferior da página e aguarde a notificação (um ícone de sino) para confirmar se as configurações foram aplicadas. A aplicação das configurações leva aproximadamente 8 minutos.
4. Se você estiver usando a VLAN do Access ou o modo não VLAN, execute o procedimento a seguir três vezes, mais uma vez para cada uma das redes de dados complementares (12 vezes no total, se você tiver o máximo de 10 redes de dados):

   Importante

   Caso esteja usando a porta 3 para redes de dados, é recomendável que ela seja usada para a carga mais baixa esperada.

   1. Selecione Adicionar rede virtual e preencha o painel lateral:
      • Comutador virtual: selecione vswitch-port3 para N2, N3 e até quatro DNs e selecione vswitch-port4 para até seis DNs.
      • Nome: N2, N3 ou N6-DNX (em que X é o número de DN 1 a 10).
      • VLAN: ID de VLAN ou 0 se não estiver usando VLANs
      • Rede e Gateway: use a sub-rede e o gateway corretos para o endereço IP configurado na porta ASE (mesmo que o gateway não esteja definido na própria porta do ASE).
        • Por exemplo, 10.232.44.0/24 e 10.232.44.1
        • Se a sub-rede não tiver um gateway padrão, use outro endereço IP na sub-rede que responderá às solicitações do Address Resolution Protocol (ARP) (como um dos endereços IP RAN). Se houver mais de um gNB conectado por meio de um comutador, escolha um dos endereços IP do gateway.
      • O servidor DNS e o sufixo DNS devem ficar em branco.
   2. Selecione Modificar para salvar a configuração dessa rede virtual.
   3. Selecione Aplicar na parte inferior da página e aguarde a notificação (um ícone de sino) para confirmar se as configurações foram aplicadas. A aplicação das configurações leva aproximadamente 8 minutos. A página agora deve ser semelhante à imagem a seguir:

3. Se você estiver usando o tronco VLAN (necessário para implantações de HA), execute o seguinte procedimento três vezes:
   1. Selecione Adicionar rede virtual e preencha o painel lateral:
      • Comutador virtual: selecione vswitch-port5 para N2 e N3. Selecione vswitch-port6 para N6.
      • Nome: N2, N3ou N6.
      • Tipo de VLAN: VLAN de tronco
      • Intervalo de ID de VLAN permitido: preencha o conjunto de IDs de VLAN que você deseja configurar.
   2. Selecione Modificar para salvar a configuração dessa rede virtual.
   3. Selecione Aplicar na parte inferior da página e aguarde a notificação (um ícone de sino) para confirmar se as configurações foram aplicadas. A aplicação das configurações leva aproximadamente 8 minutos.
4. Se você estiver usando o modo Access VLAN ou não-VLAN, execute o seguinte procedimento três vezes, mais uma vez para cada uma das redes de dados suplementares (doze vezes no total se você tiver no máximo dez redes de dados):

   Importante

   Caso esteja usando a porta 5 para redes de dados, recomendamos que ela seja usada para a carga mais baixa esperada.

   1. Selecione Adicionar rede virtual e preencha o painel lateral:
      • Comutador virtua: selecione vswitch-port5 para N2, N3 e até quatro DNs e selecione vswitch-port6 para até seis DNs.
      • Nome: N2, N3 ou N6-DNX (em que X é o número de DN 1 a 10).
      • Tipo de VLAN: selecione conforme apropriado.
      • VLAN: ID de VLAN ou 0 se não estiver usando VLANs
      • Rede e Gateway: use a sub-rede e o gateway corretos para o endereço IP configurado na porta ASE (mesmo que o gateway não esteja definido na própria porta do ASE).
        • Por exemplo, 10.232.44.0/24 e 10.232.44.1
        • Se a sub-rede não tiver um gateway padrão, use outro endereço IP na sub-rede que responderá às solicitações do Address Resolution Protocol (ARP) (como um dos endereços IP RAN). Se houver mais de um gNB conectado por meio de um comutador, escolha um dos endereços IP do gateway.
      • O servidor DNS e o sufixo DNS devem ficar em branco.
   2. Selecione Modificar para salvar a configuração dessa rede virtual.
   3. Selecione Aplicar na parte inferior da página e aguarde a notificação (um ícone de sino) para confirmar se as configurações foram aplicadas. A aplicação das configurações leva aproximadamente 8 minutos.

A página agora deve ser semelhante à imagem a seguir:

Adicionar endereços IP e de computação

Na interface do usuário local do Azure Stack Edge, acesse a página Kubernetes (versão prévia). Você configurará toda a configuração e a aplicará uma vez, como fez em Configurar Rede Avançada.

1. Em Comutador virtual de computação, selecione Modificar.
   1. Selecione o vswitch com intenção de computação (por exemplo, vswitch-port2)
   2. Insira seis endereços IP em um intervalo para os endereços IP do nó na rede de gerenciamento.
   3. Insira um endereço IP em um intervalo para o endereço IP do serviço, também na rede de gerenciamento. Isto será usado para acessar as ferramentas de monitoramento local para a instância do núcleo de pacotes.
   4. Selecione Modificar na parte inferior do painel para salvar a configuração.

   Importante

   Se você estiver usando o tronco VLAN (necessário para implantações de HA), nenhuma configuração de IP será feita para as redes virtuais neste momento. A configuração de IP é feita ao configurar a rede móvel.

2. Para Rede virtual, selecione uma rede virtual a ser usada. No modo de tronco VLAN, ela será N2, N3 e N6. Caso contrário, escolha entre N2, N3, N6-DNX (onde X é o número de DN 1-10). No painel lateral:
   1. Habilite a rede virtual para o Kubernetes e adicione um pool de endereços IP. Se NÃO estiver no modo de tronco VLAN, adicione também um pool de endereços IP:
   2. Para uma implantação padrão, adicione um intervalo de um endereço IP para o endereço apropriado (N2, N3 ou N6-DNX, conforme coletado anteriormente). Por exemplo: 10.10.10.20-10.10.10.20.
   3. Para uma implantação de HA, adicione um intervalo de dois endereços IP para cada rede virtual, em que os endereços IP de pod N2 e N3 estão na sub-rede de acesso local e os endereços IP do pod N6 estão na sub-rede de dados local apropriada.
   4. Repita para cada uma das redes virtuais N2, N3 e N6-DNX.
   5. Selecione Modificar na parte inferior do painel para salvar a configuração.
3. Selecione Aplicar na parte inferior da página e aguarde até que as configurações sejam aplicadas. A aplicação das configurações levará aproximadamente 5 minutos.

A página agora deve se parecer com a imagem a seguir (no modo de tronco VLAN):

Habilitar o gerenciamento de máquina virtual no ASE

1. Acesse o portal do Azure e acesse o recurso do Azure Stack Edge criado no portal do Azure.
2. Selecione serviços do Edge.
3. Selecione Máquinas virtuais.
4. Selecione Habilitar.

Iniciar o cluster e configurar o Arc

Caso esteja executando outras máquinas virtuais (VMs) no Azure Stack Edge, é recomendável interrompê-las agora e iniciá-las novamente quando o cluster for implantado. O cluster requer acesso aos recursos específicos da CPU que a execução de VMs já pode estar usando.

1. Acesse o portal do Azure e acesse o recurso do Azure Stack Edge criado no portal do Azure.

2. Para implantar o cluster, selecione a opção Kubernetes e, em seguida, selecione o botão Adicionar, para configurar o cluster.

   

3. Para o Tamanho do nó, selecione Standard_F16s_HPN.

4. Verifique se a caixa de seleção do Kubernetes habilitado para Arc está selecionada.

5. Selecione o link Alterar e insira a ID de Objeto (OID) do aplicativo Microsoft Entra para o local personalizado obtido de Recuperar a OID (ID do Objeto).

   

6. O serviço Kubernetes habilitado para Arc é criado automaticamente no mesmo grupo de recursos que o recurso do Azure Stack Edge. Se o grupo de recursos do Azure Stack Edge não estiver em uma região que dá suporte ao Azure Private 5G Core, você deverá alterar a região.

7. Selecione Configurar para aplicar a configuração.

8. Verifique se os campos Região e OID (ID de Objeto) do aplicativo Microsoft Entra mostram os valores apropriados e selecione Criar.

9. Trabalhe nas solicitações para configurar o serviço.

A criação do cluster de Kubernetes leva cerca de 20 minutos. Durante a criação, pode haver um alarme crítico exibido no recurso do Azure Stack Edge. Esse alarme é esperado e deve desaparecer após alguns minutos.

Após implantado, o portal deve mostrar que o serviço kubernetes está em execução na página de visão geral.

Configurar o acesso ao kubectl

Você precisará de acesso ao kubectl para verificar se o cluster foi implantado com êxito. Para acesso kubectl somente leitura ao cluster, você poderá baixar um arquivo kubeconfig da IU da Web local do ASE. Em Dispositivo, selecione Baixar configuração.

O arquivo baixado é chamado config.json. Esse arquivo tem permissão para descrever pods e exibir logs, mas não para acessar pods com o kubectl exec.

Configurar o acesso ao portal

Abra o recurso Azure Stack Edge no portal do Azure. Acesse o painel Serviço de Kubernetes do Azure (mostrado em Iniciar o cluster e configure o Arc) e selecione o link Gerenciar para abrir o painel do Arc.

Explore o cluster usando as opções no menu recursos do Kubernetes (versão prévia):

Inicialmente, você receberá uma caixa de solicitação de entrada. O token a ser usado para entrar é obtido do arquivo kubeconfig recuperado da interface do usuário local na Configuração do acesso kubectl. Há uma cadeia de caracteres prefixada por token: perto do final do arquivo kubeconfig. Copie essa cadeia de caracteres para a caixa no portal (garantindo que você não tenha caracteres de quebra de linha copiados) e selecione Entrar.

Agora você poderá exibir informações sobre o que está em execução no cluster – o seguinte é um exemplo do painel Cargas de Trabalho:

Verificar a configuração do cluster

Você deverá verificar se o cluster do AKS está configurado corretamente executando os seguintes comandos kubectl usando o kubeconfig baixado da interface do usuário em Configurar o acesso ao kubectl:

kubectl get nodes

Esse comando deve retornar dois nós, um chamado nodepool-aaa-bbb e um chamado target-cluster-control-plane-ccc.

Para exibir todos os pods em execução, execute:

kubectl get pods -A

Além disso, o cluster de AKS agora deve estar visível do recurso do Azure Stack Edge no portal.

Coletar variáveis para as extensões do Kubernetes

Colete os valores na tabela a seguir.

Valor	Nome da variável
A ID da assinatura do Azure na qual os recursos do Azure são implantados.	SUBSCRIPTION_ID
O nome do grupo de recursos no qual o cluster de AKS está implantado. Isso pode ser encontrado usando o botão Gerenciar no painel Serviço de Kubernetes do Azure do portal do Azure.	RESOURCE_GROUP_NAME
O nome do recurso de cluster de AKS. Isso pode ser encontrado usando o botão Gerenciar no painel Serviço de Kubernetes do Azure do portal do Azure.	RESOURCE_NAME
A região na qual os recursos do Azure são implantados. Isso deve corresponder à região na qual a rede móvel será implantada, que deve ser uma das regiões com suporte do AP5GC. Esse valor deve ser o nome de código da região.	LOCATION
O nome do recurso de Local personalizado a ser criado para o cluster de AKS. Este valor deve começar e terminar com caracteres alfanuméricos e conter somente caracteres alfanuméricos, -ou ..	CUSTOM_LOCATION

Instalar extensões do Kubernetes

A rede móvel privada do Azure Private 5G Core requer um local personalizado e extensões específicas do Kubernetes que você precisa configurar usando a CLI do Azure no Azure Cloud Shell.

1. Entre na CLI do Azure usando o Azure Cloud Shell e selecione Bash no menu suspenso.

2. Defina as seguintes variáveis de ambiente usando os valores necessários para sua implantação:

   SUBSCRIPTION_ID=<subscription ID>
   RESOURCE_GROUP_NAME=<resource group name>
   LOCATION=<deployment region, for example eastus>
   CUSTOM_LOCATION=<custom location for the AKS cluster>
   ARC_CLUSTER_RESOURCE_NAME=<resource name>
   TEMP_FILE=./tmpfile
   

3. Prepare o ambiente do Shell:

   az account set --subscription "$SUBSCRIPTION_ID"
   az extension add --upgrade --name k8s-extension
   az extension add --upgrade --name customlocation
   

4. Crie a extensão Kubernetes do Operador de Função de Rede:

   cat > $TEMP_FILE <<EOF
   {
     "helm.versions": "v3",
     "Microsoft.CustomLocation.ServiceAccount": "azurehybridnetwork-networkfunction-operator",
     "meta.helm.sh/release-name": "networkfunction-operator",
     "meta.helm.sh/release-namespace": "azurehybridnetwork",
     "app.kubernetes.io/managed-by": "helm",
     "helm.release-name": "networkfunction-operator",
     "helm.release-namespace": "azurehybridnetwork",
     "managed-by": "helm"
   }
   EOF 
   

   az k8s-extension create \
   --name networkfunction-operator \
   --cluster-name "$ARC_CLUSTER_RESOURCE_NAME" \
   --resource-group "$RESOURCE_GROUP_NAME" \
   --cluster-type connectedClusters \
   --extension-type "Microsoft.Azure.HybridNetwork" \
   --auto-upgrade-minor-version "true" \
   --scope cluster \
   --release-namespace azurehybridnetwork \
   --release-train preview \
   --config-settings-file $TEMP_FILE 
   

5. Crie a extensão Kubernetes do Monitor do Núcleo de Pacotes:

   az k8s-extension create \
   --name packet-core-monitor \
   --cluster-name "$ARC_CLUSTER_RESOURCE_NAME" \
   --resource-group "$RESOURCE_GROUP_NAME" \
   --cluster-type connectedClusters \
   --extension-type "Microsoft.Azure.MobileNetwork.PacketCoreMonitor" \
   --release-train stable \
   --auto-upgrade true 
   

6. Crie a localização personalizada:

   az customlocation create \
   -n "$CUSTOM_LOCATION" \
   -g "$RESOURCE_GROUP_NAME" \
   --location "$LOCATION" \
   --namespace azurehybridnetwork \
   --host-resource-id "/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP_NAME/providers/Microsoft.Kubernetes/connectedClusters/$ARC_CLUSTER_RESOURCE_NAME" \
   --cluster-extension-ids "/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP_NAME/providers/Microsoft.Kubernetes/connectedClusters/$ARC_CLUSTER_RESOURCE_NAME/providers/Microsoft.KubernetesConfiguration/extensions/networkfunction-operator"
   

Você deverá visualizar o novo Local personalizado visível como um recurso no portal do Azure dentro do grupo de recursos especificado. Usar o comando kubectl get pods -A (com acesso ao arquivo kubeconfig) também deve mostrar novos pods correspondentes às extensões que foram instaladas. Deve haver um pod no namespace azurehybridnetwork e outro no namespace packet-core-monitor.

Reversão

Caso cometeu um erro na configuração do Azure Stack Edge, poderá usar o portal para remover o cluster de AKS (consulte Implantar o serviço Kubernetes do Azure no Azure Stack Edge). Em seguida, você poderá modificar as configurações por meio da IU da Web local.

Como alternativa, você poderá executar uma redefinição completa usando a folha Redefinição de Dispositivo na IU da Web local (consulte Redefinição e reativação do dispositivo do Azure Stack Edge) e, em seguida, reinicie esse procedimento. Nesse caso, você também deve excluir todos os recursos associados deixados no portal do Azure depois de concluir a redefinição do Azure Stack Edge. Isso incluirá alguns ou todos os seguintes, dependendo de quão longe você está no processo:

• Recurso do Azure Stack Edge
• KeyVault gerado automaticamente associado ao recurso do Azure Stack Edge
• StorageAccount gerado automaticamente associado ao recurso do Azure Stack Edge
• Cluster de Kubernetes do Azure (se criado com êxito)
• Local personalizado (se criado com êxito)

Alteração da configuração do ASE após a implantação

Talvez seja necessário atualizar a configuração do ASE depois de implantar o núcleo do pacote, por exemplo, adicionar ou remover uma rede de dados anexada ou alterar um endereço IP. Para alterar a configuração do ASE, destrua o Local personalizado e os recursos do Serviço de Kubernetes do Azure, faça alterações na configuração do ASE e recrie esses recursos. Isso permite desconectar temporariamente o núcleo do pacote em vez de destruí-lo e recriá-lo, minimizando a reconfiguração necessária. Talvez você também precise fazer alterações equivalentes à configuração do núcleo do pacote.

Cuidado

O núcleo do pacote ficará indisponível durante este procedimento. Caso esteja fazendo alterações em uma instância de núcleo de pacote íntegra, é recomendável executar esse procedimento durante uma janela de manutenção para minimizar o impacto em seu serviço.

1. Navegue até a visão geral do grupo de recursos no portal do Azure (para o grupo de recursos que contém o núcleo do pacote). Selecione o recurso Plano de controle do Núcleo de Pacotes e selecione Modificar núcleo de pacotes. Defina o Local Personalizado do Azure Arc como Nenhum e selecione Modificar.
2. Navegue até o grupo de recursos que contém o recurso Local personalizado. Selecione a caixa de tique para o recurso Local personalizado e selecione Excluir. Confirme a exclusão.
3. Navegue até o recurso do Azure Stack Edge e remova toda a configuração do Serviço de Kubernetes do Azure.
4. Acesse a IU da Web local do ASE e atualize a configuração conforme necessário.
5. Crie novamente o cluster de Kubernetes. Consulte Iniciar o cluster e configurar o Arc.
6. Crie novamente o recurso de localização personalizado. Selecione o recurso Plano de controle de Núcleo de Pacotes e selecione Configurar um local personalizado.

O núcleo do pacotes agora deve estar em serviço com a configuração atualizada do ASE. Para atualizar a configuração do núcleo do pacotes, consulte Modificar uma instância de núcleo do pacotes.

Próximas etapas

Seu dispositivo do Azure Stack Edge agora está pronto para o Azure Private 5G Core. Para uma implantação de HA, você também precisará configurar seus roteadores. Caso contrário, a próxima etapa é coletar as informações necessárias para implantar sua rede privada.

• Configurar roteadores para uma implantação de HA (alta disponibilidade)
• Colete as informações necessárias para implantar uma rede móvel privada