Comissão do cluster AKS
As instâncias de núcleo de pacote no serviço Azure Private 5G Core são executadas em um cluster do Serviço Kubernetes do Azure (AKS) habilitado para Arc em um dispositivo Azure Stack Edge (ASE). Este guia de instruções mostra como comissionar o cluster AKS no ASE para que ele esteja pronto para implantar uma instância de núcleo de pacote.
Importante
Este procedimento só deve ser usado para o Azure Private 5G Core. O AKS no ASE não é suportado para outros serviços.
Pré-requisitos
- Conclua as tarefas de pré-requisito para implantar uma rede móvel privada.
- Você precisará da permissão de Proprietário no grupo de recursos para seu recurso do Azure Stack Edge.
Nota
Anote o grupo de recursos do Azure Stack Edge. O cluster AKS e o local personalizado, criados neste procedimento, devem pertencer a este grupo de recursos.
- Analise o dimensionamento da máquina virtual do Azure Stack Edge para garantir que seu ASE tenha espaço suficiente disponível para comissionar o cluster.
Configurar o Kubernetes para o Azure Private MEC no dispositivo Azure Stack Edge
Estas etapas modificam o cluster Kubernetes no dispositivo Azure Stack Edge para otimizá-lo para cargas de trabalho do Azure Private Multi-access Edge Compute (MEC).
- Na interface do usuário local, selecione Kubernetes no menu à esquerda.
- Em Escolha a opção que melhor descreve seu cenário, selecione uma solução Azure Private MEC em seu ambiente.
- No pop-up de confirmação da carga de trabalho, selecione Confirmo que estou executando o Azure Private MEC no meu ambiente e clique em Aplicar para fechar o pop-up.
- Clique em Aplicar para salvar as alterações.
Você deve ver uma opção atualizada na interface do usuário local – o Kubernetes se torna Kubernetes (Visualização), conforme mostrado na imagem a seguir.
Se você acessar o portal do Azure e navegar até seu recurso Azure Stack Edge , verá uma opção Serviço Kubernetes do Azure. Você configurará o Serviço Kubernetes do Azure em Iniciar o cluster e configurar o Arc.
Configurar rede avançada
Agora você precisa configurar comutadores virtuais e redes virtuais nesses switches. Você usará a seção Rede avançada da interface do usuário local do Azure Stack Edge para executar essa tarefa.
Você pode inserir todas as configurações nesta página antes de selecionar Aplicar na parte inferior para aplicá-las todas de uma vez.
Configure três comutadores virtuais. Deve haver um comutador virtual associado a cada porta antes da próxima etapa. Os comutadores virtuais podem já estar presentes se você tiver outras funções de rede virtual (VNFs) configuradas. Selecione Adicionar comutador virtual e preencha o painel lateral adequadamente para cada comutador antes de selecionar Modificar para salvar essa configuração.
- Crie um comutador virtual na porta que deve ter a computação habilitada (a porta de gerenciamento). Recomendamos usar o formato vswitch-portX, onde X é o número da porta. Por exemplo, crie vswitch-port2 na porta 2.
- Crie um comutador virtual na porta 3 com o nome vswitch-port3.
- Crie um comutador virtual na porta 4 com o nome vswitch-port4.
Agora você deve ver algo semelhante à seguinte imagem:
Configure três comutadores virtuais. Deve haver um comutador virtual associado a cada porta antes da próxima etapa. Os comutadores virtuais podem já estar presentes se você tiver outras funções de rede virtual (VNFs) configuradas. Selecione Adicionar comutador virtual e preencha o painel lateral adequadamente para cada comutador antes de selecionar Modificar para salvar essa configuração.
- Crie um comutador virtual na porta que deve ter a computação habilitada (a porta de gerenciamento). Recomendamos usar o formato vswitch-portX, onde X é o número da porta. Por exemplo, crie vswitch-port3 na porta 3.
- Crie um comutador virtual na porta 5 com o nome vswitch-port5.
- Crie um comutador virtual na porta 6 com o nome vswitch-port6.
Agora você deve ver algo semelhante à seguinte imagem:
Crie redes virtuais que representem as seguintes interfaces (para as quais você alocou sub-redes e endereços IP em Alocar sub-redes e endereços IP):
- Interface de acesso ao plano de controlo
- Interface de acesso ao plano de utilizador
- Interfaces de dados do plano do usuário
Você mesmo pode nomear essas redes, mas o nome deve corresponder ao que você configura no portal do Azure ao implantar o Azure Private 5G Core. Se você estiver usando o entroncamento de VLAN (necessário para implantações de HA), terá uma única rede virtual N6 sem informações de IP. As informações de VLAN e IP são feitas ao configurar a rede móvel. Com esta configuração, você pode usar os nomes N2, N3 e N6.
No modo VLAN de acesso ou não-VLAN, há uma rede virtual N6 para cada rede de dados conectada. Você pode usar os nomes N2, N3 e até 10 N6-DNX (onde X é o número 1-10 da rede de dados (DN) em uma implantação de DN múltipla; ou apenas N6 para uma única implantação de DN). Opcionalmente, você pode configurar cada rede virtual com um identificador de rede local virtual (ID de VLAN) para habilitar a separação de tráfego de camada 2. O exemplo a seguir é para uma implantação 5G multi-DN sem VLANs.
- Se você estiver usando o entroncamento de VLAN (necessário para implantações de HA), execute o seguinte procedimento três vezes:
- Selecione Adicionar rede virtual e preencha o painel lateral:
- Comutador virtual: selecione vswitch-port3 para N2 e N3. Selecione vswitch-port4 para N6.
- Nome: N2, N3 ou N6.
- Tipo de VLAN: VLAN de tronco
- Intervalo de ID de VLAN permitido: preencha o conjunto de IDs de VLAN que você deseja configurar.
- Selecione Modificar para salvar a configuração desta rede virtual.
- Selecione Aplicar na parte inferior da página e aguarde a notificação (um ícone de sino) para confirmar que as configurações foram aplicadas. A aplicação das configurações leva aproximadamente 8 minutos.
- Selecione Adicionar rede virtual e preencha o painel lateral:
- Se você estiver usando o modo VLAN de acesso ou não-VLAN, execute o procedimento a seguir três vezes, mais uma vez para cada uma das redes de dados suplementares (12 vezes no total, se você tiver o máximo de 10 redes de dados):
Importante
Se você estiver usando a porta 3 para redes de dados, recomendamos que ela seja usada para a menor carga esperada.
- Selecione Adicionar rede virtual e preencha o painel lateral:
- Comutador virtual: selecione vswitch-port3 para N2, N3 e até quatro DNs, e selecione vswitch-port4 para até seis DNs.
- Nome: N2, N3 ou N6-DNX (onde X é o número DN 1-10).
- VLAN: ID de VLAN ou 0 se não estiver usando VLANs
- Rede e gateway: use a sub-rede e o gateway corretos para o endereço IP configurado na porta ASE (mesmo que o gateway não esteja definido na própria porta ASE).
- Por exemplo, 10.232.44.0/24 e 10.232.44.1
- Se a sub-rede não tiver um gateway padrão, use outro endereço IP na sub-rede que responderá às solicitações ARP (Address Resolution Protocol) (como um dos endereços IP da RAN). Se houver mais de um gNB conectado através de um switch, escolha um dos endereços IP para o gateway.
- O servidor DNS e o sufixo DNS devem ser deixados em branco.
- Selecione Modificar para salvar a configuração desta rede virtual.
- Selecione Aplicar na parte inferior da página e aguarde a notificação (um ícone de sino) para confirmar que as configurações foram aplicadas. A aplicação das configurações leva aproximadamente 8 minutos. A página agora deve se parecer com a seguinte imagem:
- Selecione Adicionar rede virtual e preencha o painel lateral:
- Se você estiver usando o entroncamento de VLAN (necessário para implantações de HA), execute o seguinte procedimento três vezes:
- Selecione Adicionar rede virtual e preencha o painel lateral:
- Comutador virtual: selecione vswitch-port5 para N2 e N3. Selecione vswitch-port6 para N6.
- Nome: N2, N3 ou N6.
- Tipo de VLAN: VLAN de tronco
- Intervalo de ID de VLAN permitido: preencha o conjunto de IDs de VLAN que você deseja configurar.
- Selecione Modificar para salvar a configuração desta rede virtual.
- Selecione Aplicar na parte inferior da página e aguarde a notificação (um ícone de sino) para confirmar que as configurações foram aplicadas. A aplicação das configurações leva aproximadamente 8 minutos.
- Selecione Adicionar rede virtual e preencha o painel lateral:
- Se você estiver usando o modo VLAN de acesso ou não-VLAN, execute o seguinte procedimento três vezes, mais uma vez para cada uma das redes de dados suplementares (doze vezes no total, se você tiver o máximo de dez redes de dados):
Importante
Se você estiver usando a porta 5 para redes de dados, recomendamos que ela seja usada para a menor carga esperada.
- Selecione Adicionar rede virtual e preencha o painel lateral:
- Comutador virtual: selecione vswitch-port5 para N2, N3 e até quatro DNs, e selecione vswitch-port6 para até seis DNs.
- Nome: N2, N3 ou N6-DNX (onde X é o número DN 1-10).
- Tipo de VLAN: selecione conforme apropriado.
- VLAN: ID de VLAN ou 0 se não estiver usando VLANs
- Rede e gateway: use a sub-rede e o gateway corretos para o endereço IP configurado na porta ASE (mesmo que o gateway não esteja definido na própria porta ASE).
- Por exemplo, 10.232.44.0/24 e 10.232.44.1
- Se a sub-rede não tiver um gateway padrão, use outro endereço IP na sub-rede que responderá às solicitações ARP (Address Resolution Protocol) (como um dos endereços IP da RAN). Se houver mais de um gNB conectado através de um switch, escolha um dos endereços IP para o gateway.
- O servidor DNS e o sufixo DNS devem ser deixados em branco.
- Selecione Modificar para salvar a configuração desta rede virtual.
- Selecione Aplicar na parte inferior da página e aguarde a notificação (um ícone de sino) para confirmar que as configurações foram aplicadas. A aplicação das configurações leva aproximadamente 8 minutos.
- Selecione Adicionar rede virtual e preencha o painel lateral:
A página agora deve se parecer com a seguinte imagem:
Adicionar endereços IP e de computação
Na interface do usuário local do Azure Stack Edge, vá para a página Kubernetes (Visualização). Você configurará toda a configuração e, em seguida, aplicá-la-á uma vez, como fez em Configurar rede avançada.
- Em Comutador virtual de computação, selecione Modificar.
- Selecione o vswitch com intenção de computação (por exemplo, vswitch-port2)
- Insira seis endereços IP em um intervalo para os endereços IP do nó na rede de gerenciamento.
- Insira um endereço IP em um intervalo para o endereço IP do serviço, também na rede de gerenciamento. Isso é usado para acessar ferramentas de monitoramento local para a instância principal do pacote.
- Selecione Modificar na parte inferior do painel para salvar a configuração.
Importante
Se você estiver usando o entroncamento de VLAN (necessário para implantações de HA), nenhuma configuração de IP será feita para as redes virtuais neste momento. A configuração de IP é feita ao configurar a rede móvel.
- Em Rede virtual, selecione uma rede virtual. No modo de entroncamento VLAN, será N2, N3 e N6. Caso contrário, escolha entre N2, N3, N6-DNX (onde X é o número DN 1-10). No painel lateral:
- Habilite a rede virtual para Kubernetes e adicione um pool de endereços IP. Se NÃO estiver no modo de entroncamento VLAN, adicione também um pool de endereços IP:
- Para uma implantação padrão, adicione um intervalo de um endereço IP para o endereço apropriado (N2, N3 ou N6-DNX, conforme coletado anteriormente). Por exemplo, 10.10.10.20-10.10.10.20.
- Para uma implantação de HA, adicione um intervalo de dois endereços IP para cada rede virtual, onde os endereços IP do pod N2 e N3 estão na sub-rede de acesso local e os endereços IP do pod N6 estão na sub-rede de dados local apropriada.
- Repita para cada uma das redes virtuais N2, N3 e N6-DNX.
- Selecione Modificar na parte inferior do painel para salvar a configuração.
- Selecione Aplicar na parte inferior da página e aguarde até que as configurações sejam aplicadas. A aplicação das configurações levará aproximadamente 5 minutos.
A página agora deve se parecer com a seguinte imagem (no modo de entroncamento VLAN):
Habilitar o gerenciamento de máquinas virtuais no ASE
- Acesse o portal do Azure e vá para o recurso Azure Stack Edge criado no portal do Azure.
- Selecione Serviços de Borda.
- Selecione Máquinas virtuais.
- Selecione Ativar.
Inicie o cluster e configure o Arc
Se você estiver executando outras máquinas virtuais (VMs) em seu Azure Stack Edge, recomendamos pará-las agora e iniciá-las novamente assim que o cluster for implantado. O cluster requer acesso a recursos específicos da CPU que as VMs em execução podem já estar usando.
Acesse o portal do Azure e vá para o recurso Azure Stack Edge criado no portal do Azure.
Para implantar o cluster, selecione a opção Kubernetes e, em seguida, selecione o botão Adicionar para configurar o cluster.
Para o Tamanho do nó, selecione Standard_F16s_HPN.
Verifique se a caixa de seleção Kubernetes ativado para Arc está marcada.
Selecione o link Alterar e insira a ID de objeto do aplicativo Microsoft Entra (OID) para o local personalizado, que você obteve de Recuperar a ID do objeto (OID).
O serviço Kubernetes habilitado para Arc é criado automaticamente no mesmo grupo de recursos que o recurso do Azure Stack Edge . Se o seu grupo de recursos do Azure Stack Edge não estiver em uma região que ofereça suporte ao Azure Private 5G Core, você deverá alterar a região.
Clique em Configurar para aplicar a configuração.
Verifique se os campos Região e ID do objeto do aplicativo Microsoft Entra (OID) mostram os valores apropriados e clique em Criar.
Trabalhe com os prompts para configurar o serviço.
A criação do cluster Kubernetes leva cerca de 20 minutos. Durante a criação, pode haver um alarme crítico exibido no recurso Azure Stack Edge . Este alarme é esperado e deve desaparecer após alguns minutos.
Uma vez implantado, o portal deve mostrar que o serviço Kubernetes está em execução na página de visão geral.
Configurar o acesso kubectl
Você precisará de acesso kubectl para verificar se o cluster foi implantado com êxito. Para acesso kubectl somente leitura ao cluster, você pode baixar um arquivo kubeconfig da interface do usuário local do ASE. Em Dispositivo, selecione Baixar configuração.
O ficheiro descarregado chama-se config.json. Este arquivo tem permissão para descrever pods e visualizar logs, mas não para acessar pods com kubectl exec.
Configurar o acesso ao portal
Abra seu recurso Azure Stack Edge no portal do Azure. Vá para o painel Serviço Kubernetes do Azure (mostrado em Iniciar o cluster e configurar o Arc) e selecione o link Gerenciar para abrir o painel Arc .
Explore o cluster usando as opções no menu de recursos do Kubernetes (visualização):
Inicialmente, ser-lhe-á apresentada uma caixa de pedido de início de sessão. O token a ser usado para entrar é obtido do arquivo kubeconfig recuperado da interface do usuário local em Configurar o acesso kubectl. Há uma string prefixada por token: perto do final do arquivo kubeconfig . Copie essa cadeia de caracteres para a caixa no portal (garantindo que você não tenha caracteres de quebra de linha copiados) e selecione Entrar.
Agora você pode exibir informações sobre o que está sendo executado no cluster – a seguir está um exemplo do painel Cargas de trabalho:
Verificar a configuração do cluster
Você deve verificar se o cluster AKS está configurado corretamente executando os seguintes comandos kubectl usando o kubeconfig baixado da interface do usuário em Configurar acesso kubectl:
kubectl get nodes
Esse comando deve retornar dois nós, um chamado nodepool-aaa-bbb e um chamado target-cluster-control-plane-ccc.
Para visualizar todos os pods em execução, execute:
kubectl get pods -A
Além disso, seu cluster AKS agora deve estar visível a partir do recurso Azure Stack Edge no portal.
Coletar variáveis para as extensões do Kubernetes
Colete cada um dos valores na tabela a seguir.
Value | Nome da variável |
---|---|
A ID da assinatura do Azure na qual os recursos do Azure são implantados. | SUBSCRIPTION_ID |
O nome do grupo de recursos no qual o cluster AKS está implantado. Isso pode ser encontrado usando o botão Gerenciar no painel Serviço Kubernetes do Azure do portal do Azure. | RESOURCE_GROUP_NAME |
O nome do recurso de cluster AKS. Isso pode ser encontrado usando o botão Gerenciar no painel Serviço Kubernetes do Azure do portal do Azure. | RESOURCE_NAME |
A região na qual os recursos do Azure são implantados. Isso deve corresponder à região na qual a rede móvel será implantada, que deve ser uma das regiões suportadas pelo AP5GC. Esse valor deve ser o nome de código da região. |
LOCALIZAÇÃO |
O nome do recurso de local personalizado a ser criado para o cluster AKS. Esse valor deve começar e terminar com caracteres alfanuméricos e deve conter apenas caracteres - alfanuméricos ou . . |
CUSTOM_LOCATION |
Instalar extensões do Kubernetes
A rede móvel privada 5G Core do Azure requer um local personalizado e extensões Kubernetes específicas que você precisa configurar usando a CLI do Azure no Azure Cloud Shell.
Entre na CLI do Azure usando o Azure Cloud Shell e selecione Bash no menu suspenso.
Defina as seguintes variáveis de ambiente usando os valores necessários para sua implantação:
SUBSCRIPTION_ID=<subscription ID> RESOURCE_GROUP_NAME=<resource group name> LOCATION=<deployment region, for example eastus> CUSTOM_LOCATION=<custom location for the AKS cluster> ARC_CLUSTER_RESOURCE_NAME=<resource name> TEMP_FILE=./tmpfile
Prepare seu ambiente de shell:
az account set --subscription "$SUBSCRIPTION_ID" az extension add --upgrade --name k8s-extension az extension add --upgrade --name customlocation
Crie a extensão Kubernetes do operador de função de rede:
cat > $TEMP_FILE <<EOF { "helm.versions": "v3", "Microsoft.CustomLocation.ServiceAccount": "azurehybridnetwork-networkfunction-operator", "meta.helm.sh/release-name": "networkfunction-operator", "meta.helm.sh/release-namespace": "azurehybridnetwork", "app.kubernetes.io/managed-by": "helm", "helm.release-name": "networkfunction-operator", "helm.release-namespace": "azurehybridnetwork", "managed-by": "helm" } EOF
az k8s-extension create \ --name networkfunction-operator \ --cluster-name "$ARC_CLUSTER_RESOURCE_NAME" \ --resource-group "$RESOURCE_GROUP_NAME" \ --cluster-type connectedClusters \ --extension-type "Microsoft.Azure.HybridNetwork" \ --auto-upgrade-minor-version "true" \ --scope cluster \ --release-namespace azurehybridnetwork \ --release-train preview \ --config-settings-file $TEMP_FILE
Crie a extensão Kubernetes do Packet Core Monitor:
az k8s-extension create \ --name packet-core-monitor \ --cluster-name "$ARC_CLUSTER_RESOURCE_NAME" \ --resource-group "$RESOURCE_GROUP_NAME" \ --cluster-type connectedClusters \ --extension-type "Microsoft.Azure.MobileNetwork.PacketCoreMonitor" \ --release-train stable \ --auto-upgrade true
Crie o local personalizado:
az customlocation create \ -n "$CUSTOM_LOCATION" \ -g "$RESOURCE_GROUP_NAME" \ --location "$LOCATION" \ --namespace azurehybridnetwork \ --host-resource-id "/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP_NAME/providers/Microsoft.Kubernetes/connectedClusters/$ARC_CLUSTER_RESOURCE_NAME" \ --cluster-extension-ids "/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$RESOURCE_GROUP_NAME/providers/Microsoft.Kubernetes/connectedClusters/$ARC_CLUSTER_RESOURCE_NAME/providers/Microsoft.KubernetesConfiguration/extensions/networkfunction-operator"
Você deve ver o novo local personalizado visível como um recurso no portal do Azure dentro do grupo de recursos especificado. Usando o kubectl get pods -A
comando (com acesso ao seu arquivo kubeconfig ) também deve mostrar novos pods correspondentes às extensões que foram instaladas. Deve haver um pod no namespace azurehybridnetwork e um no namespace packet-core-monitor .
Reversão
Se você tiver cometido um erro na configuração do Azure Stack Edge, poderá usar o portal para remover o cluster AKS (consulte Implantar o serviço Kubernetes do Azure no Azure Stack Edge). Em seguida, você pode modificar as configurações por meio da interface do usuário local.
Como alternativa, você pode executar uma redefinição completa usando a folha Redefinição de Dispositivo na interface do usuário local (consulte Redefinição e reativação do dispositivo Azure Stack Edge) e reiniciar este procedimento. Nesse caso, você também deve excluir todos os recursos associados deixados no portal do Azure depois de concluir a redefinição do Azure Stack Edge. Isso incluirá alguns ou todos os itens a seguir, dependendo de quão longe você está no processo:
- Recurso Azure Stack Edge
- KeyVault gerado automaticamente associado ao recurso Azure Stack Edge
- Conta de armazenamento gerada automaticamente associada ao recurso Azure Stack Edge
- Cluster do Kubernetes do Azure (se criado com êxito)
- Local personalizado (se criado com êxito)
Alterando a configuração do ASE após a implantação
Pode ser necessário atualizar a configuração do ASE após a implantação do núcleo do pacote, por exemplo, para adicionar ou remover uma rede de dados conectada ou para alterar um endereço IP. Para alterar a configuração do ASE, destrua o local personalizado e os recursos do Serviço Kubernetes do Azure, faça as alterações de configuração do ASE e recrie esses recursos. Isso permite que você desconecte temporariamente o núcleo do pacote em vez de destruí-lo e recriá-lo, minimizando a reconfiguração necessária. Também pode ser necessário fazer alterações equivalentes na configuração do núcleo do pacote.
Atenção
O núcleo do pacote não estará disponível durante este procedimento. Se você estiver fazendo alterações em uma instância de núcleo de pacote íntegro, recomendamos executar este procedimento durante uma janela de manutenção para minimizar o impacto no serviço.
- Navegue até a visão geral do grupo de recursos no portal do Azure (para o grupo de recursos que contém o núcleo do pacote). Selecione o recurso Plano de Controle Principal de Pacote e selecione Modificar núcleo de pacote. Defina Azure Arc Custom Location como Nenhum e selecione Modificar.
- Navegue até o grupo de recursos que contém o recurso Local personalizado . Marque a caixa de seleção do recurso Local personalizado e selecione Excluir. Confirme a eliminação.
- Navegue até o recurso Azure Stack Edge e remova toda a configuração do Serviço Kubernetes do Azure.
- Acesse a interface do usuário local do ASE e atualize a configuração conforme necessário.
- Recrie o cluster do Kubernetes. Consulte Iniciar o cluster e configurar o Arc.
- Recrie o recurso de local personalizado. Selecione o recurso Plano de Controle Principal de Pacote e selecione Configurar um local personalizado.
O núcleo do pacote agora deve estar em serviço com a configuração ASE atualizada. Para atualizar a configuração do núcleo do pacote, consulte Modificar uma instância do núcleo do pacote.
Próximos passos
Seu dispositivo Azure Stack Edge agora está pronto para o Azure Private 5G Core. Para uma implantação de HA, você também precisará configurar seus roteadores. Caso contrário, a próxima etapa é coletar as informações necessárias para implantar sua rede privada.