Resourcelimieten, VM-grootten en regio's voor AKS ingeschakeld door Azure Arc

Artikel
02/20/2025

Van toepassing op: AKS in Azure Local 22H2, AKS op Windows Server

Dit artikel bevat informatie over geteste configuraties, resourcelimieten, VM-grootten en regio's voor Azure Kubernetes Service (AKS) die zijn ingeschakeld door Azure Arc. De tests hebben de nieuwste versie van AKS op Azure Local gebruikt.

Maximumspecificaties

AKS ingeschakeld door Arc-implementaties zijn gevalideerd met de volgende configuraties, inclusief de opgegeven maximumlimieten. Houd er rekening mee dat het overschrijden van deze maximumlimieten op uw eigen risico ligt en kan leiden tot onverwacht gedrag en fouten. Dit artikel bevat enkele richtlijnen voor het voorkomen van veelvoorkomende configuratiefouten en kan u helpen bij het maken van een grotere configuratie. Als u twijfelt, neemt u contact op met uw lokale Microsoft-kantoor voor hulp of dient u een vraag in de lokale Azure-community in.

Bron	Maximum
Fysieke servers per cluster	8
Totaal aantal VM's	200

De aanbevolen limieten zijn getest met de standaardgrootten voor virtuele machines (VM's), op basis van de volgende tabel:

Systeemrol	VM-grootte
AKS-Host	Standard_A4_v2
Knooppunt doelclusterbesturingsvlak	Standaard
Doelcluster-HAProxy load balancer (optioneel)	Standard_A4_v2
Linux-werkknooppunt doelcluster	Standard_K8S3_v1
Windows-werkknooppunt doelcluster	Standard_K8S3_v1

De hardwareconfiguratie van elk fysiek knooppunt in het lokale Azure-cluster is als volgt:

Chassis: Dell PowerEdge R650 Server of vergelijkbaar.
RAM: DHMM, 3200 MT/s, Dual Rank, totaal van 256 GB.
CPU: Twee (2) Intel Xeon Silver 4316 2.3G, 20C/40T, 10.4 GT/s, 30M Cache, Turbo, HT (150 W) DDR4-2666.
Schijf: 8x HDD's (2 TB of groter) en 2 x 1,6 TB NVMe ter ondersteuning van S2D-opslagconfiguraties.
Netwerk: Vier (4) 100 Gbit NIC's (Mellanox of Intel).

Microsoft-engineering heeft AKS getest die is ingeschakeld door Arc met behulp van de bovenstaande configuratie. Voor één knooppunt. 2 knooppunten, 4 knooppunten en 8 knooppunt Windows-failoverclusters. Als u een vereiste hebt om de geteste configuratie te overschrijden, raadpleegt u AKS schalen in Azure Local.

Belangrijk

Wanneer u een upgrade uitvoert van een implementatie van AKS, worden er tijdelijk extra resources verbruikt. Elke virtuele machine wordt bijgewerkt in een rolling updatestroom, te beginnen met de besturingsvlakknooppunten. Voor elk knooppunt in het Kubernetes-cluster wordt een nieuwe knooppunt-VM gemaakt. De oude knooppunt-VM is beperkt om te voorkomen dat workloads erop worden geïmplementeerd. De beperkte VM wordt vervolgens van alle containers verwijderd om de containers te distribueren naar andere VM's in het systeem. De leeggehaalde VM wordt vervolgens verwijderd uit het cluster, afgesloten en vervangen door de nieuwe, bijgewerkte VM. Dit proces wordt herhaald totdat alle VM's worden bijgewerkt.

Beschikbare VM-grootten

De volgende VM-grootten voor besturingsvlakknooppunten, Linux-werkknooppunten en Windows-werkknooppunten zijn beschikbaar voor AKS in Azure Local. Hoewel VM-grootten zoals Standard_K8S2_v1 en Standard_K8S_v1 worden ondersteund voor testen en implementaties met lage resourcevereisten, kunt u deze grootten zorgvuldig gebruiken en strenge tests toepassen, omdat deze kunnen leiden tot onverwachte fouten vanwege onvoldoende geheugen.

VM-grootte	CPU	Geheugen (GB)	GPU-type	AANTAL GPU's
Standaardinstelling	4	4
Standard_A2_v2	2	4
Standard_A4_v2	4	8
Standard_D2s_v3	2	8
Standard_D4s_v3	4	16
Standard_D8s_v3	8	32
Standard_D16s_v3	16	64
Standard_D32s_v3	32	128
Standard_DS2_v2	2	7
Standard_DS3_v2	2	14
Standard_DS4_v2	8	28
Standard_DS5_v2	16	56
Standard_DS13_v2	8	56
Standard_K8S_v1	4	2
Standard_K8S2_v1	2	2
Standard_K8S3_v1	4	6
Standard_NK6	6	12	Tesla T4	1
Standard_NK12	12	24	Tesla T4	2

Ondersteunde Azure-regio's voor Azure-registratie

AKS ingeschakeld door Arc wordt ondersteund in de volgende Azure-regio's:

Australië - oost
VS - oost
Azië - zuidoost
Europa -west

AKS schalen in Azure Local

Het schalen van een AKS-implementatie in Azure Local omvat het plannen van uw workloads en het doelclustergebruik. Overweeg bovendien hardwareresources in uw onderliggende infrastructuur, zoals totale CPU-kernen, totaal geheugen, opslag, IP-adressen enzovoort.

In de volgende voorbeelden wordt ervan uitgegaan dat alleen op AKS gebaseerde workloads worden geïmplementeerd op de onderliggende infrastructuur. Het implementeren van niet-AKS-workloads, zoals zelfstandige of geclusterde virtuele machines of databaseservers, vermindert de resources die beschikbaar zijn voor AKS, waarmee u rekening moet houden.

Voordat u begint, moet u rekening houden met de volgende punten om de maximale schaal en het aantal doelclusters te bepalen dat u moet ondersteunen:

Het aantal IP-adressen dat u beschikbaar hebt voor pods in een doelcluster.
Het aantal IP-adressen dat beschikbaar is voor Kubernetes-services in een doelcluster.
Het aantal pods dat u nodig hebt om uw workloads uit te voeren.

Als u de grootte van uw Azure Kubernetes Service Host-VM wilt bepalen, moet u het aantal werkknooppunten en doelclusters weten, omdat hiermee de grootte van de AKS-host-VM wordt bepaald. Voorbeeld:

Het aantal doelclusters in het uiteindelijke geïmplementeerde systeem.
Het aantal knooppunten, waaronder besturingsvlak, load balancer en werkknooppunten in alle doelclusters.

Notitie

Eén AKS-host kan alleen doelclusters op hetzelfde platform beheren.

Als u ook de grootte van het doelknooppunt van het clusterbesturingsvlak wilt bepalen, moet u weten hoeveel pods, containers en werkknooppunten u in elk doelcluster wilt implementeren.

Standaardinstellingen die momenteel niet kunnen worden gewijzigd in AKS

Er zijn momenteel geen standaardconfiguraties en -instellingen beschikbaar voor klantbeheer tijdens of na de implementatie. Deze instellingen kunnen de schaal voor een bepaald doelcluster beperken.

Het aantal IP-adressen voor Kubernetes-pods in een doelcluster is beperkt tot het subnet 10.244.0.0/16. Dat wil gezegd: 255 IP-adressen per werkknooppunt in alle Kubernetes-naamruimten kunnen worden gebruikt voor pods. Gebruik de volgende opdracht in PowerShell om de POD CIDR weer te geven die aan elk werkknooppunt in uw cluster is toegewezen:

kubectl get nodes -o json | findstr 'hostname podCIDR'

                    "kubernetes.io/hostname": "moc-lip6cotjt0f",
                                "f:podCIDR": {},
                                "f:podCIDRs": {
                                    "f:kubernetes.io/hostname": {},
                "podCIDR": "10.244.2.0/24",
                "podCIDRs": [
                    "kubernetes.io/hostname": "moc-lmb6zqozk4m",
                                "f:podCIDR": {},
                                "f:podCIDRs": {
                                    "f:kubernetes.io/hostname": {},
                "podCIDR": "10.244.4.0/24",
                "podCIDRs": [
                    "kubernetes.io/hostname": "moc-wgwhhijxtfv",
                                "f:podCIDR": {},
                                "f:podCIDRs": {
                                    "f:kubernetes.io/hostname": {},
                "podCIDR": "10.244.5.0/24",
                "podCIDRs": [

In het voorbeeld ziet u drie knooppunten met drie CIDR's, elk geschikt voor het hosten van 254 pods. In de documentatie voor Kubernetes-schaal wordt aanbevolen dat u om prestatieredenen niet meer dan 110 pods per knooppunt overschrijdt. Zie Overwegingen voor grote clusters.

Andere overwegingen:

Het aantal IP-adressen voor Kubernetes-services, buiten de VIP-pool die u hebt toegewezen, is afkomstig van de 10.96.0.0/16 adresgroep. Het systeem verbruikt een van de 255 beschikbare adressen voor de Kubernetes-API-server.
De grootte van de AKS-host-VM kan alleen worden ingesteld bij de installatie wanneer u Set-AksHciConfig voor het eerst uitvoert. U kunt deze later niet meer wijzigen.
U kunt alleen de grootte van het doelclusterbesturingsvlak en de load balancer-VM's instellen op het moment dat het doelcluster wordt gemaakt.

Voorbeeld van schaal aanpassen

Het volgende schaalvoorbeeld is gebaseerd op deze algemene veronderstellingen/use cases:

U wilt het verlies van één fysiek knooppunt in het lokale Azure-cluster volledig kunnen verdragen.
U wilt het upgraden van doelclusters naar nieuwere versies ondersteunen.
U wilt hoge beschikbaarheid van de knooppunten van het doelclusterbesturingsvlak en load balancer-knooppunten toestaan.
U wilt een deel van de totale lokale Azure-capaciteit reserveren voor deze gevallen.

Suggesties

Voor optimale prestaties moet u ten minste 15 procent (100/8=12,5) van de clustercapaciteit instellen, behalve dat alle resources van het ene fysieke knooppunt opnieuw worden gedistribueerd naar de andere zeven (7) knooppunten. Deze configuratie zorgt ervoor dat u enige reserve hebt die beschikbaar is voor het uitvoeren van een upgrade of andere AKS-dag twee bewerkingen.
Als u meer wilt dan de limiet van 200 VM's voor een maximaal acht (8) azure-knooppuntknooppunt, vergroot u de grootte van de AKS-host-VM. Verdubbelen in grootte resulteert in ongeveer een verdubbeling van het aantal VM's dat kan worden beheerd. In een lokaal Azure-cluster met 8 knooppunten kunt u naar 8.192 (8x1024) VM's gaan op basis van de door Azure aanbevolen resourcelimieten die worden beschreven in de maximaal ondersteunde hardwarespecificaties. U moet ongeveer 30% van de capaciteit reserveren, waardoor u over een theoretische limiet van 5.734 VM's beschikt over alle knooppunten.
- Standard_D32s_v3 kan voor de AKS-host met 32 kernen en 128 GB maximaal 1600 knooppunten ondersteunen.
Notitie

Omdat deze configuratie niet uitgebreid is getest, is een zorgvuldige benadering en validatie vereist.
Op een dergelijke schaal kunt u de omgeving splitsen in ten minste 8 doelclusters met elk 200 werkknooppunten.
Als u 200 werkknooppunten in één doelcluster wilt uitvoeren, kunt u de standaardgrootte van het besturingsvlak en de load balancer gebruiken. Afhankelijk van het aantal pods per knooppunt kunt u ten minste één grootte op het besturingsvlak omhoog gaan en Standard_D8s_v3 gebruiken.
Afhankelijk van het aantal Kubernetes-services dat in elk doelcluster wordt gehost, moet u mogelijk de grootte van de load balancer-VM vergroten en ervoor zorgen dat services kunnen worden bereikt met hoge prestaties en dat verkeer dienovereenkomstig wordt gerouteerd.

De implementatie van AKS die door Arc is ingeschakeld, distribueert de werkknooppunten voor elke knooppuntgroep in een doelcluster in de beschikbare Lokale Azure-knooppunten met behulp van de logica voor lokale plaatsing van Azure.

Belangrijk

De plaatsing van het knooppunt blijft niet behouden tijdens platform- en AKS-upgrades en wordt na verloop van tijd gewijzigd. Een mislukt fysiek knooppunt heeft ook invloed op de distributie van virtuele machines op de resterende clusterknooppunten.

Notitie

Voer niet meer dan vier doelclusters tegelijk uit als het fysieke cluster al 50% vol is, omdat dit kan leiden tot tijdelijke resourceconflicten. Bij het omhoog schalen van doelclusterknooppuntgroepen met grote aantallen, moet u rekening houden met beschikbare fysieke resources, omdat AKS de beschikbaarheid van resources voor parallelle aanmaak-/schaalprocessen niet controleert. Zorg er altijd voor dat er voldoende reserve is om upgrades en failover toe te staan. Vooral in zeer grote omgevingen kunnen deze bewerkingen, wanneer ze parallel worden uitgevoerd, leiden tot een snelle uitputting van resources.

Als u twijfelt, neemt u contact op met uw lokale Microsoft-kantoor voor hulp of post u op het lokale Azure-communityforum.

Volgende stappen

Opslagopties

Delen via