Migrace clusteru pro podporu více zón dostupnosti (Preview)

Řada oblastí Azure nabízí zóny dostupnosti tvořené oddělenými skupiny datových center v rámci oblasti. Zóny dostupnosti jsou dostatečně blízko, aby měly připojení s nízkou latencí k jiným zónám dostupnosti. Jsou propojeny vysoce výkonnou sítí s latencí odezvy menší než 2 ms. Zóny dostupnosti jsou zároveň dostatečně vzdálené, aby se snížila pravděpodobnost, že místní výpadky nebo počasí ovlivní více z nich. Zóny dostupnosti mají nezávislou infrastrukturu napájení, chlazení a sítě. Jsou navrženy tak, aby v případě výpadku jedné zóny byly regionální služby, kapacita a vysoká dostupnost zajištěny zbývajícími zónami. Další informace najdete v tématu Azure Zóny dostupnosti.

Clustery Azure Data Exploreru je možné nakonfigurovat tak, aby používaly zóny dostupnosti v podporovaných oblastech. Díky použití zón dostupnosti může cluster lépe odolat selhání jednoho datacentra v oblasti, aby podporoval scénáře provozní kontinuity .

Zóny dostupnosti můžete nakonfigurovat při vytváření clusteru na webu Azure Portal nebo programově pomocí jedné z následujících metod:

• REST API
• C# SDK
• Python SDK
• PowerShell
• Šablona ARM

Důležité

• Jakmile je cluster nakonfigurovaný se zónami dostupnosti, nemůžete cluster změnit tak, aby nepoužít zóny dostupnosti.
• Ve všech oblastech není podporováno více zón. Clustery v těchto oblastech proto není možné nastavit tak, aby používaly zóny dostupnosti.
• Při používání zón dostupnosti se účtují další náklady.

Poznámka:

• Než budete pokračovat, ujistěte se, že znáte proces migrace a důležité informace.
• Pomocí těchto kroků můžete také změnit zóny existujícího clusteru, který používá zóny dostupnosti.

V tomto článku se dozvíte o těchto článcích:

• Jak nakonfigurovat cluster tak, aby podporoval zóny dostupnosti
• Architektura clusterů se zónami dostupnosti
• Proces migrace a důležité informace

Požadavky

• Ujistěte se, že je váš cluster v oblasti, ve které je podporovaná migrace do více zón dostupnosti.

• K migraci clusteru pro podporu zón dostupnosti potřebujete cluster, který byl nasazen bez zón dostupnosti.

• Ke změně zón clusteru potřebujete cluster, který je nakonfigurovaný se zónami dostupnosti.

• V případě rozhraní REST API se seznamte se správou prostředků Azure pomocí rozhraní REST API.

• Další programové metody naleznete v tématu Požadavky.

Získání seznamu zón dostupnosti pro oblast clusteru

Seznam zón dostupnosti pro cluster můžete získat následujícími způsoby:

Azure Portal

1. Na webu Azure Portal přejděte na stránku Přehled vašeho clusteru.

2. V části Nastavení vyberte Vertikálně navýšit kapacitu.

3. Na řádku clusteru jsou zóny dostupnosti uvedené ve sloupci Zóny dostupnosti.

   

PowerShell

Než začnete, ujistěte se, že máte az. Rutiny Kusto nainstalované a přihlášené a pak spuštěním následujícího příkazu získejte seznam zón dostupnosti pro oblast clusteru:

1. Nastavte ID prostředku vašeho clusteru. ID prostředku clusteru můžete získat z webu Azure Portal ze stránky Vlastnosti vašeho clusteru.

   $resource_id = "<ClusterResourceID>"
   

2. Získejte podrobnosti o clusteru.

   $mycluster = Get-AzKustoCluster -InputObject $resource_id
   

3. Získejte umístění clusteru.

   Důležité

   Get-AzLocationAz.Resources vyžaduje modul. Pokud ho nemáte nainstalovaný, spusťte Install-Module Az.Resourcespříkaz .

   $location = (Get-AzLocation | where DisplayName -EQ $mycluster.Location).location
   

4. Získejte ID clusteru.

   $mycluster.Id  -match "/subscriptions/(.*?)/" | Out-Null; $subscription = $Matches[1]
   

5. Získejte seznam zón dostupnosti pro oblast clusteru.

   $bearer = (Get-AzAccessToken).Token
   $rest_result = (Invoke-RestMethod -Uri https://management.azure.com/subscriptions/$subscription/providers/Microsoft.Kusto/locations/${location}/skus?api-version=2022-11-11 -Headers @{Authorization="Bearer $bearer"})
   $zones = $rest_result | select -ExpandProperty Value | where name -eq $mycluster.SkuName | select -ExpandProperty locationInfo | select zones
   $zones
   

Konfigurace clusteru pro podporu zón dostupnosti

Pokud chcete přidat zóny dostupnosti do existujícího clusteru, musíte aktualizovat atribut clusteru zones seznamem cílových zón dostupnosti. Postupujte podle pokynů pro preferovanou metodu pomocí informací v následující tabulce:

Parametr	Hodnota
subscriptionId	ID předplatného clusteru
resourceGroupName	Název skupiny prostředků clusteru
clusterName	Název clusteru
apiVersion	2023-05-02 nebo novější

Důležité

Změna zón dostupnosti pro existující cluster změní jenom zóny dostupnosti pro výpočetní prostředky. Trvalé úložiště se nezmění.

REST API

Postupujte podle pokynů k nasazení šablony.

1. Proveďte volání rozhraní REST API na následující koncový bod, kde nahradíte parametry hodnotami:

   PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Kusto/clusters/{clusterName}?api-version={apiVersion}
   

2. Zadejte zóny dostupnosti v textu požadavku. Pokud chcete například nakonfigurovat cluster tak, aby používal zóny dostupnosti 1, 2 a 3, nastavte text takto:

   { "zones": [ "{zone1}", "{zone2}", "{zone3}" ] }
   

C#

1. Pokud nemáte nainstalované knihovny Azure.Identity a Azure.ResourceManager.Kusto , nainstalujte je pomocí následujících příkazů:

   dotnet add package Azure.Identity
   dotnet add package Azure.ResourceManager.Kusto
   

2. Do aplikace přidejte následující kód:

   "zones": [ "{zone1}", "{zone2}", "{zone3}" ]
   

   Pokud chcete například nastavit zóny na 1, 2 a 3, použijte v oblasti Severní Evropa následující kód:

   using Azure.Core;
   using Azure.ResourceManager.Kusto;
   using Azure.ResourceManager.Kusto.Models;
   using ArmClient = Azure.ResourceManager.ArmClient;
   using ClientSecretCredential = Azure.Identity.ClientSecretCredential;
   using WaitUntil = Azure.WaitUntil;
   
   var tenantId = "{tenantId}";
   var clientId = "{clientId}";
   var clientSecret = "{clientSecret}";
   var subscriptionId = "{subscriptionId}";
   var resourceGroupName = "{resourceGroupName}";
   var clusterName = "{clusterName}";
   
   var credentials = new ClientSecretCredential(tenantId, clientId, clientSecret);
   var resourceManagementClient = new ArmClient(credentials, subscriptionId);
   var resourceIdentifier = new ResourceIdentifier($"/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Kusto/Clusters/{clusterName}");
   var cluster = resourceManagementClient.GetKustoClusterResource(resourceIdentifier);
   
   var kustoClusterPatch = new KustoClusterPatch(AzureLocation.NorthEurope);
   kustoClusterPatch.Zones.Clear();
   kustoClusterPatch.Zones.Add("1");
   kustoClusterPatch.Zones.Add("2");
   kustoClusterPatch.Zones.Add("3");
   
   var armOperation = await cluster.UpdateAsync(WaitUntil.Started, kustoClusterPatch).ConfigureAwait(false);
   
   var response = armOperation.UpdateStatus();
   Console.WriteLine($"ClientRequestId: {response.ClientRequestId}");
   
   while (true)
   {
     Console.WriteLine($"{DateTime.UtcNow:o} {response.Status, -5} {response.ReasonPhrase}");
     if (armOperation.HasCompleted)
       break;
   
     await Task.Delay(60000).ConfigureAwait(false);
     response = await armOperation.UpdateStatusAsync().ConfigureAwait(false);
   }
   

3. Spusťte aplikaci.

Python

1. Do aplikace přidejte následující kód:

   "zones": [ "{zone1}", "{zone2}", "{zone3}" ]
   

   Pokud chcete například nastavit zóny na 1, 2 a 3, použijte v oblasti Severní Evropa následující kód:

   from azure.identity import DefaultAzureCredential
   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto import models
   import time
   from azure.core.exceptions import HttpResponseError 
   
   subscription_id = "{subscriptionId}"
   resource_group_name = "{resourceGroupName}"
   cluster_name = "{clusterName}"
   
   client = KustoManagementClient(DefaultAzureCredential(), subscription_id)
   lro_poller = client.clusters.begin_update(resource_group_name, cluster_name, models.ClusterUpdate.from_dict({"zones": ["1", "2", "3"]}))
   
   while (not(lro_poller.done())):
       time.sleep(60)
   
   print (f"status: {lro_poller.status()}")
   
   try:
       lro_poller.result()
   except HttpResponseError as e:
       print (f"Exception: {e}")
   

2. Spusťte aplikaci.

PowerShell

Pomocí následujícího příkazu PowerShellu můžete cluster nakonfigurovat tak, aby používal zóny dostupnosti. Ujistěte se, že jsou nainstalované knihovny nástrojů Kusto, a nahraďte parametry hodnotami.

Update-AzKustoCluster -SubscriptionId {subscriptionId} -ResourceGroupName {resourceGroupName} -Name {clusterName} -Zone "{zone1}", "{zone2}", "{zone3}"

Šablona ARM

1. Do šablony ARM přidejte do Microsoft.Kusto/clusters prostředku následující vlastnost:

   "zones": [ "{zone1}", "{zone2}", "{zone3}" ]
   

   Pokud například chcete v oblasti Severní Evropa nastavit zóny na 1, 2 a 3, použijte následující šablonu:

   {
     "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
     "contentVersion": "1.0.0.0",
     "parameters": {
         "clusters_clusterName_name": {
             "defaultValue": "clusterName",
             "type": "string"
         }
     },
     "variables": {},
     "resources": [
         {
             "type": "Microsoft.Kusto/clusters",
             "apiVersion": "2023-05-02",
             "name": "[parameters('clusters_clusterName_name')]",
             "location": "North Europe",
             "sku": {
                 "name": "{skuName}",
                 "tier": "Basic",
                 "capacity": 1
             },
             "zones": ["1","2","3"],
             "identity": {
                 "type": "SystemAssigned"
             },
             "properties": {
                 "trustedExternalTenants": [],
                 "enableDiskEncryption": false,
                 "enableStreamingIngest": false,
                 "languageExtensions": {
                     "value": []
                 },
                 "enablePurge": false,
                 "enableDoubleEncryption": false,
                 "engineType": "V3",
                 "acceptedAudiences": [],
                 "restrictOutboundNetworkAccess": "Disabled",
                 "allowedFqdnList": [],
                 "publicNetworkAccess": "Enabled",
                 "allowedIpRangeList": [],
                 "enableAutoStop": true,
                 "publicIPType": "IPv4"
             }
         }
     ]
   }
   

2. Nasazení šablony ARM Další informace najdete v tématu Nasazení prostředků pomocí šablon ARM a Azure CLI.

Během migrace se na webu Azure Portal na stránce s přehledem clusteru zobrazí následující zpráva. Zpráva se po dokončení migrace odebere.

Probíhá změna zonality úložiště tohoto clusteru. Doba aktualizace se může lišit v závislosti na množství dat.

Architektura clusterů se zónami dostupnosti

Když jsou nakonfigurované zóny dostupnosti, nasadí se prostředky clusteru následujícím způsobem:

• Výpočetní vrstva: Azure Data Explorer je distribuovaná výpočetní platforma, která má dva nebo více uzlů. Pokud jsou zóny dostupnosti nakonfigurované, výpočetní uzly se distribuují napříč definovanou zónou dostupnosti pro zajištění maximální odolnosti uvnitř oblastí. Selhání zóny může snížit výkon clusteru, dokud se neúspěšné výpočetní prostředky znovu nenasadí do přeživších zón. Doporučujeme nakonfigurovat maximální dostupné zóny v oblasti.

  Poznámka:

  • V některých případech budou kvůli omezením výpočetní kapacity dostupné pouze částečné zóny dostupnosti pro výpočetní vrstvu.
  • Výpočetní vrstva clusteru implementuje přístup s nejlepším úsilím k rovnoměrné rozložení instancí mezi vybrané zóny.

• Trvalá vrstva úložiště: Clustery používají Azure Storage jako svou odolnou vrstvu trvalosti. Pokud jsou zóny dostupnosti nakonfigurované, povolí se ZRS a umístí repliky úložiště do všech tří zón dostupnosti pro zajištění maximální odolnosti uvnitř oblasti.

  Poznámka:

  • Za ZRS se účtují další náklady.
  • Pokud nejsou nakonfigurované zóny dostupnosti, nasadí se prostředky úložiště s výchozím nastavením Místně redundantního úložiště (LRS), umístění všech 3 replik je jedna zóna.

Proces migrace

Pokud je existující cluster nasazený bez zón dostupnosti nakonfigurovaný tak, aby podporoval zóny dostupnosti, proběhne v rámci procesu migrace následující kroky:

• Výpočetní prostředky se distribuují v definovaných zónách dostupnosti.

  Proces redistribuce výpočetních prostředků zahrnuje přípravnou fázi, ve které se zahřeje mezipaměť zónových výpočetních prostředků. Během přípravné fáze budou výpočetní prostředky existujícího clusteru nadále fungovat a zajistit tak nepřerušovanou službu. Tato fáze přípravy může trvat až desítky minut. Přechod na nové výpočetní prostředky nastane jenom tehdy, když je plně připravený a funkční. Tento přístup paralelního zpracování zajišťuje relativně bezproblémové prostředí s minimálním přerušením služeb během procesu přechodu, obvykle trvá mezi 1 až třemi minutami. Je ale důležité si uvědomit, že během migrace skladové položky může mít vliv na výkon dotazů. Stupeň dopadu se může lišit v závislosti na konkrétních vzorech použití.

• Historická trvalá data úložiště se migrují do ZRS.

  Proces migrace závisí na regionální podpoře přechodu z úložiště LRS na úložiště ZRS a také na dostupné kapacitě účtů úložiště ve vybraných zónách. Přenos historických dat může být časově náročný proces, potenciálně trvá několik hodin nebo se dokonce prodlužuje až na týdny.

• Všechna nová data se zapisuje do ZRS.

  Po zahájení žádosti o migraci do zón dostupnosti se všechna nová data replikují a ukládají v konfiguraci ZRS.

  Poznámka:

  • Po provedení žádosti o migraci může docházet k prodlevě až několik minut, než se všechna nová data začnou zapisovat do konfigurace ZRS.
  • Pokud má cluster ingestování streamování, může recyklace nových dat, která se mají zapsat jako data ZRS, trvat až 30 dnů.

Důležité informace

Žádost o migraci do zón dostupnosti nemusí být úspěšná kvůli omezením kapacity. Pro úspěšnou migraci musí být dostatečná výpočetní kapacita a kapacita úložiště pro podporu migrace. Pokud existují omezení kapacity, zobrazí se chybová zpráva s informací o problému.

Související obsah

• Přehled provozní kontinuity a zotavení po havárii