Zarządzanie konfiguracją klastra
Ważny
Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej dzięki temu ogłoszeniu.
Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.
Ważny
Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe warunki użytkowania Microsoft Azure Previews zawierają więcej warunków prawnych, które mają zastosowanie do funkcji Azure w wersji beta, zapoznawczej czy innych, które nie zostały jeszcze wydane w ogólnej dostępności. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz informacje o preview Azure HDInsight na AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie na AskHDInsight z szczegółami i obserwuj nas, aby być na bieżąco z aktualizacjami społeczności Azure HDInsight.
Usługa HDInsight w usłudze AKS umożliwia dostosowanie właściwości konfiguracji w celu zwiększenia wydajności klastra przy użyciu określonych ustawień. Na przykład ustawienia użycia lub pamięci. Możesz wykonać następujące czynności:
- Zaktualizuj istniejące konfiguracje lub dodaj nowe konfiguracje.
- Wyeksportuj konfiguracje przy użyciu interfejsu API REST.
Dostosowywanie konfiguracji
Konfiguracje można dostosować przy użyciu następujących opcji:
Korzystanie z witryny Azure Portal
Zaloguj się do portalu Azure.
Na pasku wyszukiwania w portalu Azure wpisz "HDInsight on AKS cluster" i wybierz "Azure HDInsight on AKS clusters" z listy rozwijanej.
Wybierz nazwę klastra na stronie listy.
Przejdź do bloku "Zarządzanie konfiguracją" w menu po lewej stronie.
W zależności od typu klastra są wyświetlane pliki konfiguracji. Aby uzyskać więcej informacji, zobacz konfiguracje Trino, Flinki Spark.
Dodaj nową lub zaktualizuj istniejącą parę klucz-wartość dla konfiguracji, które chcesz zmodyfikować.
Wybierz pozycję OK, a następnie kliknij pozycję Zapisz.
Notatka
Niektóre zmiany konfiguracji mogą wymagać ponownego uruchomienia usługi, aby odzwierciedlić zmiany.
Korzystanie z szablonu ARM
Warunki wstępne
- szablon ARM dla klastra.
- Znajomość tworzenia i wdrażania szablonu usługi ARM.
W szablonie ARM można edytować serviceConfigsProfiles i określić nazwę pliku konfiguracyjnego OSS z wartością, którą chcesz, aby została nadpisana.
Jeśli plik konfiguracji systemu operacyjnego jest w formacie JSON/XML/YAML, możesz podać nazwę pliku konfiguracji systemu operacyjnego za pośrednictwem fileName. Podaj pary klucz-wartość, które chcesz nadpisać w „wartościach”.
Oto kilka przykładów dla każdego obciążenia:
Przykład konfiguracji Flink:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
przykład konfiguracji platformy Spark:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
przykład konfiguracji Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Aby uzyskać więcej informacji na temat opcji konfiguracji Trino, zobacz przykładowe szablony ARM.
Eksportowanie konfiguracji przy użyciu interfejsu API REST
Możesz również wyeksportować konfiguracje klastra, aby sprawdzić wartości domyślne i zaktualizowane. Obecnie konfiguracje można eksportować tylko za pośrednictwem interfejsu API REST.
Pobierz konfiguracje klastra
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Jeśli nie znasz sposobu wysyłania wywołania interfejsu API REST, poniższe kroki mogą Ci pomóc.
Kliknij poniższy przycisk w prawym górnym rogu witryny Azure Portal, aby uruchomić usługę Azure Cloud Shell.
Upewnij się, że w lewym górnym rogu usługa Cloud Shell jest włączona jako PowerShell. Uruchom następujące polecenie, aby pobrać token i ustawić nagłówki żądań HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Ustaw zmienną $restUri na adres URL żądania GET.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Na przykład:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewNotatka
Identyfikator zasobu i up-to-date api-version można uzyskać z widoku JSON twojego klastra w Azure Portal.
Wyślij żądanie GET, wykonując następujące polecenie.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10