Zarządzanie konfiguracją klastra
Uwaga
Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.
Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.
Ważne
Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.
Usługa HDInsight w usłudze AKS umożliwia dostosowanie właściwości konfiguracji w celu zwiększenia wydajności klastra przy użyciu określonych ustawień. Na przykład ustawienia użycia lub pamięci. Możesz wykonać następujące czynności:
- Zaktualizuj istniejące konfiguracje lub dodaj nowe konfiguracje.
- Wyeksportuj konfiguracje przy użyciu interfejsu API REST.
Dostosowywanie konfiguracji
Konfiguracje można dostosować przy użyciu następujących opcji:
Przy użyciu witryny Azure Portal
Zaloguj się do Portalu Azure.
Na pasku wyszukiwania w witrynie Azure Portal wpisz ciąg "HDInsight on AKS cluster" (Klaster usługi HDInsight w usłudze Azure HDInsight w klastrach usługi AKS) z listy rozwijanej.
Wybierz nazwę klastra na stronie listy.
Przejdź do bloku "Zarządzanie konfiguracją" w menu po lewej stronie.
W zależności od typu klastra są wyświetlane pliki konfiguracji. Aby uzyskać więcej informacji, zobacz Konfiguracje trino, Flink i Spark .
Dodaj nową lub zaktualizuj istniejącą parę klucz-wartość dla konfiguracji, które chcesz zmodyfikować.
Wybierz przycisk OK , a następnie kliknij przycisk Zapisz.
Uwaga
Niektóre zmiany konfiguracji mogą wymagać ponownego uruchomienia usługi, aby odzwierciedlić zmiany.
Korzystanie z szablonu usługi ARM
Wymagania wstępne
- Szablon usługi ARM dla klastra.
- Znajomość tworzenia i wdrażania szablonów usługi ARM.
W szablonie usługi ARM możesz edytować plik serviceConfigsProfiles i określić nazwę pliku konfiguracji systemu operacyjnego o wartości, którą chcesz zastąpić.
Jeśli plik konfiguracji systemu operacyjnego jest w formacie JSON/XML/YAML, możesz podać nazwę pliku konfiguracji systemu operacyjnego za pomocą polecenia fileName. Podaj pary wartości klucza, które chcesz zastąpić w ciągu "wartości".
Oto kilka przykładów dla każdego obciążenia:
Przykład konfiguracji linku:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Przykład konfiguracji platformy Spark:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
Przykład konfiguracji Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Aby uzyskać więcej informacji na temat opcji konfiguracji trino, zobacz przykładowe szablony usługi ARM.
Eksportowanie konfiguracji przy użyciu interfejsu API REST
Możesz również wyeksportować konfiguracje klastra, aby sprawdzić wartości domyślne i zaktualizowane. Obecnie konfiguracje można eksportować tylko za pośrednictwem interfejsu API REST.
Pobieranie konfiguracji klastra:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Jeśli nie znasz sposobu wysyłania wywołania interfejsu API REST, poniższe kroki mogą Ci pomóc.
Kliknij poniższy przycisk w prawym górnym rogu witryny Azure Portal, aby uruchomić usługę Azure Cloud Shell.
Upewnij się, że usługa Cloud Shell jest ustawiona na program PowerShell w lewym górnym rogu. Uruchom następujące polecenie, aby pobrać token i ustawić nagłówki żądań HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Ustaw zmienną $restUri na adres URL pobierania żądania.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Przykład:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewUwaga
Identyfikator zasobu i aktualna wersja interfejsu API można pobrać z widoku JSON klastra w witrynie Azure Portal.
Wyślij żądanie GET, wykonując następujące polecenie.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10