Udostępnij za pośrednictwem

Update-AzSynapseSparkPool

  • Odwołanie
Moduł:
Az.Synapse

Aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics.

Składnia

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Opis

Polecenie cmdlet Update-AzSynapseSparkPool aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics.

Nuta

Jeśli parametr -SparkVersion jest używany do uaktualniania wersji środowiska uruchomieniowego platformy Synapse Spark, upewnij się, że pula Spark nie ma żadnych dołączonych bibliotek niestandardowych ani pakietów. Aby uzyskać więcej informacji, zobacz Migration between Apache Spark versions (Migracja między wersjami platformy Apache Spark).

Przykłady

Przykład 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics za pośrednictwem potoku.

Przykład 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics za pośrednictwem potoku.

Przykład 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics przy użyciu identyfikatora zasobu.

Przykład 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

To polecenie umożliwia automatyczne skalowanie puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

To polecenie wyłącza automatyczne skalowanie puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

To polecenie umożliwia automatyczne wstrzymywanie puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

To polecenie wyłącza automatyczne wstrzymywanie puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

To polecenie umożliwia dynamiczną alokację funkcji wykonawczej i określ minimalną liczbę funkcji wykonawczej i maksymalną liczbę funkcji wykonawczej dla puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

To polecenie wyłącza dynamiczną alokację funkcji wykonawczej dla puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Pierwsze polecenie pobiera pakiety obszarów roboczych. Drugie polecenie łączy te pakiety obszarów roboczych z pulą platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Pierwsze polecenie pobiera pakiety obszarów roboczych o nazwie ContosoPackage. Drugie polecenie usuwa pakiet obszaru roboczego z puli Platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Pierwsze polecenie pobiera pulę platformy Apache Spark w usłudze Azure Synapse Analytics. Drugie polecenie usuwa wszystkie pakiety obszarów roboczych połączone z pulą platformy Apache Spark.

Przykład 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Pierwsze polecenie pobiera pakiety dostępne w obszarze roboczym. Druga grupa poleceń pobiera pulę spark, aby pobrać pakiety aktualnie połączone z tą pulą i usuwa wszystkie wersje pakietu, począwszy od new_package- z pobranej listy. Nowa wersja pakietu zostanie następnie dodana do tej listy. W trzeciej grupie poleceń lista pakietów zawierająca tylko nazwy pakietów jest przekształcana na listę pakietów obszarów roboczych, filtrując odpowiednio listę dostępnych workspace_packages, a następnie połączona z pulą spark.

Przykład 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics i określa konfigurację platformy Spark dla puli Spark.

Przykład 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics, ustaw wartość NodeSize na małą dla puli spark i wymuś zatrzymanie wszystkich uruchomionych zadań w puli Spark, aby zastosować to nowe ustawienie.

Przykład 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Pierwsze polecenie pobiera pulę platformy Apache Spark w usłudze Azure Synapse Analytics. Drugie polecenie usuwa wszystkie pakiety obszarów roboczych połączone z tą pulą platformy Apache Spark i wymusza zatrzymanie wszystkich uruchomionych zadań w puli Spark w celu zastosowania tego nowego ustawienia.

Przykład 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

To polecenie umożliwia izolowane obliczenia i określ rozmiar węzła xxXLarge(80 vCPU / 504 GB) dla puli Platformy Apache Spark w usłudze Azure Synapse Analytics.

Parametry

-AsJob

Uruchamianie polecenia cmdlet w tle

Typ:SwitchParameter
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-AutoPauseDelayInMinute

Liczba minut bezczynności. Ten parametr można określić po włączeniu automatycznego wstrzymywania. Wartość domyślna będzie wynosić [15], jeśli nie zostanie określona ręcznie.

Typ:Int32
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-AutoScaleMaxNodeCount

Maksymalna liczba węzłów do przydzielenia w określonej puli Spark. Ten parametr należy określić po włączeniu automatycznego skalowania.

Typ:Int32
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-AutoScaleMinNodeCount

Minimalna liczba węzłów do przydzielenia w określonej puli spark. Ten parametr należy określić po włączeniu automatycznego skalowania.

Typ:Int32
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Confirm

Monituje o potwierdzenie przed uruchomieniem polecenia cmdlet.

Typ:SwitchParameter
Aliasy:cf
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-DefaultProfile

Poświadczenia, konto, dzierżawa i subskrypcja używane do komunikacji z platformą Azure.

Typ:IAzureContextContainer
Aliasy:AzContext, AzureRmContext, AzureCredential
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-EnableAutoPause

Wskazuje, czy ma być włączona funkcja automatycznego wstrzymywania.

Typ:Nullable<T>[Boolean]
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-EnableAutoScale

Wskazuje, czy ma być włączone automatyczne skalowanie

Typ:Nullable<T>[Boolean]
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-EnableDynamicExecutorAllocation

Wskazuje, czy należy włączyć dynamiczną alokację funkcji wykonawczej.

Typ:Nullable<T>[Boolean]
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-EnableIsolatedCompute

Opcja Izoluj obliczenia jest dostępna tylko w przypadku rozmiaru węzła XXXLarge (80 vCPU/504 GB). Włączenie tej opcji zapewnia izolację zasobów obliczeniowych platformy Apache Spark dla niezaufanych usług. Izolowane koszty obliczeń są takie same jak nieizolowana maszyna wirtualna o tym samym rozmiarze. Jeśli oczekujesz włączenia izolowanego środowiska obliczeniowego dla puli platformy Spark, upewnij się, że obszar roboczy usługi Synapse został utworzony w izolowanym regionie obsługiwanym przez zasoby obliczeniowe, zapoznaj się z tym dokumentem, aby uzyskać więcej informacji: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Typ:Nullable<T>[Boolean]
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-ForceApplySetting

Czy zatrzymać jakiekolwiek uruchomione zadania w puli danych big data.

Typ:SwitchParameter
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-InputObject

Obiekt wejściowy puli platformy Spark, zwykle przekazywany przez potok.

Typ:PSSynapseSparkPool
Position:Named
Domyślna wartość:None
Wymagane:True
Akceptowanie danych wejściowych potoku:True
Akceptowanie symboli wieloznacznych:False

-LibraryRequirementsFilePath

Plik konfiguracji środowiska ("Dane wyjściowe blokowania").

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-MaxExecutorCount

Maksymalna liczba funkcji wykonawczych do przydzielenia w określonej puli platformy Spark. Ten parametr można określić, gdy parametr DynamicExecutorAllocation jest włączony. Wartość powinna należeć do zakresu od 1 (włącznie) do wartości maximumNodeCount (wyłączność). Jeśli nie zostanie określona ręcznie, wartość domyślna będzie wynosić 2.

Typ:Int32
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-MinExecutorCount

Minimalna liczba funkcji wykonawczych do przydzielenia w określonej puli spark. Ten parametr można określić, gdy parametr DynamicExecutorAllocation jest włączony. Wartość powinna należeć do zakresu od 1 (włącznie) do wartości maxExecutors (wyłączność). Jeśli nie zostanie określony ręcznie, wartość domyślna będzie wynosić 1.

Typ:Int32
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Name

Nazwa puli platformy Spark usługi Synapse.

Typ:String
Aliasy:SparkPoolName
Position:Named
Domyślna wartość:None
Wymagane:True
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-NodeCount

Liczba węzłów do przydzielenia w określonej puli platformy Spark.

Typ:Int32
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-NodeSize

Liczba rdzeni i pamięci, które mają być używane dla węzłów przydzielonych w określonej puli spark. Ten parametr należy określić, gdy skalowanie automatyczne jest wyłączone

Typ:String
Dopuszczalne wartości:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Package

Pakiety obszarów roboczych.

Typ:List<T>[PSSynapseWorkspacePackage]
Aliasy:WorkspacePackage
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-PackageAction

Akcja pakietu musi być określona podczas dodawania lub usuwania pakietu obszaru roboczego z puli platformy Apache Spark.

Typ:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Dopuszczalne wartości:Add, Remove, Set
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-ResourceGroupName

Nazwa grupy zasobów.

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-ResourceId

Identyfikator zasobu puli Platformy Spark usługi Synapse.

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:True
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-SparkConfiguration

Konfiguracja platformy Apache Spark. Po przesłaniu zadania do puli zostaną przywołyne właściwości określone w wybranej konfiguracji.

Typ:PSSparkConfigurationResource
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-SparkVersion

Wersja platformy Apache Spark. Dozwolone wartości: 3.1,3.2,3.3,3.4

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-Tag

Ciąg, słownik ciągów tagów skojarzonych z zasobem.

Typ:Hashtable
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-WhatIf

Pokazuje, co się stanie, jeśli polecenie cmdlet zostanie uruchomione. Polecenie cmdlet nie jest uruchamiane.

Typ:SwitchParameter
Aliasy:wi
Position:Named
Domyślna wartość:None
Wymagane:False
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-WorkspaceName

Nazwa obszaru roboczego usługi Synapse.

Typ:String
Position:Named
Domyślna wartość:None
Wymagane:True
Akceptowanie danych wejściowych potoku:False
Akceptowanie symboli wieloznacznych:False

-WorkspaceObject

obiekt wejściowy obszaru roboczego, zwykle przekazywany przez potok.

Typ:PSSynapseWorkspace
Position:Named
Domyślna wartość:None
Wymagane:True
Akceptowanie danych wejściowych potoku:True
Akceptowanie symboli wieloznacznych:False

Dane wejściowe

PSSynapseWorkspace

PSSynapseSparkPool

Dane wyjściowe

PSSynapseSparkPool