Condividi tramite

Update-AzSynapseSparkPool

  • Riferimento
Modulo:
Az.Synapse

Aggiorna un pool di Apache Spark in Azure Synapse Analytics.

Sintassi

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Descrizione

Il cmdlet Update-AzSynapseSparkPool aggiorna un pool di Apache Spark in Azure Synapse Analytics.

Nota

Se il parametro -SparkVersion viene usato per aggiornare la versione del runtime di Synapse Spark, assicurarsi che il pool di Spark non abbia librerie o pacchetti personalizzati collegati. Per altre informazioni, vedere Migrazione tra versioni di Apache Spark.

Esempio

Esempio 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics.

Esempio 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics tramite pipeline.

Esempio 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics tramite pipeline.

Esempio 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics con ID risorsa.

Esempio 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Questo comando abilita la scalabilità automatica per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Questo comando disabilita la scalabilità automatica per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Questo comando abilita la sospensione automatica per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Questo comando disabilita la sospensione automatica per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Questo comando abilita l'allocazione dinamica dell'executor e specifica il numero minimo di executor e il numero massimo di executor per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Questo comando disabilita l'allocazione dinamica dell'executor per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Il primo comando recupera i pacchetti dell'area di lavoro. Il secondo comando collega questi pacchetti dell'area di lavoro a un pool di Apache Spark in Azure Synapse Analytics.

Esempio 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Il primo comando recupera i pacchetti dell'area di lavoro denominati ContosoPackage. Il secondo comando rimuove il pacchetto dell'area di lavoro da un pool di Apache Spark in Azure Synapse Analytics.

Esempio 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Il primo comando recupera un pool di Apache Spark in Azure Synapse Analytics. Il secondo comando rimuove tutti i pacchetti dell'area di lavoro collegati al pool di Apache Spark.

Esempio 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Il primo comando recupera i pacchetti disponibili nell'area di lavoro. Il secondo gruppo di comandi recupera il pool di spark per ottenere i pacchetti attualmente collegati a questo pool e rimuove tutte le versioni del pacchetto a partire da new_package- dall'elenco recuperato. La nuova versione del pacchetto viene quindi aggiunta a questo elenco. Nel terzo gruppo di comandi l'elenco di pacchetti, che contiene solo i nomi dei pacchetti, viene tranformato in un elenco di pacchetti dell'area di lavoro filtrando l'elenco delle workspace_packages disponibili di conseguenza e quindi collegato al pool di Spark.

Esempio 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics e specifica una configurazione Spark per il pool di Spark.

Esempio 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics, imposta NodeSize su small per il pool di spark e forza l'arresto di tutti i processi in esecuzione nel pool di Spark per applicare questa nuova impostazione.

Esempio 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Il primo comando recupera un pool di Apache Spark in Azure Synapse Analytics. Il secondo comando rimuove tutti i pacchetti dell'area di lavoro collegati al pool di Apache Spark e forza l'arresto di tutti i processi in esecuzione nel pool di Spark per applicare questa nuova impostazione.

Esempio 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Questo comando abilita il calcolo isolato e specifica le dimensioni del nodo per XXXLarge(80 vCPU / 504 GB) per un pool di Apache Spark in Azure Synapse Analytics.

Parametri

-AsJob

Eseguire il cmdlet in background

Tipo:SwitchParameter
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-AutoPauseDelayInMinute

Numero di minuti di inattività. Questo parametro può essere specificato quando è abilitata la sospensione automatica. Il valore predefinito sarà [15] se non viene specificato manualmente.

Tipo:Int32
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-AutoScaleMaxNodeCount

Numero massimo di nodi da allocare nel pool di Spark specificato. Questo parametro deve essere specificato quando la scalabilità automatica è abilitata.

Tipo:Int32
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-AutoScaleMinNodeCount

Numero minimo di nodi da allocare nel pool di Spark specificato. Questo parametro deve essere specificato quando la scalabilità automatica è abilitata.

Tipo:Int32
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-Confirm

Richiede conferma prima di eseguire il cmdlet.

Tipo:SwitchParameter
Alias:cf
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-DefaultProfile

Credenziali, account, tenant e sottoscrizione usati per la comunicazione con Azure.

Tipo:IAzureContextContainer
Alias:AzContext, AzureRmContext, AzureCredential
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-EnableAutoPause

Indica se la sospensione automatica deve essere abilitata.

Tipo:Nullable<T>[Boolean]
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-EnableAutoScale

Indica se è necessario abilitare la scalabilità automatica

Tipo:Nullable<T>[Boolean]
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-EnableDynamicExecutorAllocation

Indica se l'allocazione dell'executor dinamico deve essere abilitata.

Tipo:Nullable<T>[Boolean]
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-EnableIsolatedCompute

L'opzione Isola calcolo è disponibile solo con le dimensioni del nodo XXXLarge (80 vCPU/504 GB). L'abilitazione di questa opzione offre l'isolamento per il calcolo apache Spark per i servizi non attendibili. Il calcolo isolato costa la stessa macchina virtuale non isolata con le stesse dimensioni. Se si prevede di abilitare Isolated Compute per il pool di spark, assicurarsi che l'area di lavoro di Synapse venga creata in un'area di calcolo isolata supportata, fare riferimento a questo documento per altri dettagli: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Tipo:Nullable<T>[Boolean]
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-ForceApplySetting

Indica se arrestare i processi in esecuzione nel pool Big Data.

Tipo:SwitchParameter
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-InputObject

Oggetto di input del pool di Spark, in genere passato attraverso la pipeline.

Tipo:PSSynapseSparkPool
Posizione:Named
Valore predefinito:None
Necessario:True
Accettare l'input della pipeline:True
Accettare caratteri jolly:False

-LibraryRequirementsFilePath

File di configurazione dell'ambiente ("pip freeze").

Tipo:String
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-MaxExecutorCount

Numero massimo di executor da allocare nel pool di Spark specificato. Questo parametro può essere specificato quando DynamicExecutorAllocation è abilitato. Il valore deve essere compreso tra 1 (inclusi) e maximumNodeCount (esclusivo). Se non viene specificato manualmente, il valore predefinito sarà 2.

Tipo:Int32
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-MinExecutorCount

Numero minimo di executor da allocare nel pool di Spark specificato. Questo parametro può essere specificato quando DynamicExecutorAllocation è abilitato. Il valore deve essere compreso tra 1 (inclusi) e maxExecutors (esclusivo). Se non viene specificato manualmente, il valore predefinito sarà 1.

Tipo:Int32
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-Name

Nome del pool di Spark synapse.

Tipo:String
Alias:SparkPoolName
Posizione:Named
Valore predefinito:None
Necessario:True
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-NodeCount

Numero di nodi da allocare nel pool di Spark specificato.

Tipo:Int32
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-NodeSize

Numero di core e memoria da usare per i nodi allocati nel pool di Spark specificato. Questo parametro deve essere specificato quando la scalabilità automatica è disabilitata

Tipo:String
Valori accettati:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-Package

Pacchetti dell'area di lavoro.

Tipo:List<T>[PSSynapseWorkspacePackage]
Alias:WorkspacePackage
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-PackageAction

L'azione pacchetto deve essere specificata quando si aggiunge o rimuove un pacchetto dell'area di lavoro da un pool di Apache Spark.

Tipo:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Valori accettati:Add, Remove, Set
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-ResourceGroupName

Nome del gruppo di risorse.

Tipo:String
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-ResourceId

Identificatore della risorsa del pool di Spark di Synapse.

Tipo:String
Posizione:Named
Valore predefinito:None
Necessario:True
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-SparkConfiguration

Configurazione di Apache Spark. Quando un processo viene inviato al pool, verrà fatto riferimento alle proprietà specificate nella configurazione selezionata.

Tipo:PSSparkConfigurationResource
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-SparkVersion

Versione di Apache Spark. Valori consentiti: 3.1,3.2,3.3,3.4

Tipo:String
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-Tag

Stringa, dizionario di stringhe di tag associati alla risorsa.

Tipo:Hashtable
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-WhatIf

Mostra cosa accadrebbe se il cmdlet viene eseguito. Il cmdlet non viene eseguito.

Tipo:SwitchParameter
Alias:wi
Posizione:Named
Valore predefinito:None
Necessario:False
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-WorkspaceName

Nome dell'area di lavoro di Synapse.

Tipo:String
Posizione:Named
Valore predefinito:None
Necessario:True
Accettare l'input della pipeline:False
Accettare caratteri jolly:False

-WorkspaceObject

oggetto di input dell'area di lavoro, in genere passato attraverso la pipeline.

Tipo:PSSynapseWorkspace
Posizione:Named
Valore predefinito:None
Necessario:True
Accettare l'input della pipeline:True
Accettare caratteri jolly:False

Input

PSSynapseWorkspace

PSSynapseSparkPool

Output

PSSynapseSparkPool