Compartir a través de

Update-AzSynapseSparkPool

  • Referencia
Módulo:
Az.Synapse

Actualiza un grupo de Apache Spark en Azure Synapse Analytics.

Sintaxis

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

El cmdlet Update-AzSynapseSparkPool actualiza un grupo de Apache Spark en Azure Synapse Analytics.

Nota

Si el parámetro -SparkVersion se usa para actualizar la versión del entorno de ejecución de Spark de Synapse, asegúrese de que el grupo de Spark no tiene bibliotecas ni paquetes personalizados asociados. Consulte Migración entre versiones de Apache Spark para obtener más detalles.

Ejemplos

Ejemplo 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics a través de la canalización.

Ejemplo 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics a través de la canalización.

Ejemplo 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics con el identificador de recurso.

Ejemplo 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Este comando habilita el escalado automático para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Este comando deshabilita el escalado automático para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Este comando habilita la pausa automática para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Este comando deshabilita la pausa automática para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Este comando habilita la asignación dinámica del ejecutor y especifica el número mínimo de ejecutores y el número máximo de ejecutores para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Este comando deshabilita la asignación dinámica del ejecutor para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

El primer comando recupera los paquetes del área de trabajo. El segundo comando vincula estos paquetes de área de trabajo a un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

El primer comando recupera los paquetes del área de trabajo denominados ContosoPackage. El segundo comando quita el paquete del área de trabajo de un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

El primer comando recupera un grupo de Apache Spark en Azure Synapse Analytics. El segundo comando quita todos los paquetes de área de trabajo que están vinculados a ese grupo de Apache Spark.

Ejemplo 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

El primer comando recupera los paquetes disponibles en el área de trabajo. El segundo grupo de comandos recupera el grupo de Spark para obtener los paquetes vinculados actualmente a este grupo y quita todas las versiones del paquete a partir de new_package- de la lista recuperada. A continuación, se agrega la nueva versión del paquete a esta lista. En el tercer grupo de comandos, la lista de paquetes, que contiene solo los nombres de paquete, se transforma en una lista de paquetes de área de trabajo filtrando la lista de workspace_packages disponibles en consecuencia y, a continuación, se vincula al grupo de Spark.

Ejemplo 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics y especifica una configuración de Spark para el grupo de Spark.

Ejemplo 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics, establezca NodeSize en pequeño para el grupo de Spark y obligue a detener los trabajos en ejecución del grupo de Spark para aplicar esta nueva configuración.

Ejemplo 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

El primer comando recupera un grupo de Apache Spark en Azure Synapse Analytics. El segundo comando quita todos los paquetes de área de trabajo vinculados a ese grupo de Apache Spark y fuerza a detener los trabajos en ejecución del grupo de Spark para aplicar esta nueva configuración.

Ejemplo 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Este comando habilita el proceso aislado y especifica el tamaño del nodo en XXXLarge(80 vCPU/ 504 GB) para un grupo de Apache Spark en Azure Synapse Analytics.

Parámetros

-AsJob

Ejecución del cmdlet en segundo plano

Tipo:SwitchParameter
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-AutoPauseDelayInMinute

Número de minutos inactivos. Este parámetro se puede especificar cuando está habilitada la pausa automática. El valor predeterminado será [15] si no se especifica manualmente.

Tipo:Int32
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-AutoScaleMaxNodeCount

Número máximo de nodos que se asignarán en el grupo de Spark especificado. Este parámetro debe especificarse cuando está habilitado el escalado automático.

Tipo:Int32
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-AutoScaleMinNodeCount

Número mínimo de nodos que se asignarán en el grupo de Spark especificado. Este parámetro debe especificarse cuando está habilitado el escalado automático.

Tipo:Int32
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-Confirm

Le pide confirmación antes de ejecutar el cmdlet.

Tipo:SwitchParameter
Alias:cf
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-DefaultProfile

Las credenciales, la cuenta, el inquilino y la suscripción que se usan para la comunicación con Azure.

Tipo:IAzureContextContainer
Alias:AzContext, AzureRmContext, AzureCredential
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-EnableAutoPause

Indica si se debe habilitar la pausa automática.

Tipo:Nullable<T>[Boolean]
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-EnableAutoScale

Indica si se debe habilitar el escalado automático.

Tipo:Nullable<T>[Boolean]
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-EnableDynamicExecutorAllocation

Indica si se debe habilitar la asignación dinámica del ejecutor.

Tipo:Nullable<T>[Boolean]
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-EnableIsolatedCompute

La opción Aislar proceso solo está disponible con el tamaño del nodo XXXLarge (80 vCPU /504 GB). La habilitación de esta opción ofrece aislamiento para el proceso de Apache Spark para servicios que no son de confianza. El proceso aislado cuesta lo mismo que la máquina virtual no aislada del mismo tamaño. Si espera habilitar el proceso aislado para el grupo de Spark, asegúrese de que el área de trabajo de Synapse se crea en una región admitida de proceso aislado, consulte este documento para obtener más detalles: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Tipo:Nullable<T>[Boolean]
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-ForceApplySetting

Indica si se deben detener los trabajos en ejecución en el grupo de macrodatos.

Tipo:SwitchParameter
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-InputObject

El objeto de entrada del grupo de Spark, normalmente se pasa a través de la canalización.

Tipo:PSSynapseSparkPool
Posición:Named
Valor predeterminado:None
Requerido:True
Aceptar entrada de canalización:True
Aceptar caracteres comodín:False

-LibraryRequirementsFilePath

Archivo de configuración del entorno (salida "inmovilización de PIP").

Tipo:String
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-MaxExecutorCount

Número máximo de ejecutores que se asignarán en el grupo de Spark especificado. Este parámetro se puede especificar cuando DynamicExecutorAllocation está habilitado. El valor debe estar comprendido entre 1 (inclusivo) y maximumNodeCount (exclusivo). Si no se especifica manualmente, el valor predeterminado será 2.

Tipo:Int32
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-MinExecutorCount

Número mínimo de ejecutores que se asignarán en el grupo de Spark especificado. Este parámetro se puede especificar cuando DynamicExecutorAllocation está habilitado. El valor debe estar comprendido entre 1 (inclusivo) y maxExecutors (exclusivo). Si no se especifica manualmente, el valor predeterminado será 1.

Tipo:Int32
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-Name

Nombre del grupo de Spark de Synapse.

Tipo:String
Alias:SparkPoolName
Posición:Named
Valor predeterminado:None
Requerido:True
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-NodeCount

Número de nodos que se van a asignar en el grupo de Spark especificado.

Tipo:Int32
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-NodeSize

Número de núcleos y memoria que se van a usar para los nodos asignados en el grupo de Spark especificado. Este parámetro debe especificarse cuando se deshabilita la escalabilidad automática.

Tipo:String
Valores aceptados:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-Package

Los paquetes del área de trabajo.

Tipo:List<T>[PSSynapseWorkspacePackage]
Alias:WorkspacePackage
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-PackageAction

La acción del paquete debe especificarse al agregar o quitar un paquete de área de trabajo de un grupo de Apache Spark.

Tipo:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Valores aceptados:Add, Remove, Set
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-ResourceGroupName

Nombre del grupo de recursos.

Tipo:String
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-ResourceId

Identificador de recursos del grupo de Spark de Synapse.

Tipo:String
Posición:Named
Valor predeterminado:None
Requerido:True
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-SparkConfiguration

Configuración de Apache Spark. Cuando se envía un trabajo al grupo, se hará referencia a las propiedades especificadas en la configuración seleccionada.

Tipo:PSSparkConfigurationResource
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-SparkVersion

Versión de Apache Spark. Valores permitidos: 3.1,3.2,3.3,3.4

Tipo:String
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-Tag

Un diccionario de cadenas de etiquetas asociadas al recurso.

Tipo:Hashtable
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-WhatIf

Muestra lo que sucedería si el cmdlet se ejecuta. El cmdlet no se ejecuta.

Tipo:SwitchParameter
Alias:wi
Posición:Named
Valor predeterminado:None
Requerido:False
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-WorkspaceName

Nombre del área de trabajo de Synapse.

Tipo:String
Posición:Named
Valor predeterminado:None
Requerido:True
Aceptar entrada de canalización:False
Aceptar caracteres comodín:False

-WorkspaceObject

objeto de entrada del área de trabajo, que normalmente se pasa a través de la canalización.

Tipo:PSSynapseWorkspace
Posición:Named
Valor predeterminado:None
Requerido:True
Aceptar entrada de canalización:True
Aceptar caracteres comodín:False

Entradas

PSSynapseWorkspace

PSSynapseSparkPool

Salidas

PSSynapseSparkPool