Dela via

Update-AzSynapseSparkPool

  • Referens
Modul:
Az.Synapse

Uppdaterar en Apache Spark-pool i Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Cmdleten Update-AzSynapseSparkPool uppdaterar en Apache Spark-pool i Azure Synapse Analytics.

Not

Om parametern -SparkVersion används för att uppgradera Synapse Spark-körningsversionen kontrollerar du att Spark-poolen inte har några anslutna anpassade bibliotek eller paket. Mer information finns i migrering mellan Apache Spark-versioner.

Exempel

Exempel 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics.

Exempel 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics via pipeline.

Exempel 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics via pipeline.

Exempel 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics med resurs-ID.

Exempel 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Det här kommandot aktiverar automatisk skalning för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Det här kommandot inaktiverar automatisk skalning för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Det här kommandot aktiverar automatisk paus för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Det här kommandot inaktiverar automatisk paus för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Det här kommandot aktiverar dynamisk körningsallokering och anger minsta antal exekutorer och maximalt antal exekutorer för en Apache Spark-pool i Azure Synapse Analytics.This command enables dynamic executor allocation and specify min executor count and max executor count for an Apache Spark pool in Azure Synapse Analytics.

Exempel 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Det här kommandot inaktiverar dynamisk körallokering för en Apache Spark-pool i Azure Synapse Analytics.

Exempel 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Det första kommandot hämtar arbetsytepaket. Det andra kommandot länkar dessa arbetsytepaket till en Apache Spark-pool i Azure Synapse Analytics.

Exempel 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Det första kommandot hämtar arbetsytepaket med namnet ContosoPackage. Det andra kommandot tar bort arbetsytepaketet från en Apache Spark-pool i Azure Synapse Analytics.

Exempel 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Det första kommandot hämtar en Apache Spark-pool i Azure Synapse Analytics. Det andra kommandot tar bort alla arbetsytepaket som är länkade till Apache Spark-poolen.

Exempel 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Det första kommandot hämtar de paket som är tillgängliga på arbetsytan. Den andra kommandogruppen hämtar Spark-poolen för att hämta de paket som för närvarande är länkade till den här poolen och tar bort alla versioner av paketet som börjar med new_package- från listan som hämtas. Den nya versionen av paketet läggs sedan till i den här listan. I den tredje gruppen med kommandon transformeras paketlistan, som endast innehåller paketnamn, till en lista över arbetsytepaket genom att filtrera listan över tillgängliga workspace_packages och sedan länkas till Spark-poolen.

Exempel 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics och anger en Spark-konfiguration för Spark-poolen.

Exempel 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Det här kommandot uppdaterar en Apache Spark-pool i Azure Synapse Analytics, ställer in NodeSize till liten för spark-poolen och tvingar stoppa alla jobb som körs i Spark-poolen för att tillämpa den här nya inställningen.

Exempel 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Det första kommandot hämtar en Apache Spark-pool i Azure Synapse Analytics. Det andra kommandot tar bort alla arbetsytepaket som är länkade till Apache Spark-poolen och tvingar fram att alla jobb som körs i Spark-poolen stoppas för att tillämpa den här nya inställningen.

Exempel 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Det här kommandot aktiverar isolerad beräkning och anger nodstorlek till XXXLarge(80 vCPU/504 GB) för en Apache Spark-pool i Azure Synapse Analytics.

Parametrar

-AsJob

Kör cmdlet i bakgrunden

Typ:SwitchParameter
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-AutoPauseDelayInMinute

Antal minuter som är inaktiva. Den här parametern kan anges när automatisk paus är aktiverad. Standardvärdet är [15] om det inte anges manuellt.

Typ:Int32
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-AutoScaleMaxNodeCount

Maximalt antal noder som ska allokeras i den angivna Spark-poolen. Den här parametern måste anges när automatisk skalning är aktiverat.

Typ:Int32
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-AutoScaleMinNodeCount

Minsta antal noder som ska allokeras i den angivna Spark-poolen. Den här parametern måste anges när automatisk skalning är aktiverat.

Typ:Int32
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-Confirm

Uppmanar dig att bekräfta innan du kör cmdleten.

Typ:SwitchParameter
Alias:cf
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-DefaultProfile

Autentiseringsuppgifter, konto, klientorganisation och prenumeration som används för kommunikation med Azure.

Typ:IAzureContextContainer
Alias:AzContext, AzureRmContext, AzureCredential
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-EnableAutoPause

Anger om automatisk paus ska aktiveras.

Typ:Nullable<T>[Boolean]
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-EnableAutoScale

Anger om automatisk skalning ska aktiveras

Typ:Nullable<T>[Boolean]
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-EnableDynamicExecutorAllocation

Anger om dynamisk körningsallokering ska aktiveras.

Typ:Nullable<T>[Boolean]
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-EnableIsolatedCompute

Alternativet Isolera beräkning är endast tillgängligt med nodstorleken XXXLarge (80 vCPU/504 GB). Om du aktiverar det här alternativet får du isolering för Apache Spark-beräkning för ej betrodda tjänster. Isolerade beräkningskostnader är samma som den icke-isolerade virtuella datorn med samma storlek. Om du förväntar dig att aktivera Isolerad beräkning för Spark-pool kontrollerar du att din Synapse-arbetsyta skapas i en isolerad beräkningsregion som stöds. Mer information finns i det här dokumentet: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Typ:Nullable<T>[Boolean]
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-ForceApplySetting

Om du vill stoppa jobb som körs i stordatapoolen.

Typ:SwitchParameter
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-InputObject

Spark-poolindataobjekt, som vanligtvis skickas via pipelinen.

Typ:PSSynapseSparkPool
Position:Named
Standardvärde:None
Obligatorisk:True
Godkänn pipeline-indata:True
Godkänn jokertecken:False

-LibraryRequirementsFilePath

Miljökonfigurationsfil ("PIP freeze"-utdata).

Typ:String
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-MaxExecutorCount

Maximalt antal utförare som ska allokeras i den angivna Spark-poolen. Den här parametern kan anges när DynamicExecutorAllocation är aktiverat. Värdet ska ligga mellan 1 (inkluderande) och maximumNodeCount (exklusivt). Om det inte anges manuellt blir standardvärdet 2.

Typ:Int32
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-MinExecutorCount

Minsta antal utförare som ska allokeras i den angivna Spark-poolen. Den här parametern kan anges när DynamicExecutorAllocation är aktiverat. Värdet ska ligga mellan 1 (inkluderande) och maxExecutors (exklusivt). Om det inte anges manuellt blir standardvärdet 1.

Typ:Int32
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-Name

Namnet på Synapse Spark-poolen.

Typ:String
Alias:SparkPoolName
Position:Named
Standardvärde:None
Obligatorisk:True
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-NodeCount

Antal noder som ska allokeras i den angivna Spark-poolen.

Typ:Int32
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-NodeSize

Antal kärnor och minne som ska användas för noder som allokerats i den angivna Spark-poolen. Den här parametern måste anges när automatisk skalning är inaktiverad

Typ:String
Godkända värden:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-Package

Arbetsytepaketen.

Typ:List<T>[PSSynapseWorkspacePackage]
Alias:WorkspacePackage
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-PackageAction

Paketåtgärden måste anges när du lägger till eller tar bort ett arbetsytepaket från en Apache Spark-pool.

Typ:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Godkända värden:Add, Remove, Set
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-ResourceGroupName

Namn på resursgrupp.

Typ:String
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-ResourceId

Resursidentifierare för Synapse Spark-pool.

Typ:String
Position:Named
Standardvärde:None
Obligatorisk:True
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-SparkConfiguration

Apache Spark-konfiguration. När ett jobb skickas till poolen refereras de egenskaper som anges i den valda konfigurationen.

Typ:PSSparkConfigurationResource
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-SparkVersion

Apache Spark-version. Tillåtna värden: 3.1,3.2,3.3,3.4

Typ:String
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-Tag

En sträng,strängordlista med taggar som är associerade med resursen.

Typ:Hashtable
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-WhatIf

Visar vad som skulle hända om cmdleten körs. Cmdleten körs inte.

Typ:SwitchParameter
Alias:wi
Position:Named
Standardvärde:None
Obligatorisk:False
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-WorkspaceName

Namnet på Synapse-arbetsytan.

Typ:String
Position:Named
Standardvärde:None
Obligatorisk:True
Godkänn pipeline-indata:False
Godkänn jokertecken:False

-WorkspaceObject

indataobjekt för arbetsytan, som vanligtvis skickas via pipelinen.

Typ:PSSynapseWorkspace
Position:Named
Standardvärde:None
Obligatorisk:True
Godkänn pipeline-indata:True
Godkänn jokertecken:False

Indata

PSSynapseWorkspace

PSSynapseSparkPool

Utdata

PSSynapseSparkPool