Update-AzSynapseSparkPool

リファレンス

モジュール:: Az.Synapse

Azure Synapse Analytics の Apache Spark プールを更新します。

構文

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

説明

Update-AzSynapseSparkPool コマンドレットは、Azure Synapse Analytics の Apache Spark プールを更新します。

Note

-SparkVersion パラメーターを使用して Synapse Spark ランタイムバージョンをアップグレードする場合は、Spark プールにカスタムライブラリまたはパッケージがアタッチされていないことを確認します。詳細については、「 Apache Spark バージョン間のMigration を参照してください。

例

例 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

このコマンドは、Azure Synapse Analytics の Apache Spark プールを更新します。

例 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

このコマンドは、パイプラインを介して Azure Synapse Analytics の Apache Spark プールを更新します。

例 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

このコマンドは、パイプラインを介して Azure Synapse Analytics の Apache Spark プールを更新します。

例 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

このコマンドは、Azure Synapse Analytics の Apache Spark プールをリソース ID で更新します。

例 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

このコマンドにより、Azure Synapse Analytics の Apache Spark プールの自動スケールが有効になります。

例 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

このコマンドは、Azure Synapse Analytics の Apache Spark プールの自動スケールを無効にします。

例 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

このコマンドにより、Azure Synapse Analytics の Apache Spark プールの自動一時停止が有効になります。

例 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

このコマンドは、Azure Synapse Analytics の Apache Spark プールの自動一時停止を無効にします。

例 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

このコマンドは、動的な Executor の割り当てを有効にし、Azure Synapse Analytics の Apache Spark プールの最小 Executor 数と最大 Executor 数を指定します。

例 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

このコマンドは、Azure Synapse Analytics の Apache Spark プールに対する動的実行プログラムの割り当てを無効にします。

例 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

最初のコマンドは、ワークスペースパッケージを取得します。 2 番目のコマンドは、これらのワークスペースパッケージを Azure Synapse Analytics の Apache Spark プールにリンクします。

例 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

最初のコマンドは、ContosoPackage という名前のワークスペースパッケージを取得します。 2 番目のコマンドは、Azure Synapse Analytics の Apache Spark プールからワークスペースパッケージを削除します。

例 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

最初のコマンドは、Azure Synapse Analytics の Apache Spark プールを取得します。 2 番目のコマンドは、その Apache Spark プールにリンクされているすべてのワークスペースパッケージを削除します。

例 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

最初のコマンドは、ワークスペースで使用可能なパッケージを取得します。 2 番目のコマンドグループは、Spark プールを取得して現在このプールにリンクされているパッケージを取得し、取得した一覧から new_package- 以降のすべてのバージョンのパッケージを削除します。その後、パッケージの新しいバージョンがこの一覧に追加されます。 3 番目のコマンドグループでは、パッケージ名のみを含むパッケージ一覧は、使用可能なworkspace_packagesの一覧をフィルター処理してワークスペースパッケージの一覧に変換され、Spark プールにリンクされます。

例 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

このコマンドは、Azure Synapse Analytics の Apache Spark プールを更新し、Spark プールの Spark 構成を指定します。

例 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

このコマンドは、Azure Synapse Analytics の Apache Spark プールを更新し、Spark プールの NodeSize を small に設定し、Spark プールで実行中のすべてのジョブを強制的に停止して、この新しい設定を適用します。

例 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

最初のコマンドは、Azure Synapse Analytics の Apache Spark プールを取得します。 2 番目のコマンドは、その Apache Spark プールにリンクされているすべてのワークスペースパッケージを削除し、Spark プールで実行中のすべてのジョブを強制的に停止して、この新しい設定を適用します。

例 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

このコマンドにより、分離コンピューティングが有効になり、Azure Synapse Analytics の Apache Spark プールの XXXLarge (80 vCPU/ 504 GB) のノードサイズが指定されます。

パラメーター

-AsJob

バックグラウンドでコマンドレットを実行する

型:	SwitchParameter
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-AutoPauseDelayInMinute

アイドル状態の分数。このパラメーターは、自動一時停止が有効になっている場合に指定できます。手動で指定しない場合、既定値は [15] になります。

型:	Int32
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-AutoScaleMaxNodeCount

指定した Spark プールに割り当てられるノードの最大数。このパラメーターは、自動スケールが有効な場合に指定する必要があります。

型:	Int32
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-AutoScaleMinNodeCount

指定した Spark プールに割り当てられるノードの最小数。このパラメーターは、自動スケールが有効な場合に指定する必要があります。

型:	Int32
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-Confirm

コマンドレットの実行前に確認を求めるメッセージが表示されます。

型:	SwitchParameter
Aliases:	cf
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-DefaultProfile

Azure との通信のために使用される資格情報、アカウント、テナント、サブスクリプションです。

型:	IAzureContextContainer
Aliases:	AzContext, AzureRmContext, AzureCredential
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-EnableAutoPause

自動一時停止を有効にする必要があるかどうかを示します。

型:	Nullable<T>[Boolean]
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-EnableAutoScale

自動スケールを有効にする必要があるかどうかを示します

型:	Nullable<T>[Boolean]
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-EnableDynamicExecutorAllocation

動的実行プログラムの割り当てを有効にする必要があるかどうかを示します。

型:	Nullable<T>[Boolean]
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-EnableIsolatedCompute

[コンピューティングの分離] オプションは、XXXLarge (80 vCPU/ 504 GB) ノードサイズでのみ使用できます。このオプションを有効にすると、信頼されていないサービスの Apache Spark コンピューティングが分離されます。分離されたコンピューティングコストは、同じサイズの非分離 VM と同じです。 Spark プールに対して Isolated Compute を有効にする場合は、Synapse ワークスペースが分離コンピューティングサポートリージョンに作成されていることを確認してください。詳細については、このドキュメントを参照してください: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute。

型:	Nullable<T>[Boolean]
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-ForceApplySetting

ビッグデータプールで実行中のジョブを停止するかどうかを指定します。

型:	SwitchParameter
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-InputObject

Spark プールの入力オブジェクト。通常はパイプラインを介して渡されます。

型:	PSSynapseSparkPool
配置:	Named
規定値:	None
必須:	True
パイプライン入力を受け取る:	True
ワイルドカード文字を受け取る:	False

-LibraryRequirementsFilePath

環境構成ファイル ("PIP freeze" 出力)。

型:	String
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-MaxExecutorCount

指定した Spark プールに割り当てられる Executor の最大数。このパラメーターは、DynamicExecutorAllocation が有効な場合に指定できます。値は、1 (包括的) と maximumNodeCount (排他的) の間にある必要があります。手動で指定しない場合、既定値は 2 になります。

型:	Int32
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-MinExecutorCount

指定した Spark プールに割り当てられる Executor の最小数。このパラメーターは、DynamicExecutorAllocation が有効な場合に指定できます。値は、1 (包括) と maxExecutors (排他的) の間にある必要があります。手動で指定しない場合、既定値は 1 になります。

型:	Int32
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-Name

Synapse Spark プールの名前。

型:	String
Aliases:	SparkPoolName
配置:	Named
規定値:	None
必須:	True
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-NodeCount

指定した Spark プールに割り当てられるノードの数。

型:	Int32
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-NodeSize

指定した Spark プールに割り当てられたノードに使用するコアとメモリの数。自動スケールが無効になっている場合は、このパラメーターを指定する必要があります

型:	String
指定可能な値:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-Package

ワークスペースパッケージ。

型:	List<T>[PSSynapseWorkspacePackage]
Aliases:	WorkspacePackage
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-PackageAction

Apache Spark プールからワークスペースパッケージを追加または削除する場合は、パッケージアクションを指定する必要があります。

型:	Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
指定可能な値:	Add, Remove, Set
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-ResourceGroupName

リソースグループ名。

型:	String
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-ResourceId

Synapse Spark プールのリソース識別子。

型:	String
配置:	Named
規定値:	None
必須:	True
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-SparkConfiguration

Apache Spark の構成。ジョブがプールに送信されると、選択した構成で指定されたプロパティが参照されます。

型:	PSSparkConfigurationResource
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-SparkVersion

Apache Spark のバージョン。使用できる値: 3.1,3.2,3.3,3.4

型:	String
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-Tag

リソースに関連付けられているタグの文字列、文字列ディクショナリ。

型:	Hashtable
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-WhatIf

コマンドレットの実行時に発生する内容を示します。このコマンドレットは実行されません。

型:	SwitchParameter
Aliases:	wi
配置:	Named
規定値:	None
必須:	False
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-WorkspaceName

Synapse ワークスペースの名前。

型:	String
配置:	Named
規定値:	None
必須:	True
パイプライン入力を受け取る:	False
ワイルドカード文字を受け取る:	False

-WorkspaceObject

ワークスペース入力オブジェクト。通常はパイプラインを介して渡されます。

型:	PSSynapseWorkspace
配置:	Named
規定値:	None
必須:	True
パイプライン入力を受け取る:	True
ワイルドカード文字を受け取る:	False

入力

PSSynapseWorkspace

PSSynapseSparkPool

出力