New-AzSynapseSparkPool
Synapse Analytics Spark プールを作成します。
構文
New-AzSynapseSparkPool
[-ResourceGroupName <String>]
-WorkspaceName <String>
-Name <String>
[-Tag <Hashtable>]
[-EnableIsolatedCompute]
-NodeSize <String>
-AutoScaleMinNodeCount <Int32>
-AutoScaleMaxNodeCount <Int32>
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
-SparkVersion <String>
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] New-AzSynapseSparkPool
[-ResourceGroupName <String>]
-WorkspaceName <String>
-Name <String>
[-Tag <Hashtable>]
-NodeCount <Int32>
[-EnableIsolatedCompute]
-NodeSize <String>
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
-SparkVersion <String>
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] New-AzSynapseSparkPool
-WorkspaceObject <PSSynapseWorkspace>
-Name <String>
[-Tag <Hashtable>]
[-EnableIsolatedCompute]
-NodeSize <String>
-AutoScaleMinNodeCount <Int32>
-AutoScaleMaxNodeCount <Int32>
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
-SparkVersion <String>
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] New-AzSynapseSparkPool
-WorkspaceObject <PSSynapseWorkspace>
-Name <String>
[-Tag <Hashtable>]
-NodeCount <Int32>
[-EnableIsolatedCompute]
-NodeSize <String>
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
-SparkVersion <String>
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] 説明
New-AzSynapseSparkPool コマンドレットは、Azure Synapse Analytics Spark プールを作成します。
例
例 1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Smallこのコマンドにより、Azure Synapse Analytics Spark プールが作成されます。
例 2
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Smallこのコマンドを実行すると、自動スケールが有効な Azure Synapse Analytics Spark プールが作成されます。
例 3
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4 -NodeCount 10 -SparkVersion 2.4 -NodeSize Smallこのコマンドは、動的実行プログラムの割り当てを有効にして Azure Synapse Analytics Spark プールを作成し、最小 Executor 数と最大 Executor 数を指定します。
例 4
$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $configこのコマンドは、Azure Synapse Analytics Spark プールを作成し、Spark プールの Spark 構成を指定します。
例 5
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Smallこのコマンドは、パイプラインを介して Azure Synapse Analytics Spark プールを作成します。
例 6
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Smallこのコマンドは、パイプラインを介して自動スケールが有効になっている Azure Synapse Analytics Spark プールを作成します。
例 7
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4このコマンドは、パイプラインを介して分離コンピューティングが有効になっている Azure Synapse Analytics Spark プールを作成します。
パラメーター
-AsJob
バックグラウンドでコマンドレットを実行する
| 型: | SwitchParameter |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-AutoPauseDelayInMinute
アイドル状態の分数。 このパラメーターは、自動一時停止が有効になっている場合に指定できます。 手動で指定しない場合、既定値は [15] になります。
| 型: | Int32 |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-AutoScaleMaxNodeCount
指定した Spark プールに割り当てられるノードの最大数。 このパラメーターは、自動スケールが有効な場合に指定する必要があります。
| 型: | Int32 |
| 配置: | Named |
| 規定値: | None |
| 必須: | True |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-AutoScaleMinNodeCount
指定した Spark プールに割り当てられるノードの最小数。 このパラメーターは、自動スケールが有効な場合に指定する必要があります。
| 型: | Int32 |
| 配置: | Named |
| 規定値: | None |
| 必須: | True |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-Confirm
コマンドレットの実行前に確認を求めるメッセージが表示されます。
| 型: | SwitchParameter |
| Aliases: | cf |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-DefaultProfile
Azure との通信のために使用される資格情報、アカウント、テナント、サブスクリプションです。
| 型: | IAzureContextContainer |
| Aliases: | AzContext, AzureRmContext, AzureCredential |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-EnableAutoPause
自動一時停止を有効にする必要があるかどうかを示します。
| 型: | SwitchParameter |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-EnableDynamicExecutorAllocation
動的実行プログラムの割り当てを有効にする必要があるかどうかを示します。
| 型: | SwitchParameter |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-EnableIsolatedCompute
[コンピューティングの分離] オプションは、XXXLarge (80 vCPU/ 504 GB) ノード サイズでのみ使用できます。 このオプションを有効にすると、信頼されていないサービスの Apache Spark コンピューティングが分離されます。 分離されたコンピューティング コストは、同じサイズの非分離 VM と同じです。 Spark プールに対して Isolated Compute を有効にする場合は、Synapse ワークスペースが分離コンピューティングサポートリージョンに作成されていることを確認してください。詳細については、このドキュメントを参照してください: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute。
| 型: | SwitchParameter |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-MaxExecutorCount
指定した Spark プールに割り当てられる Executor の最大数。 このパラメーターは、DynamicExecutorAllocation が有効な場合に指定できます。 値は、1 (包括的) と maximumNodeCount (排他的) の間にある必要があります。 手動で指定しない場合、既定値は 2 になります。
| 型: | Int32 |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-MinExecutorCount
指定した Spark プールに割り当てられる Executor の最小数。 このパラメーターは、DynamicExecutorAllocation が有効な場合に指定できます。 値は、1 (包括) と maxExecutors (排他的) の間にある必要があります。 手動で指定しない場合、既定値は 1 になります。
| 型: | Int32 |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-Name
Synapse Spark プールの名前。
| 型: | String |
| Aliases: | SparkPoolName |
| 配置: | Named |
| 規定値: | None |
| 必須: | True |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-NodeCount
指定した Spark プールに割り当てられるノードの数。
| 型: | Int32 |
| 配置: | Named |
| 規定値: | None |
| 必須: | True |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-NodeSize
指定した Spark プールに割り当てられたノードに使用するコアとメモリの数。 自動スケールが無効になっている場合は、このパラメーターを指定する必要があります
| 型: | String |
| 指定可能な値: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
| 配置: | Named |
| 規定値: | None |
| 必須: | True |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-ResourceGroupName
リソース グループ名。
| 型: | String |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-SparkConfiguration
Apache Spark の構成。 ジョブがプールに送信されると、選択した構成で指定されたプロパティが参照されます。
| 型: | PSSparkConfigurationResource |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-SparkVersion
Apache Spark のバージョン。 使用できる値: 2.4
| 型: | String |
| 配置: | Named |
| 規定値: | None |
| 必須: | True |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-Tag
リソースに関連付けられているタグの文字列、文字列ディクショナリ。
| 型: | Hashtable |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-WhatIf
コマンドレットの実行時に発生する内容を示します。 このコマンドレットは実行されません。
| 型: | SwitchParameter |
| Aliases: | wi |
| 配置: | Named |
| 規定値: | None |
| 必須: | False |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-WorkspaceName
Synapse ワークスペースの名前。
| 型: | String |
| 配置: | Named |
| 規定値: | None |
| 必須: | True |
| パイプライン入力を受け取る: | False |
| ワイルドカード文字を受け取る: | False |
-WorkspaceObject
ワークスペース入力オブジェクト。通常はパイプラインを介して渡されます。
| 型: | PSSynapseWorkspace |
| 配置: | Named |
| 規定値: | None |
| 必須: | True |
| パイプライン入力を受け取る: | True |
| ワイルドカード文字を受け取る: | False |