你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

az synapse spark pool

参考

管理 Spark 池。

命令

名称	说明	类型	状态
az synapse spark pool create	创建 Spark 池。	核心	GA
az synapse spark pool delete	删除 Spark 池。	核心	GA
az synapse spark pool list	列出所有 Spark 池。	核心	GA
az synapse spark pool show	获取 Spark 池。	核心	GA
az synapse spark pool update	更新 Spark 池。	核心	GA
az synapse spark pool wait	将 CLI 置于等待状态，直到满足 Spark 池的条件。	核心	GA

az synapse spark pool create

编辑

创建 Spark 池。

az synapse spark pool create --name
                             --node-count
                             --node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
                             --resource-group
                             --spark-version
                             --workspace-name
                             [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--no-wait]
                             [--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
                             [--spark-config-file-path]
                             [--spark-events-folder]
                             [--spark-log-folder]
                             [--tags]

示例

创建 Spark 池。

az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'

必需参数

--name -n

Spark 池的名称。

--node-count

节点数。

--node-size

大数据池中每个节点具有的计算能力级别。

接受的值: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge

--resource-group -g

资源组的名称。可以使用 az configure --defaults group=<name> 配置默认组。

--spark-version

支持的 Spark 版本现在为 2.4。

--workspace-name

工作区名称。

可选参数

--delay

单位为分钟时的延迟时间。

--enable-auto-pause

启用自动暂停的标志。

接受的值: false, true

--enable-auto-scale

启用自动缩放的标志。

接受的值: false, true

--enable-dynamic-exec

指示是否启用动态执行程序分配。

接受的值: false, true

--max-executors

分配的执行程序的最大数目。

--max-node-count

最大节点计数。

--min-executors

分配的最小执行程序数。

--min-node-count

最小节点计数。

--no-wait

不等待长时间运行的操作完成。

默认值: False

--node-size-family

大数据池提供的节点类型。

接受的值: HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None

默认值: MemoryOptimized

--spark-config-file-path

Spark 池属性配置文件的绝对路径。

--spark-events-folder

Spark 事件文件夹。

默认值: /events

--spark-log-folder

默认的 Spark 日志文件夹。

默认值: /logs

--tags

空格分隔标记：key[=value] [key[=value] ...]。使用“”清除现有标记。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误，取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc

默认值: json

--query

JMESPath 查询字符串。有关更多信息和示例，请参阅 http://jmespath.org/。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。使用 --debug 获取完整的调试日志。

az synapse spark pool delete

编辑

删除 Spark 池。

az synapse spark pool delete [--ids]
                             [--name]
                             [--no-wait]
                             [--resource-group]
                             [--subscription]
                             [--workspace-name]
                             [--yes]

示例

删除 Spark 池。

az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg

可选参数

--ids

一个或多个资源 ID（空格分隔）。它应该是包含“资源 ID”参数的所有信息的完整资源 ID。应提供 --id 或其他“资源 ID”参数。

--name -n

Spark 池的名称。

--no-wait

不等待长时间运行的操作完成。

默认值: False

--resource-group -g

资源组的名称。可以使用 az configure --defaults group=<name> 配置默认组。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--workspace-name

工作区名称。

--yes -y

不提示确认。

默认值: False

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误，取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc

默认值: json

--query

JMESPath 查询字符串。有关更多信息和示例，请参阅 http://jmespath.org/。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。使用 --debug 获取完整的调试日志。

az synapse spark pool list

编辑

列出所有 Spark 池。

az synapse spark pool list --resource-group
                           --workspace-name

示例

列出所有 Spark 池。

az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg

必需参数

--resource-group -g

资源组的名称。可以使用 az configure --defaults group=<name> 配置默认组。

--workspace-name

工作区名称。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误，取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc

默认值: json

--query

JMESPath 查询字符串。有关更多信息和示例，请参阅 http://jmespath.org/。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。使用 --debug 获取完整的调试日志。

az synapse spark pool show

编辑

获取 Spark 池。

az synapse spark pool show [--ids]
                           [--name]
                           [--resource-group]
                           [--subscription]
                           [--workspace-name]

示例

获取 Spark 池。

az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg

可选参数

--ids

一个或多个资源 ID（空格分隔）。它应该是包含“资源 ID”参数的所有信息的完整资源 ID。应提供 --id 或其他“资源 ID”参数。

--name -n

Spark 池的名称。

--resource-group -g

资源组的名称。可以使用 az configure --defaults group=<name> 配置默认组。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--workspace-name

工作区名称。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误，取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc

默认值: json

--query

JMESPath 查询字符串。有关更多信息和示例，请参阅 http://jmespath.org/。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。使用 --debug 获取完整的调试日志。

az synapse spark pool update

编辑

更新 Spark 池。

az synapse spark pool update [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--force {false, true}]
                             [--ids]
                             [--library-requirements]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--name]
                             [--no-wait]
                             [--node-count]
                             [--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
                             [--package]
                             [--package-action {Add, Remove}]
                             [--resource-group]
                             [--spark-config-file-path]
                             [--subscription]
                             [--tags]
                             [--workspace-name]

示例

更新 Spark 池的标记。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1

更新 Spark 池的自动缩放配置。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100

更新 Spark 池的自定义库。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar

更新 Spark 池的配置文件。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'

更新 Spark 池的动态执行程序分配配置。

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10

可选参数

--delay

单位为分钟时的延迟时间。

--enable-auto-pause

启用自动暂停的标志。

接受的值: false, true

--enable-auto-scale

启用自动缩放的标志。

接受的值: false, true

--enable-dynamic-exec

指示是否启用动态执行程序分配。

接受的值: false, true

--force

强制操作的标志。

接受的值: false, true

默认值: False

--ids

一个或多个资源 ID（空格分隔）。它应该是包含“资源 ID”参数的所有信息的完整资源 ID。应提供 --id 或其他“资源 ID”参数。

--library-requirements

库要求文件。

--max-executors

分配的执行程序的最大数目。

--max-node-count

最大节点计数。

--min-executors

分配的最小执行程序数。

--min-node-count

最小节点计数。

--name -n

Spark 池的名称。

--no-wait

不等待长时间运行的操作完成。

默认值: False

--node-count

节点数。

--node-size

大数据池中每个节点具有的计算能力级别。

接受的值: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge

--package

工作区包名称的列表。

--package-action

在 Apache Spark 池中添加或删除工作区包时，必须指定包操作。

接受的值: Add, Remove

--resource-group -g

资源组的名称。可以使用 az configure --defaults group=<name> 配置默认组。

--spark-config-file-path

Spark 池属性配置文件的绝对路径。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--tags

空格分隔标记：key[=value] [key[=value] ...]。使用“”清除现有标记。

--workspace-name

工作区名称。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误，取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc

默认值: json

--query

JMESPath 查询字符串。有关更多信息和示例，请参阅 http://jmespath.org/。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。使用 --debug 获取完整的调试日志。

az synapse spark pool wait

编辑

将 CLI 置于等待状态，直到满足 Spark 池的条件。

az synapse spark pool wait --big-data-pool-name
                           [--created]
                           [--custom]
                           [--deleted]
                           [--exists]
                           [--ids]
                           [--interval]
                           [--resource-group]
                           [--subscription]
                           [--timeout]
                           [--updated]
                           [--workspace-name]

必需参数

--big-data-pool-name

大数据池名称。

可选参数

--created

等待在“Succeeded”中使用“provisioningState”创建。

默认值: False

--custom

等待条件满足自定义 JMESPath 查询。例如 provisioningState！='InProgress'， instanceView.statuses[？code=='PowerState/running']。

--deleted

等到删除为止。

默认值: False

--exists

等待资源存在。

默认值: False

--ids

一个或多个资源 ID（空格分隔）。它应该是包含“资源 ID”参数的所有信息的完整资源 ID。应提供 --id 或其他“资源 ID”参数。

--interval

轮询间隔（以秒为单位）。

默认值: 30

--resource-group -g

资源组的名称。可以使用 az configure --defaults group=<name> 配置默认组。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--timeout

最大等待（以秒为单位）。

默认值: 3600

--updated

等到 provisioningState 更新为“Succeeded”。

默认值: False

--workspace-name

工作区名称。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--only-show-errors

只显示错误，取消显示警告。

--output -o

输出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc

默认值: json

--query

JMESPath 查询字符串。有关更多信息和示例，请参阅 http://jmespath.org/。

--subscription

订阅的名称或 ID。可以使用 az account set -s NAME_OR_ID 配置默认订阅。

--verbose

提高日志记录详细程度。使用 --debug 获取完整的调试日志。

通过

az synapse spark pool

命令

az synapse spark pool create

示例

必需参数

可选参数

az synapse spark pool delete

示例

可选参数

az synapse spark pool list

示例

必需参数

az synapse spark pool show

示例

可选参数

az synapse spark pool update

示例

可选参数

az synapse spark pool wait

必需参数

可选参数

其他资源