azdata bdc spark session
适用范围:Azure Data CLI (azdata
)
以下文章提供了 azdata 工具中 sql 命令的参考。 有关其他 azdata 命令的详细信息,请参阅 azdata 参考
命令
命令 | 描述 |
---|---|
azdata bdc spark session create | 创建一个新的 Spark 会话。 |
azdata bdc spark session list | 列出 Spark 中的所有活动会话。 |
azdata bdc spark session info | 获取有关活动 Spark 会话的信息。 |
azdata bdc spark session log | 获取活动 Spark 会话的执行日志。 |
azdata bdc spark session state | 获取活动 Spark 会话的执行状态。 |
azdata bdc spark session delete | 删除 Spark 会话。 |
azdata bdc spark session create
这将创建一个新的交互式 Spark 会话。 调用方必须指定 Spark 会话的类型。 此会话超出 azdata 执行的生存期,必须使用“spark session delete”删除删除
azdata bdc spark session create [--session-kind -k]
[--jar-files -j]
[--py-files -p]
[--files -f]
[--driver-memory]
[--driver-cores]
[--executor-memory]
[--executor-cores]
[--executor-count]
[--archives -a]
[--queue -q]
[--name -n]
[--config -c]
[--timeout-seconds -t]
示例
创建会话。
azdata bdc spark session create --session-kind pyspark
可选参数
--session-kind -k
要创建的会话类型的名称。 spark、pyspark、sparkr 或 sql 之一。
--jar-files -j
jar 文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。
--py-files -p
python文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。
--files -f
文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。
--driver-memory
要分配给驱动程序的内存量。 将单位指定为值的一部分。 例如 512M 或 2G。
--driver-cores
要分配给驱动程序的 CPU 内核数。
--executor-memory
要分配给执行程序的内存量。 将单位指定为值的一部分。 例如 512M 或 2G。
--executor-cores
要分配给执行程序的 CPU 内核数。
--executor-count
要运行的执行程序的实例数。
--archives -a
存档路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。
--queue -q
要在其中执行会话的 Spark 队列的名称。
--name -n
Spark 会话的名称。
--config -c
包含 Spark 配置值的名称值对的列表。 编码为 JSON 字典。 示例:'{"name":"value", "name2":"value2"}'。
--timeout-seconds -t
会话空闲超时值(以秒为单位)。
全局参数
--debug
提高日志记录详细程度以显示所有调试日志。
--help -h
显示此帮助消息并退出。
--output -o
输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。
--query -q
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
--verbose
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
azdata bdc spark session list
列出 Spark 中的所有活动会话。
azdata bdc spark session list
示例
列出所有活动会话。
azdata spark session list
全局参数
--debug
提高日志记录详细程度以显示所有调试日志。
--help -h
显示此帮助消息并退出。
--output -o
输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。
--query -q
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
--verbose
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
azdata bdc spark session info
这将获取具有给定 ID 的活动 Spark 会话的会话信息。 会话 ID 从“spark session create”返回。
azdata bdc spark session info --session-id -i
示例
获取 ID 为 0 的会话的会话信息。
azdata spark session info --session-id 0
必需的参数
--session-id -i
Spark 会话 ID 号。
全局参数
--debug
提高日志记录详细程度以显示所有调试日志。
--help -h
显示此帮助消息并退出。
--output -o
输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。
--query -q
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
--verbose
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
azdata bdc spark session log
这将获取具有给定 ID 的活动 Spark 会话的会话日志条目。 会话 ID 从“spark session create”返回。
azdata bdc spark session log --session-id -i
示例
获取 ID 为 0 的会话的会话日志。
azdata spark session log --session-id 0
必需的参数
--session-id -i
Spark 会话 ID 号。
全局参数
--debug
提高日志记录详细程度以显示所有调试日志。
--help -h
显示此帮助消息并退出。
--output -o
输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。
--query -q
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
--verbose
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
azdata bdc spark session state
这将获取具有给定 ID 的活动 Spark 会话的会话状态。 会话 ID 从“spark session create”返回。
azdata bdc spark session state --session-id -i
示例
获取 ID 为 0 的会话的会话状态。
azdata spark session state --session-id 0
必需的参数
--session-id -i
Spark 会话 ID 号。
全局参数
--debug
提高日志记录详细程度以显示所有调试日志。
--help -h
显示此帮助消息并退出。
--output -o
输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。
--query -q
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
--verbose
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
azdata bdc spark session delete
这将删除交互式 Spark 会话。 会话 ID 从“spark session create”返回。
azdata bdc spark session delete --session-id -i
示例
删除会话。
azdata spark session delete --session-id 0
必需的参数
--session-id -i
Spark 会话 ID 号。
全局参数
--debug
提高日志记录详细程度以显示所有调试日志。
--help -h
显示此帮助消息并退出。
--output -o
输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。
--query -q
JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/。
--verbose
提高日志记录详细程度。 使用 --debug 获取完整的调试日志。
后续步骤
有关其他 azdata 命令的详细信息,请参阅 azdata 参考。
有关如何安装 azdata 工具的详细信息,请参阅安装 azdata。