azdata bdc spark session

适用范围:Azure Data CLI (azdata)

以下文章提供了 azdata 工具中 sql 命令的参考。 有关其他 azdata 命令的详细信息,请参阅 azdata 参考

命令

命令 描述
azdata bdc spark session create 创建一个新的 Spark 会话。
azdata bdc spark session list 列出 Spark 中的所有活动会话。
azdata bdc spark session info 获取有关活动 Spark 会话的信息。
azdata bdc spark session log 获取活动 Spark 会话的执行日志。
azdata bdc spark session state 获取活动 Spark 会话的执行状态。
azdata bdc spark session delete 删除 Spark 会话。

azdata bdc spark session create

这将创建一个新的交互式 Spark 会话。 调用方必须指定 Spark 会话的类型。 此会话超出 azdata 执行的生存期,必须使用“spark session delete”删除删除

azdata bdc spark session create [--session-kind -k] 
                                [--jar-files -j]  
                                
[--py-files -p]  
                                
[--files -f]  
                                
[--driver-memory]  
                                
[--driver-cores]  
                                
[--executor-memory]  
                                
[--executor-cores]  
                                
[--executor-count]  
                                
[--archives -a]  
                                
[--queue -q]  
                                
[--name -n]  
                                
[--config -c]  
                                
[--timeout-seconds -t]

示例

创建会话。

azdata bdc spark session create --session-kind pyspark

可选参数

--session-kind -k

要创建的会话类型的名称。 spark、pyspark、sparkr 或 sql 之一。

--jar-files -j

jar 文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--py-files -p

python文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--files -f

文件路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--driver-memory

要分配给驱动程序的内存量。 将单位指定为值的一部分。 例如 512M 或 2G。

--driver-cores

要分配给驱动程序的 CPU 内核数。

--executor-memory

要分配给执行程序的内存量。 将单位指定为值的一部分。 例如 512M 或 2G。

--executor-cores

要分配给执行程序的 CPU 内核数。

--executor-count

要运行的执行程序的实例数。

--archives -a

存档路径列表。 若要传入列表,JSON 会对值进行编码。 示例:‘["entry1", "entry2"]’。

--queue -q

要在其中执行会话的 Spark 队列的名称。

--name -n

Spark 会话的名称。

--config -c

包含 Spark 配置值的名称值对的列表。 编码为 JSON 字典。 示例:'{"name":"value", "name2":"value2"}'。

--timeout-seconds -t

会话空闲超时值(以秒为单位)。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark session list

列出 Spark 中的所有活动会话。

azdata bdc spark session list 

示例

列出所有活动会话。

azdata spark session list

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark session info

这将获取具有给定 ID 的活动 Spark 会话的会话信息。 会话 ID 从“spark session create”返回。

azdata bdc spark session info --session-id -i 
                              

示例

获取 ID 为 0 的会话的会话信息。

azdata spark session info --session-id 0

必需的参数

--session-id -i

Spark 会话 ID 号。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark session log

这将获取具有给定 ID 的活动 Spark 会话的会话日志条目。 会话 ID 从“spark session create”返回。

azdata bdc spark session log --session-id -i 
                             

示例

获取 ID 为 0 的会话的会话日志。

azdata spark session log --session-id 0

必需的参数

--session-id -i

Spark 会话 ID 号。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark session state

这将获取具有给定 ID 的活动 Spark 会话的会话状态。 会话 ID 从“spark session create”返回。

azdata bdc spark session state --session-id -i 
                               

示例

获取 ID 为 0 的会话的会话状态。

azdata spark session state --session-id 0

必需的参数

--session-id -i

Spark 会话 ID 号。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

azdata bdc spark session delete

这将删除交互式 Spark 会话。 会话 ID 从“spark session create”返回。

azdata bdc spark session delete --session-id -i 
                                

示例

删除会话。

azdata spark session delete --session-id 0

必需的参数

--session-id -i

Spark 会话 ID 号。

全局参数

--debug

提高日志记录详细程度以显示所有调试日志。

--help -h

显示此帮助消息并退出。

--output -o

输出格式。 允许的值:json、jsonc、table、tsv。 默认值:json。

--query -q

JMESPath 查询字符串。 有关更多信息和示例,请参阅 http://jmespath.org/

--verbose

提高日志记录详细程度。 使用 --debug 获取完整的调试日志。

后续步骤

有关其他 azdata 命令的详细信息,请参阅 azdata 参考

有关如何安装 azdata 工具的详细信息,请参阅安装 azdata