你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
SynapseSparkJobDefinitionActivity 类
定义
重要
一些信息与预发行产品相关,相应产品在发行之前可能会进行重大修改。 对于此处提供的信息,Microsoft 不作任何明示或暗示的担保。
执行 spark 作业活动。
public class SynapseSparkJobDefinitionActivity : Azure.ResourceManager.DataFactory.Models.ExecutionActivity
type SynapseSparkJobDefinitionActivity = class
inherit ExecutionActivity
Public Class SynapseSparkJobDefinitionActivity
Inherits ExecutionActivity
- 继承
构造函数
SynapseSparkJobDefinitionActivity(String, SynapseSparkJobReference) |
初始化 SynapseSparkJobDefinitionActivity 的新实例。 |
属性
AdditionalProperties |
附加属性 若要将 对象分配给此属性的值,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)。 若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)。 示例:
|
Arguments |
用户为 SynapseSparkJobDefinitionActivity 指定参数。 若要将 对象分配给此属性的 元素,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)。 若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)。 示例:
|
ClassName |
main定义文件中的完全限定标识符或main类,这将替代提供的 Spark 作业定义的“className”。 类型:字符串 (或带有 resultType 字符串) 的表达式。 |
Conf |
Spark 配置属性,将替代你提供的 Spark 作业定义的“conf”。 若要将对象分配给此属性,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)。 若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)。 示例:
|
ConfigurationType |
spark 配置的类型。 |
DependsOn |
活动取决于条件。 (继承自 PipelineActivity) |
Description |
活动说明。 (继承自 PipelineActivity) |
DriverSize |
要用于在作业的指定 Spark 池中分配的驱动程序的核心数和内存数,该池将用于替代提供的 Spark 作业定义的“driverCores”和“driverMemory”。 类型:字符串 (或带有 resultType 字符串) 的表达式。 |
ExecutorSize |
要用于作业的指定 Spark 池中分配的执行程序的核心数和内存数,该池将用于替代你提供的 Spark 作业定义的“executorCores”和“executorMemory”。 类型:字符串 (或带有 resultType 字符串) 的表达式。 |
File |
用于作业的 main 文件,该文件将替代你提供的 Spark 作业定义的“文件”。 类型:字符串 (或带有 resultType 字符串) 的表达式。 |
Files |
(已弃用。请使用 pythonCodeReference 和 filesV2) main 定义文件中用于引用的其他文件,这将替代你提供的 Spark 作业定义的“files”。 若要将 对象分配给此属性的 元素,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)。 若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)。 示例:
|
FilesV2 |
用于main定义文件中引用的其他文件,该文件将替代你提供的 Spark 作业定义的“jars”和“files”。 若要将 对象分配给此属性的 元素,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)。 若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)。 示例:
|
LinkedServiceName |
链接服务引用。 (继承自 ExecutionActivity) |
Name |
活动名称。 (继承自 PipelineActivity) |
NumExecutors |
要为此作业启动的执行程序数,这将替代你提供的 Spark 作业定义的“numExecutors”。 类型:integer (或 expression with resultType integer) 。 |
OnInactiveMarkAs |
当状态设置为“非活动”时活动的状态结果。 这是一个可选属性,如果在活动处于非活动状态时未提供,则状态默认为“成功”。 (继承自 PipelineActivity) |
Policy |
活动策略。 (继承自 ExecutionActivity) |
PythonCodeReference |
用于main定义文件中引用的其他 python 代码文件,该文件将替代你提供的 Spark 作业定义的“pyFiles”。 若要将 对象分配给此属性的 元素,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)。 若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)。 示例:
|
ScanFolder |
从主定义文件的根文件夹中扫描子文件夹时,这些文件将被添加为引用文件。 将扫描名为“jars”、“pyFiles”、“files”或“archives”的文件夹,并且文件夹名称区分大小写。 类型:布尔 (或 resultType 布尔) 表达式。 |
SparkConfig |
Spark 配置属性。 若要将 对象分配给此属性的值,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)。 若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)。 示例:
|
SparkJob |
Synapse spark 作业参考。 |
State |
活动状态。 这是一个可选属性,如果未提供,则状态默认为“活动”。 (继承自 PipelineActivity) |
TargetBigDataPool |
将用于执行 Spark 批处理作业的大数据池的名称,该池将替代你提供的 Spark 作业定义的“targetBigDataPool”。 |
TargetSparkConfiguration |
spark 作业的 spark 配置。 |
UserProperties |
活动用户属性。 (继承自 PipelineActivity) |