你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

SynapseSparkJobDefinitionActivity 类

定义

执行 spark 作业活动。

public class SynapseSparkJobDefinitionActivity : Azure.ResourceManager.DataFactory.Models.ExecutionActivity
type SynapseSparkJobDefinitionActivity = class
    inherit ExecutionActivity
Public Class SynapseSparkJobDefinitionActivity
Inherits ExecutionActivity
继承
SynapseSparkJobDefinitionActivity

构造函数

SynapseSparkJobDefinitionActivity(String, SynapseSparkJobReference)

初始化 SynapseSparkJobDefinitionActivity 的新实例。

属性

AdditionalProperties

附加属性

若要将 对象分配给此属性的值,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)

若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)

示例:

  • BinaryData.FromObjectAsJson (“foo”) 创建“foo”的有效负载。
  • BinaryData.FromString (“\”foo\“”) 创建“foo”的有效负载。
  • BinaryData.FromObjectAsJson (new { key = “value” }) 创建 { “key”: “value” } 的有效负载。
  • BinaryData.FromString (“{\”key\“: \”value\“}”) 创建 { “key”: “value” } 的有效负载。

(继承自 PipelineActivity)
Arguments

用户为 SynapseSparkJobDefinitionActivity 指定参数。

若要将 对象分配给此属性的 元素,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)

若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)

示例:

  • BinaryData.FromObjectAsJson (“foo”) 创建“foo”的有效负载。
  • BinaryData.FromString (“\”foo\“”) 创建“foo”的有效负载。
  • BinaryData.FromObjectAsJson (new { key = “value” }) 创建 { “key”: “value” } 的有效负载。
  • BinaryData.FromString (“{\”key\“: \”value\“}”) 创建 { “key”: “value” } 的有效负载。

ClassName

main定义文件中的完全限定标识符或main类,这将替代提供的 Spark 作业定义的“className”。 类型:字符串 (或带有 resultType 字符串) 的表达式。

Conf

Spark 配置属性,将替代你提供的 Spark 作业定义的“conf”。

若要将对象分配给此属性,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)

若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)

示例:

  • BinaryData.FromObjectAsJson (“foo”) 创建“foo”的有效负载。
  • BinaryData.FromString (“\”foo\“”) 创建“foo”的有效负载。
  • BinaryData.FromObjectAsJson (new { key = “value” }) 创建 { “key”: “value” } 的有效负载。
  • BinaryData.FromString (“{\”key\“: \”value\“}”) 创建 { “key”: “value” } 的有效负载。

ConfigurationType

spark 配置的类型。

DependsOn

活动取决于条件。

(继承自 PipelineActivity)
Description

活动说明。

(继承自 PipelineActivity)
DriverSize

要用于在作业的指定 Spark 池中分配的驱动程序的核心数和内存数,该池将用于替代提供的 Spark 作业定义的“driverCores”和“driverMemory”。 类型:字符串 (或带有 resultType 字符串) 的表达式。

ExecutorSize

要用于作业的指定 Spark 池中分配的执行程序的核心数和内存数,该池将用于替代你提供的 Spark 作业定义的“executorCores”和“executorMemory”。 类型:字符串 (或带有 resultType 字符串) 的表达式。

File

用于作业的 main 文件,该文件将替代你提供的 Spark 作业定义的“文件”。 类型:字符串 (或带有 resultType 字符串) 的表达式。

Files

(已弃用。请使用 pythonCodeReference 和 filesV2) main 定义文件中用于引用的其他文件,这将替代你提供的 Spark 作业定义的“files”。

若要将 对象分配给此属性的 元素,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)

若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)

示例:

  • BinaryData.FromObjectAsJson (“foo”) 创建“foo”的有效负载。
  • BinaryData.FromString (“\”foo\“”) 创建“foo”的有效负载。
  • BinaryData.FromObjectAsJson (new { key = “value” }) 创建 { “key”: “value” } 的有效负载。
  • BinaryData.FromString (“{\”key\“: \”value\“}”) 创建 { “key”: “value” } 的有效负载。

FilesV2

用于main定义文件中引用的其他文件,该文件将替代你提供的 Spark 作业定义的“jars”和“files”。

若要将 对象分配给此属性的 元素,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)

若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)

示例:

  • BinaryData.FromObjectAsJson (“foo”) 创建“foo”的有效负载。
  • BinaryData.FromString (“\”foo\“”) 创建“foo”的有效负载。
  • BinaryData.FromObjectAsJson (new { key = “value” }) 创建 { “key”: “value” } 的有效负载。
  • BinaryData.FromString (“{\”key\“: \”value\“}”) 创建 { “key”: “value” } 的有效负载。

LinkedServiceName

链接服务引用。

(继承自 ExecutionActivity)
Name

活动名称。

(继承自 PipelineActivity)
NumExecutors

要为此作业启动的执行程序数,这将替代你提供的 Spark 作业定义的“numExecutors”。 类型:integer (或 expression with resultType integer) 。

OnInactiveMarkAs

当状态设置为“非活动”时活动的状态结果。 这是一个可选属性,如果在活动处于非活动状态时未提供,则状态默认为“成功”。

(继承自 PipelineActivity)
Policy

活动策略。

(继承自 ExecutionActivity)
PythonCodeReference

用于main定义文件中引用的其他 python 代码文件,该文件将替代你提供的 Spark 作业定义的“pyFiles”。

若要将 对象分配给此属性的 元素,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)

若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)

示例:

  • BinaryData.FromObjectAsJson (“foo”) 创建“foo”的有效负载。
  • BinaryData.FromString (“\”foo\“”) 创建“foo”的有效负载。
  • BinaryData.FromObjectAsJson (new { key = “value” }) 创建 { “key”: “value” } 的有效负载。
  • BinaryData.FromString (“{\”key\“: \”value\“}”) 创建 { “key”: “value” } 的有效负载。

ScanFolder

从主定义文件的根文件夹中扫描子文件夹时,这些文件将被添加为引用文件。 将扫描名为“jars”、“pyFiles”、“files”或“archives”的文件夹,并且文件夹名称区分大小写。 类型:布尔 (或 resultType 布尔) 表达式。

SparkConfig

Spark 配置属性。

若要将 对象分配给此属性的值,请使用 FromObjectAsJson<T>(T, JsonSerializerOptions)

若要将已格式化的 json 字符串分配给此属性,请使用 FromString(String)

示例:

  • BinaryData.FromObjectAsJson (“foo”) 创建“foo”的有效负载。
  • BinaryData.FromString (“\”foo\“”) 创建“foo”的有效负载。
  • BinaryData.FromObjectAsJson (new { key = “value” }) 创建 { “key”: “value” } 的有效负载。
  • BinaryData.FromString (“{\”key\“: \”value\“}”) 创建 { “key”: “value” } 的有效负载。

SparkJob

Synapse spark 作业参考。

State

活动状态。 这是一个可选属性,如果未提供,则状态默认为“活动”。

(继承自 PipelineActivity)
TargetBigDataPool

将用于执行 Spark 批处理作业的大数据池的名称,该池将替代你提供的 Spark 作业定义的“targetBigDataPool”。

TargetSparkConfiguration

spark 作业的 spark 配置。

UserProperties

活动用户属性。

(继承自 PipelineActivity)

适用于