你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Azure 数据工厂监视数据参考

本文包含此服务的所有监视参考信息。

请参阅监视数据工厂,详细了解可为 Azure 数据工厂收集的数据以及如何使用这些数据。

指标

本部分列出了为此服务自动收集的所有平台指标。 这些指标也是 Azure Monitor 中支持的所有平台指标的全局列表的一部分。

有关指标保留的信息,请参阅 Azure Monitor 指标概述

Microsoft.DataFactory/datafactories 支持的指标

下表列出了可用于 Microsoft.DataFactory/datafactories 资源类型的指标。

  • 并非所有列都显示在每个表中。
  • 某些列可能超出了页面的查看区域。 选择“展开表”以查看所有可用列。

表标题

  • 类别 - 指标组或分类。
  • 指标 - 在 Azure 门户中显示的指标显示名称。
  • REST API 中的名称 - 在 REST API 中引用的指标名称。
  • 单位 - 度量单位。
  • 聚合 - 默认的聚合类型。 有效值:平均值(平均)、最小值(最小值)、最大值(最大值)、总计(总和)、计数。
  • 维度 - 适用于指标的维度
  • 时间粒度 - 对指标采样的间隔。 例如,PT1M 表示该指标每分钟采样一次,PT30M 表示每 30 分钟一次,PT1H 表示每小时一次,以此类推。
  • DS 导出 - 是否可通过诊断设置将指标导出到 Azure Monitor 日志。 要了解如何导出指标的信息,请参阅在 Azure Monitor 中创建诊断设置
指标 REST API 中的名称 Unit 聚合 维度 时间粒度 DS 导出
失败的运行次数

失败的运行次数
FailedRuns 计数 总计(总和) pipelineName, activityName PT1H
成功的运行次数

成功的运行次数
SuccessfulRuns 计数 总计(总和) pipelineName, activityName PT1H

Microsoft.DataFactory/factories 支持的指标

下表列出了可用于 Microsoft.DataFactory/factories 资源类型的指标。

  • 并非所有列都显示在每个表中。
  • 某些列可能超出了页面的查看区域。 选择“展开表”以查看所有可用列。

表标题

  • 类别 - 指标组或分类。
  • 指标 - 在 Azure 门户中显示的指标显示名称。
  • REST API 中的名称 - 在 REST API 中引用的指标名称。
  • 单位 - 度量单位。
  • 聚合 - 默认的聚合类型。 有效值:平均值(平均)、最小值(最小值)、最大值(最大值)、总计(总和)、计数。
  • 维度 - 适用于指标的维度
  • 时间粒度 - 对指标采样的间隔。 例如,PT1M 表示该指标每分钟采样一次,PT30M 表示每 30 分钟一次,PT1H 表示每小时一次,以此类推。
  • DS 导出 - 是否可通过诊断设置将指标导出到 Azure Monitor 日志。 要了解如何导出指标的信息,请参阅在 Azure Monitor 中创建诊断设置
指标 REST API 中的名称 Unit 聚合 维度 时间粒度 DS 导出
已取消的活动运行指标

已取消的活动运行指标数
ActivityCancelledRuns 计数 总计(总和) ActivityType、、PipelineNameFailureType、、Name PT1M
失败的活动运行指标

失败的活动运行数指标
ActivityFailedRuns 计数 总计(总和) ActivityType、、PipelineNameFailureType、、Name PT1M
成功的活动运行指标

成功的活动运行数指标
ActivitySucceededRuns 计数 总计(总和) ActivityType、、PipelineNameFailureType、、Name PT1M
Airflow 集成运行时 Celery 任务超时错误

Airflow Integration Runtime Celery 任务超时错误
AirflowIntegrationRuntimeCeleryTaskTimeoutError 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时 Collect DB Dag

Airflow Integration Runtime Collect DB Dags
AirflowIntegrationRuntimeCollectDBDags 毫秒 平均值 IntegrationRuntimeName PT1M
Airflow 集成运行时 CPU 百分比

Airflow Integration Runtime CPU 百分比
AirflowIntegrationRuntimeCpuPercentage 百分比 平均值 IntegrationRuntimeName, ContainerName PT1M
Airflow Integration Runtime Cpu 使用率

Airflow Integration Runtime Cpu 使用率
AirflowIntegrationRuntimeCpuUsage 毫核 平均值 IntegrationRuntimeName, ContainerName PT1M
Airflow 集成运行时 Dag 包大小

Airflow Integration Runtime Dag 包大小
AirflowIntegrationRuntimeDagBagSize 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时 Dag 回调异常

Airflow Integration Runtime Dag 回调异常
AirflowIntegrationRuntimeDagCallbackExceptions 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时 DAG 文件刷新错误

Airflow Integration Runtime DAG 文件刷新错误
AirflowIntegrationRuntimeDAGFileRefreshError 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时 DAG 处理导入错误

Airflow Integration Runtime DAG 处理导入错误
AirflowIntegrationRuntimeDAGProcessingImportErrors 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时 DAG 处理上次持续时间

Airflow Integration Runtime DAG 处理上次持续时间
AirflowIntegrationRuntimeDAGProcessingLastDuration 毫秒 平均值 IntegrationRuntimeName, DagFile PT1M
Airflow 集成运行时 DAG 处理自上次运行以来的秒数

Airflow Integration Runtime DAG 上次在几秒之前运行处理
AirflowIntegrationRuntimeDAGProcessingLastRunSecondsAgo 平均值 IntegrationRuntimeName, DagFile PT1M
Airflow 集成运行时 DAG ProcessingManager 停滞

Airflow Integration Runtime DAG ProcessingManager 停滞
AirflowIntegrationRuntimeDAGProcessingManagerStalls 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时 DAG 处理进程

Airflow Integration Runtime DAG 处理进程
AirflowIntegrationRuntimeDAGProcessingProcesses 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时 DAG 处理处理器超时

Airflow Integration Runtime DAG 处理处理器超时
AirflowIntegrationRuntimeDAGProcessingProcessorTimeouts 平均值 IntegrationRuntimeName PT1M
Airflow 集成运行时 DAG 处理总分析时间

Airflow Integration Runtime DAG 处理总分析时间
AirflowIntegrationRuntimeDAGProcessingTotalParseTime 平均值 IntegrationRuntimeName PT1M
Airflow 集成运行时 DAG 运行依赖项检查

Airflow Integration Runtime DAG 运行依赖项检查
AirflowIntegrationRuntimeDAGRunDependencyCheck 毫秒 平均值 IntegrationRuntimeName, DagId PT1M
Airflow 集成运行时 DAG 失败运行持续时间

Airflow Integration Runtime DAG 失败运行持续时间
AirflowIntegrationRuntimeDAGRunDurationFailed 毫秒 平均值 IntegrationRuntimeName, DagId PT1M
Airflow 集成运行时 DAG 成功运行持续时间

Airflow Integration Runtime DAG 成功运行持续时间
AirflowIntegrationRuntimeDAGRunDurationSuccess 毫秒 平均值 IntegrationRuntimeName, DagId PT1M
Airflow 集成运行时 DAG 运行首次任务计划延迟

Airflow Integration Runtime DAG 运行首次任务计划延迟
AirflowIntegrationRuntimeDAGRunFirstTaskSchedulingDelay 毫秒 平均值 IntegrationRuntimeName, DagId PT1M
Airflow 集成运行时 DAG 运行计划延迟

Airflow Integration Runtime DAG 运行计划延迟
AirflowIntegrationRuntimeDAGRunScheduleDelay 毫秒 平均值 IntegrationRuntimeName, DagId PT1M
Airflow 集成运行时执行程序打开槽

Airflow Integration Runtime 执行程序打开槽
AirflowIntegrationRuntimeExecutorOpenSlots 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时执行程序排队任务数

Airflow Integration Runtime 执行程序将任务排队
AirflowIntegrationRuntimeExecutorQueuedTasks 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时执行程序正在运行的任务数

Airflow Integration Runtime 执行程序正在运行任务
AirflowIntegrationRuntimeExecutorRunningTasks 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时作业结束

Airflow Integration Runtime 作业结束
AirflowIntegrationRuntimeJobEnd 计数 总计(总和) IntegrationRuntimeName, Job PT1M
Airflow 集成运行时检测信号失败

Airflow Integration Runtime 检测信号失败
AirflowIntegrationRuntimeJobHeartbeatFailure 计数 总计(总和) IntegrationRuntimeName, Job PT1M
Airflow 集成运行时作业启动

Airflow Integration Runtime 作业开始
AirflowIntegrationRuntimeJobStart 计数 总计(总和) IntegrationRuntimeName, Job PT1M
Airflow 集成运行时内存百分比

Airflow Integration Runtime 内存百分比
AirflowIntegrationRuntimeMemoryPercentage 百分比 平均值 IntegrationRuntimeName, ContainerName PT1M
Airflow 集成运行时内存使用率

Airflow 集成运行时内存使用率
AirflowIntegrationRuntimeMemoryUsage 字节 平均值 IntegrationRuntimeName, ContainerName PT1M
Airflow 集成运行时节点计数

Airflow 集成运行时节点计数
AirflowIntegrationRuntimeNodeCount Count 平均值 IntegrationRuntimeName, ComputeNodeSize PT1M
Airflow 集成运行时运算符失败

Airflow Integration Runtime 运算符失败
AirflowIntegrationRuntimeOperatorFailures 计数 总计(总和) IntegrationRuntimeName, Operator PT1M
Airflow 集成运行时运算符成功

Airflow Integration Runtime 运算符成功
AirflowIntegrationRuntimeOperatorSuccesses 计数 总计(总和) IntegrationRuntimeName, Operator PT1M
Airflow 集成运行时池打开槽

Airflow Integration Runtime 池打开槽
AirflowIntegrationRuntimePoolOpenSlots 计数 总计(总和) IntegrationRuntimeName, Pool PT1M
Airflow 集成运行时池排队的槽数

Airflow Integration Runtime 池已将槽排队
AirflowIntegrationRuntimePoolQueuedSlots 计数 总计(总和) IntegrationRuntimeName, Pool PT1M
Airflow 集成运行时池正在运行的槽数

Airflow Integration Runtime 池正在运行槽
AirflowIntegrationRuntimePoolRunningSlots 计数 总计(总和) IntegrationRuntimeName, Pool PT1M
Airflow 集成运行时池任务资源枯竭

Airflow Integration Runtime 池任务资源枯竭
AirflowIntegrationRuntimePoolStarvingTasks 计数 总计(总和) IntegrationRuntimeName, Pool PT1M
Airflow 集成运行时计划程序关键分区繁忙

Airflow Integration Runtime 计划程序临界区繁忙
AirflowIntegrationRuntimeSchedulerCriticalSectionBusy 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序关键分区持续时间

Airflow Integration Runtime 计划程序临界区持续时间
AirflowIntegrationRuntimeSchedulerCriticalSectionDuration 毫秒 平均值 IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序失败 SLA 电子邮件尝试次数

Airflow Integration Runtime 计划程序失败 SLA 电子邮件尝试
AirflowIntegrationRuntimeSchedulerFailedSLAEmailAttempts 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序检测信号

Airflow Integration Runtime 计划程序检测信号
AirflowIntegrationRuntimeSchedulerHeartbeat 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序采用的孤立任务数

Airflow Integration Runtime 计划程序孤立任务已采用
AirflowIntegrationRuntimeSchedulerOrphanedTasksAdopted 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序清除的孤立任务数

Airflow Integration Runtime 计划程序孤立任务已清除
AirflowIntegrationRuntimeSchedulerOrphanedTasksCleared 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序可执行的任务数

Airflow Integration Runtime 计划程序任务可执行文件
AirflowIntegrationRuntimeSchedulerTasksExecutable 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序外部终止的任务数

Airflow Integration Runtime 计划程序任务已在外部终止
AirflowIntegrationRuntimeSchedulerTasksKilledExternally 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序正在运行的任务数

Airflow 集成运行时计划程序正在运行的任务数
AirflowIntegrationRuntimeSchedulerTasksRunning 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时计划程序任务资源枯竭

Airflow Integration Runtime 计划程序任务资源枯竭
AirflowIntegrationRuntimeSchedulerTasksStarving 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时已启动的任务实例

Airflow 集成运行时已启动的任务实例
AirflowIntegrationRuntimeStartedTaskInstances 计数 总计(总和) IntegrationRuntimeNameDagId、、 TaskId PT1M
Airflow 集成运行时使用运算符创建的任务实例

已使用运算符创建 Airflow Integration Runtime 任务实例
AirflowIntegrationRuntimeTaskInstanceCreatedUsingOperator 计数 总计(总和) IntegrationRuntimeName, Operator PT1M
Airflow 集成运行时任务实例持续时间

Airflow 集成运行时任务实例持续时间
AirflowIntegrationRuntimeTaskInstanceDuration 毫秒 平均值 IntegrationRuntimeNameDagId、、 TaskID PT1M
Airflow 集成运行时任务实例失败

Airflow Integration Runtime 任务实例失败
AirflowIntegrationRuntimeTaskInstanceFailures 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时任务实例已完成

Airflow Integration Runtime 任务实例已完成
AirflowIntegrationRuntimeTaskInstanceFinished 计数 总计(总和) IntegrationRuntimeName、、DagIdTaskId、、State PT1M
Airflow 集成运行时任务实例以前已成功

Airflow Integration Runtime 任务实例以前已成功
AirflowIntegrationRuntimeTaskInstancePreviouslySucceeded 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时任务实例成功

Airflow Integration Runtime 任务实例成功
AirflowIntegrationRuntimeTaskInstanceSuccesses 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时已从 DAG 中删除的任务

Airflow Integration Runtime 任务已从 DAG 中删除
AirflowIntegrationRuntimeTaskRemovedFromDAG 计数 总计(总和) IntegrationRuntimeName, DagId PT1M
Airflow 集成运行时已还原到 DAG 的任务

Airflow Integration Runtime 任务已还原到 DAG
AirflowIntegrationRuntimeTaskRestoredToDAG 计数 总计(总和) IntegrationRuntimeName, DagId PT1M
Airflow 集成运行时触发器已阻止主线程

Airflow Integration Runtime 触发器已阻塞主线程
AirflowIntegrationRuntimeTriggersBlockedMainThread 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时触发器失败

Airflow Integration Runtime 触发器失败
AirflowIntegrationRuntimeTriggersFailed 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时触发器正在运行

Airflow Integration Runtime 触发器正在运行
AirflowIntegrationRuntimeTriggersRunning 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时触发器成功

Airflow Integration Runtime 触发器成功
AirflowIntegrationRuntimeTriggersSucceeded 计数 总计(总和) IntegrationRuntimeName PT1M
Airflow 集成运行时僵尸任务已终止

Airflow Integration Runtime 僵尸任务已终止
AirflowIntegrationRuntimeZombiesKilled 计数 总计(总和) IntegrationRuntimeName PT1M
总工厂大小(以 GB 为单位)

总工厂大小(以 GB 为单位)
FactorySizeInGbUnits Count 最大值 <无> PT1M
集成运行时可用内存

集成运行时可用内存
IntegrationRuntimeAvailableMemory 字节 平均值 IntegrationRuntimeName, NodeName PT1M
集成运行时可用节点计数

集成运行时可用节点计数
IntegrationRuntimeAvailableNodeNumber 计数 平均值 IntegrationRuntimeName PT1M
集成运行时队列持续时间

集成运行时队列持续时间
IntegrationRuntimeAverageTaskPickupDelay 平均值 IntegrationRuntimeName PT1M
集成运行时 CPU 利用率

集成运行时 CPU 利用率
IntegrationRuntimeCpuPercentage 百分比 平均值 IntegrationRuntimeName, NodeName PT1M
集成运行时队列长度

集成运行时队列长度
IntegrationRuntimeQueueLength Count 平均值 IntegrationRuntimeName PT1M
允许的最大工厂大小(以 GB 为单位)

允许的最大工厂大小(以 GB 为单位)
MaxAllowedFactorySizeInGbUnits Count 最大值 <无> PT1M
允许的最大实体计数

允许的最大实体计数
MaxAllowedResourceCount Count 最大值 <无> PT1M
MVNet 集成运行时的副本可用容量百分比

MVNet 集成运行时的副本可用容量百分比
MVNetIRCopyAvailableCapacityPCT 百分比 最大值 IntegrationRuntimeName PT1M
MVNet 集成运行时的副本容量利用率

MVNet 集成运行时的副本容量利用率
MVNetIRCopyCapacityUtilization 百分比 最大值 IntegrationRuntimeName PT1M
MVNet 集成运行时的副本等待队列长度

MVNet 集成运行时的副本等待队列长度
MVNetIRCopyWaitingQueueLength Count 平均值 IntegrationRuntimeName PT1M
MVNet 集成运行时的外部可用容量百分比

MVNet 集成运行时的外部可用容量百分比
MVNetIRExternalAvailableCapacityPCT 百分比 最大值 IntegrationRuntimeName PT1M
MVNet 集成运行时的外部容量利用率

MVNet 集成运行时的外部容量利用率
MVNetIRExternalCapacityUtilization 百分比 最大值 IntegrationRuntimeName PT1M
MVNet 集成运行时的外部等待队列长度

MVNet 集成运行时的外部等待队列长度
MVNetIRExternalWaitingQueueLength Count 平均值 IntegrationRuntimeName PT1M
MVNet 集成运行时的管道可用容量百分比

MVNet 集成运行时的管道可用容量百分比
MVNetIRPipelineAvailableCapacityPCT 百分比 最大值 IntegrationRuntimeName PT1M
MVNet 集成运行时的管道容量利用率

MVNet 集成运行时的管道容量利用率
MVNetIRPipelineCapacityUtilization 百分比 最大值 IntegrationRuntimeName PT1M
MVNet 集成运行时的管道等待队列长度

MVNet 集成运行时的管道等待队列长度
MVNetIRPipelineWaitingQueueLength Count 平均值 IntegrationRuntimeName PT1M
已取消的管道运行指标

已取消的管道运行指标数
PipelineCancelledRuns 计数 总计(总和) FailureTypeCancelledBy、、 Name PT1M
运行时间管道运行指标

运行时间管道运行指标
PipelineElapsedTimeRuns 计数 总计(总和) RunId, Name PT1M
失败的管道运行指标

失败的管道运行数指标
PipelineFailedRuns 计数 总计(总和) FailureType, Name PT1M
成功的管道运行指标

成功的管道运行数指标
PipelineSucceededRuns 计数 总计(总和) FailureType, Name PT1M
实体总数

实体总数
ResourceCount Count 最大值 <无> PT1M
已取消的 SSIS 集成运行时启动指标

已取消的 SSIS 集成运行时启动指标
SSISIntegrationRuntimeStartCancel 计数 总计(总和) IntegrationRuntimeName PT1M
失败的 SSIS 集成运行时启动指标

失败的 SSIS 集成运行时启动指标
SSISIntegrationRuntimeStartFailed 计数 总计(总和) IntegrationRuntimeName PT1M
成功的 SSIS 集成运行时启动指标

成功的 SSIS 集成运行时启动指标
SSISIntegrationRuntimeStartSucceeded 计数 总计(总和) IntegrationRuntimeName PT1M
停滞的 SSIS 集成运行时停止指标

停滞的 SSIS 集成运行时停止指标
SSISIntegrationRuntimeStopStuck 计数 总计(总和) IntegrationRuntimeName PT1M
成功的 SSIS 集成运行时停止指标

成功的 SSIS 集成运行时停止指标
SSISIntegrationRuntimeStopSucceeded 计数 总计(总和) IntegrationRuntimeName PT1M
已取消的 SSIS 包执行指标

已取消的 SSIS 包执行指标
SSISPackageExecutionCancel 计数 总计(总和) IntegrationRuntimeName PT1M
失败的 SSIS 包执行指标

失败的 SSIS 包执行指标
SSISPackageExecutionFailed 计数 总计(总和) IntegrationRuntimeName PT1M
成功的 SSIS 包执行指标

已成功的 SSIS 包执行指标
SSISPackageExecutionSucceeded 计数 总计(总和) IntegrationRuntimeName PT1M
已取消的触发器运行指标

已取消的触发器运行指标数
TriggerCancelledRuns 计数 总计(总和) Name, FailureType PT1M
失败的触发器运行指标

失败的触发器运行数指标
TriggerFailedRuns 计数 总计(总和) Name, FailureType PT1M
成功的触发器运行指标

成功的触发器运行数指标
TriggerSucceededRuns 计数 总计(总和) Name, FailureType PT1M

注意

仅发出已完成的、已触发活动的和管道运行中的事件,PipelineElapsedTimeRuns 除外。 不会发出正在进行的运行和调试运行。 但将发出所有 SSIS 包执行的事件,包括已完成和正在进行的事件,而无论使用何种调用方法。 例如,可通过 SQL Server Management Studio、SQL Server 代理或其他指定工具上的 T-SQL,或作为数据工厂管道中“执行 SSIS 包”活动的已触发运行或调试运行,在已启用 Azure 的 SQL Server Data Tools 上调用包执行。

指标维度

有关指标维度定义的信息,请参阅多维指标

此服务具有以下与其指标关联的维度。

Microsoft.DataFactory/datafactories

  • pipelineName
  • activityName

Microsoft.DataFactory/factories

  • ActivityType
  • PipelineName
  • FailureType
  • 名称
  • IntegrationRuntimeName
  • ContainerName
  • DagFile
  • DagId
  • ComputeNodeSize
  • 作业
  • 操作员
  • TaskId
  • State
  • NodeName
  • CancelledBy
  • RunId

资源日志

本部分列出了可为此服务收集的资源日志类型。 本部分拉取自 Azure Monitor 支持的所有资源日志类别类型列表。

Microsoft.DataFactory/factories 支持的资源日志

Category 类别显示名称 日志表 支持基本日志计划 支持引入时间转换 示例查询 导出成本
ActivityRuns 管道活动运行日志 ADFActivityRun 查询
AirflowDagProcessingLogs Airflow dag 处理日志 AirflowDagProcessingLogs

ADF Airflow dag 处理日志

AirflowSchedulerLogs Airflow 计划程序日志 ADFAirflowSchedulerLogs

ADF Airflow 计划程序日志

AirflowTaskLogs Airflow 任务执行日志 ADFAirflowTaskLogs

ADF Airflow 任务日志

AirflowWebLogs Airflow Web 日志 ADFAirflowWebLogs

ADF Airflow Web 日志

AirflowWorkerLogs Airflow 辅助角色日志 ADFAirflowWorkerLogs

ADF Airflow 辅助角色日志

PipelineRuns 管道运行日志 ADFPipelineRun 查询
SandboxActivityRuns 沙盒活动运行日志 ADFSandboxActivityRun
SandboxPipelineRuns 沙盒管道运行日志 ADFSandboxPipelineRun
SSISIntegrationRuntimeLogs SSIS 集成运行时日志 ADFSSISIntegrationRuntimeLogs

ADF SSIS 集成运行时日志

SSISPackageEventMessageContext SSIS 包事件消息上下文 ADFSSISPackageEventMessageContext

ADF SSIS 包执行事件消息上下文

SSISPackageEventMessages SSIS 包事件消息 ADFSSISPackageEventMessages

ADF SSIS 包执行事件消息

SSISPackageExecutableStatistics SSIS 包可执行文件统计信息 ADFSSISPackageExecutableStatistics

ADF SSIS 包执行可执行文件统计信息

SSISPackageExecutionComponentPhases SSIS 执行组件阶段 ADFSSISPackageExecutionComponentPhases

ADF SSIS 包执行组件阶段

SSISPackageExecutionDataStatistics SSIS 包执行数据统计信息 ADFSSISPackageExecutionDataStatistics

ADF SSIS 包执行数据统计信息

TriggerRuns 触发器运行日志 ADFTriggerRun 查询

Azure Monitor 日志表

本节列出了与此服务相关的 Azure Monitor 日志表,日志分析可使用 Kusto 查询来查询这些表。 这些表包含资源日志数据,此外还可能包含其他数据,具体取决于所收集并路由到这些表的内容。

数据工厂

Microsoft.DataFactory/factories

日志和事件的 Monitor 和 Log Analytics 架构

本部分列出了 Azure Monitor 和 Log Analytics 架构用于监视日志和事件的属性。

Log Analytics 从 Azure Monitor 继承架构,但存在以下例外情况:

  • 每个列名中的第一个字母会大写。 例如,Monitor 中的列名“correlationId”在 Log Analytics 中为“CorrelationId”

  • 没有“Level”列

  • 动态“properties”列保留为以下动态 JSON Blob 类型

    Azure Monitor 列 Log Analytics 列 类型
    $.properties.UserProperties UserProperties 动态
    $.properties.Annotations 批注 动态
    $.properties.Input 输入 动态
    $.properties.Output 输出 动态
    $.properties.Error.errorCode ErrorCode int
    $.properties.Error.message ErrorMessage string
    $.properties.Error 错误 动态
    $.properties.Predecessors Predecessors 动态
    $.properties.Parameters parameters 动态
    $.properties.SystemParameters SystemParameters 动态
    $.properties.Tags Tags 动态

活动运行日志属性

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "activityRunId":"",
   "pipelineRunId":"",
   "resourceId":"",
   "category":"ActivityRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "activityName":"",
   "start":"",
   "end":"",
   "properties":
       {
          "Input": "{
              "source": {
                "type": "BlobSource"
              },
              "sink": {
                "type": "BlobSink"
              }
           }",
          "Output": "{"dataRead":121,"dataWritten":121,"copyDuration":5,
               "throughput":0.0236328132,"errors":[]}",
          "Error": "{
              "errorCode": "null",
              "message": "null",
              "failureType": "null",
              "target": "CopyBlobtoBlob"
        }
    }
}
属性 类型​​ 说明 示例
级别 String 诊断日志的级别。 对于活动运行日志,请将该属性值设置为 4。 4
correlationId String 用于跟踪特定请求的唯一 ID。 aaaa0000-bb11-2222-33cc-444444dddddd
time String 事件的时间,以时间跨度表示,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
activityRunId String 活动运行的 ID。 3a171e1f-b36e-4b80-8a54-5625394f4354
pipelineRunId String 管道运行的 ID。 9f6069d6-e522-4608-9f99-21807bfc3c70
resourceId String 与数据工厂资源关联的 ID。 /SUBSCRIPTIONS/<subID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>
category String 诊断日志的类别。 请将该属性值设置为 ActivityRuns ActivityRuns
level String 诊断日志的级别。 请将该属性值设置为 Informational Informational
operationName String 活动的名称及其状态。 如果活动是启动检测信号,则属性值为 MyActivity -。 如果活动是结束检测信号,则属性值为 MyActivity - Succeeded MyActivity - Succeeded
pipelineName String 管道的名称。 MyPipeline
activityName String 活动的名称。 MyActivity
start String 活动运行的开始时间,以时间跨度表示,采用 UTC 格式。 2017-06-26T20:55:29.5007959Z
end String 活动运行的结束时间,以时间跨度表示,采用 UTC 格式。 如果诊断日志显示活动已启动但尚未结束,则该属性值为 1601-01-01T00:00:00Z 2017-06-26T20:55:29.5007959Z

管道运行日志属性

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "runId":"",
   "resourceId":"",
   "category":"PipelineRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "start":"",
   "end":"",
   "status":"",
   "location": "",
   "properties":
    {
      "Parameters": {
        "<parameter1Name>": "<parameter1Value>"
      },
      "SystemParameters": {
        "ExecutionStart": "",
        "TriggerId": "",
        "SubscriptionId": ""
      },
      "Predecessors": [
            {
                "Name": "",
                "Id": "",
                "InvokedByType": ""
            }
        ]
    }
}
属性 类型​​ 说明 示例
级别 String 诊断日志的级别。 对于活动运行日志,请将该属性值设置为 4。 4
correlationId String 用于跟踪特定请求的唯一 ID。 aaaa0000-bb11-2222-33cc-444444dddddd
time String 事件的时间,以时间跨度表示,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
runId String 管道运行的 ID。 9f6069d6-e522-4608-9f99-21807bfc3c70
resourceId String 与数据工厂资源关联的 ID。 /SUBSCRIPTIONS/<subID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>
category String 诊断日志的类别。 请将该属性值设置为 PipelineRuns PipelineRuns
level String 诊断日志的级别。 请将该属性值设置为 Informational Informational
operationName String 管道的名称及其状态。 管道运行完成后,该属性值为 Pipeline - Succeeded MyPipeline - Succeeded
pipelineName String 管道的名称。 MyPipeline
start String 活动运行的开始时间,以时间跨度表示,采用 UTC 格式。 2017-06-26T20:55:29.5007959Z
end String 活动运行的结束时间,以时间跨度表示,采用 UTC 格式。 如果诊断日志显示活动已启动但尚未结束,则该属性值为 1601-01-01T00:00:00Z 2017-06-26T20:55:29.5007959Z
status String 管道运行的最终状态。 可能的属性值为 SucceededFailed Succeeded
location String 管道运行的 Azure 区域。 eastasia
predecessors 字符串 管道的调用对象以及 ID。 Manual

触发器运行日志属性

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "triggerId":"",
   "resourceId":"",
   "category":"TriggerRuns",
   "level":"Informational",
   "operationName":"",
   "triggerName":"",
   "triggerType":"",
   "triggerEvent":"",
   "start":"",
   "status":"",
   "properties":
   {
      "Parameters": {
        "TriggerTime": "",
       "ScheduleTime": ""
      },
      "SystemParameters": {}
    }
}
属性 类型​​ 说明 示例
级别 String 诊断日志的级别。 对于活动运行日志,请将该属性值设置为 4。 4
correlationId String 用于跟踪特定请求的唯一 ID。 aaaa0000-bb11-2222-33cc-444444dddddd
time String 事件的时间,以时间跨度表示,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
triggerId String 触发器运行的 ID。 08587023010602533858661257311
resourceId String 与数据工厂资源关联的 ID。 /SUBSCRIPTIONS/<subID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>
category String 诊断日志的类别。 请将该属性值设置为 PipelineRuns PipelineRuns
level String 诊断日志的级别。 请将该属性值设置为 Informational Informational
operationName String 触发器的名称及其最终状态(指示是否已成功激发该触发器)。 如果检测信号成功,则该属性值为 MyTrigger - Succeeded MyTrigger - Succeeded
triggerName String 触发器的名称。 MyTrigger
triggerType String 触发器的类型。 可能的属性值为 Manual TriggerSchedule Trigger ScheduleTrigger
triggerEvent String 触发器的事件。 ScheduleTime - 2017-07-06T01:50:25Z
start String 激发触发器的开始时间,以时间跨度表示,采用 UTC 格式。 2017-06-26T20:55:29.5007959Z
status String 最终状态(指示是否已成功激发该触发器)。 可能的属性值为 SucceededFailed Succeeded

SSIS Integration Runtime 日志特性

以下是 SQL Server Integration Services (SSIS) 集成运行时 (IR) 启动、停止和维护操作的日志属性。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "resultType": "",
   "properties": {
      "message": ""
   },
   "resourceId": ""
}
属性 类型​​ 说明 示例
time String 事件的时间,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
operationName String SSIS IR 操作的名称 Start/Stop/Maintenance/Heartbeat
category String 诊断日志的类别 SSISIntegrationRuntimeLogs
correlationId String 用于跟踪特定操作的唯一 ID f13b159b-515f-4885-9dfa-a664e949f785Deprovision0059035558
dataFactoryName String 数据工厂的名称 MyADFv2
integrationRuntimeName String SSIS IR 的名称 MySSISIR
level String 诊断日志的级别 Informational
resultType String SSIS IR 操作的结果 Started/InProgress/Succeeded/Failed/Healthy/Unhealthy
message String SSIS IR 操作的输出消息 The stopping of your SSIS integration runtime has succeeded.
resourceId String 数据工厂资源的唯一 ID /SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>

SSIS 事件消息上下文日志特性

下面是与 SSIS IR 上的 SSIS 包执行生成的事件消息相关的条件的日志特性。 它们传递的信息与 SSIS 目录 (SSISDB) 事件消息上下文表或视图类似后者显示许多 SSIS 包属性的运行时值。 它们在选择 Basic/Verbose 日志记录级别时生成,可用于调试/符合性检查。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "contextDepth": "",
      "packagePath": "",
      "contextType": "",
      "contextSourceName": "",
      "contextSourceId": "",
      "propertyName": "",
      "propertyValue": ""
   },
   "resourceId": ""
}
属性 类型​​ 说明 示例
time String 事件的时间,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
operationName String 设置为 YourSSISIRName-SSISPackageEventMessageContext mysqlmissisir-SSISPackageEventMessageContext
category String 诊断日志的类别 SSISPackageEventMessageContext
correlationId String 用于跟踪特定操作的唯一 ID bbbb1111-cc22-3333-44dd-555555eeeeee
dataFactoryName String 数据工厂的名称 MyADFv2
integrationRuntimeName String SSIS IR 的名称 MySSISIR
level String 诊断日志的级别 Informational
operationId String 用于跟踪 SSISDB 中的特定操作的唯一 ID 1(1 表示与未存储在 SSISDB 中/通过 T-SQL 调用的包相关的操作。)
contextDepth String 事件消息上下文的深度 0(0 表示在包执行开始之前的上下文,1 表示发生错误时的上下文,该数字将随着上下文离错误的距离的增加而增大。)
packagePath String 作为事件消息上下文源的包对象的路径 \Package
contextType String 作为事件消息上下文源的包对象的类型 60(请参阅更多上下文类型。)
contextSourceName String 作为事件消息上下文源的包对象的名称 MyPackage
contextSourceId String 作为事件消息上下文源的包对象的唯一 ID {E2CF27FB-EA48-41E9-AF6F-3FE938B4ADE1}
propertyName String 事件消息上下文源的包属性的名称 DelayValidation
propertyValue String 事件消息上下文源的包属性的值 False
resourceId String 数据工厂资源的唯一 ID /SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>

SSIS 事件消息日志特性

下面是通过 SSIS IR 上的 SSIS 包执行操作生成的事件消息的日志特性。 它们传递的信息与 SSISDB 事件消息表或视图类似,后者显示事件消息的详细文本或元数据。 它们可以在除 None 之外的任何日志记录级别生成。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "messageTime": "",
      "messageType": "",
      "messageSourceType": "",
      "message": "",
      "packageName": "",
      "eventName": "",
      "messageSourceName": "",
      "messageSourceId": "",
      "subcomponentName": "",
      "packagePath": "",
      "executionPath": "",
      "threadId": ""
   }
}
properties 类型​​ 说明 示例
time String 事件的时间,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
operationName String 设置为 YourSSISIRName-SSISPackageEventMessages mysqlmissisir-SSISPackageEventMessages
category String 诊断日志的类别 SSISPackageEventMessages
correlationId String 用于跟踪特定操作的唯一 ID bbbb1111-cc22-3333-44dd-555555eeeeee
dataFactoryName String 数据工厂的名称 MyADFv2
integrationRuntimeName String SSIS IR 的名称 MySSISIR
level String 诊断日志的级别 Informational
operationId String 用于跟踪 SSISDB 中的特定操作的唯一 ID 1(1 表示与未存储在 SSISDB 中/通过 T-SQL 调用的包相关的操作。)
messageTime 字符串 创建事件消息的时间(采用 UTC 格式) 2017-06-28T21:00:27.3534352Z
messageType 字符串 事件消息的类型 70(请参阅更多消息类型。)
messageSourceType 字符串 事件消息源的类型 20(请参阅更多消息源类型。)
message String 事件消息的文本 MyPackage:Validation has started.
packageName 字符串 已执行的包文件的名称 MyPackage.dtsx
eventName 字符串 相关运行时事件的名称 OnPreValidate
messageSourceName 字符串 作为事件消息源的包组件的名称 Data Flow Task
messageSourceId 字符串 作为事件消息源的包组件的唯一 ID {1a45a5a4-3df9-4f02-b818-ebf583829ad2}
subcomponentName 字符串 作为事件消息源的数据流组件的名称 SSIS.Pipeline
packagePath String 作为事件消息源的包对象的路径 \Package\Data Flow Task
executionPath 字符串 从父包到已执行组件的完整路径 \Transformation\Data Flow Task(此路径还捕获组件迭代。)
threadId 字符串 记录事件消息时执行的线程的唯一 ID {1a45a5a4-3df9-4f02-b818-ebf583829ad2}

SSIS 可执行文件统计信息日志特性

下面是通过 SSIS IR 上的 SSIS 包执行操作生成的可执行文件统计信息的日志特性,其中的可执行文件是包的控制流中的容器或任务。 它们传递的信息与 SSISDB 可执行文件统计信息表或视图类似,后者显示每个运行的可执行文件(包括其迭代)的一行。 它们可在除 None 之外的任何日志记录级别生成,用于识别任务级瓶颈或失败。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "executionPath": "",
      "startTime": "",
      "endTime": "",
      "executionDuration": "",
      "executionResult": "",
      "executionValue": ""
   },
   "resourceId": ""
}
属性 类型​​ 说明 示例
time String 事件的时间,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
operationName String 设置为 YourSSISIRName-SSISPackageExecutableStatistics mysqlmissisir-SSISPackageExecutableStatistics
category String 诊断日志的类别 SSISPackageExecutableStatistics
correlationId String 用于跟踪特定操作的唯一 ID bbbb1111-cc22-3333-44dd-555555eeeeee
dataFactoryName String 数据工厂的名称 MyADFv2
integrationRuntimeName String SSIS IR 的名称 MySSISIR
level String 诊断日志的级别 Informational
executionId 字符串 用于跟踪 SSISDB 中的特定执行的唯一 ID 1(1 表示与未存储在 SSISDB 中/通过 T-SQL 调用的包相关的执行。)
executionPath 字符串 从父包到已执行组件的完整路径 \Transformation\Data Flow Task(此路径还捕获组件迭代。)
startTime String 可执行文件进入执行前阶段的时间(采用 UTC 格式) 2017-06-28T21:00:27.3534352Z
endTime String 可执行文件进入执行后阶段的时间(采用 UTC 格式) 2017-06-28T21:00:27.3534352Z
executionDuration 字符串 可执行文件的运行时间(毫秒) 1,125
executionResult 字符串 运行可执行文件的结果 0(0 表示成功,1 表示失败,2 表示完成,3 表示取消。)
executionValue 字符串 通过运行可执行文件返回的用户定义的值 1
resourceId String 数据工厂资源的唯一 ID /SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>

SSIS 执行组件阶段日志特性

以下是通过 SSIS IR 上的 SSIS 包执行生成的数据流组件的运行时统计信息的日志属性。 它们传递的信息与 SSISDB 执行组件阶段表或视图类似,后者显示数据流组件在其所有执行阶段中花费的时间。 当你选择 Performance/Verbose 日志记录级别时会生成它们,用于捕获数据流执行统计信息。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "subcomponentName": "",
      "phase": "",
      "startTime": "",
      "endTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}
properties 类型​​ 说明 示例
time String 事件的时间,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
operationName String 设置为 YourSSISIRName-SSISPackageExecutionComponentPhases mysqlmissisir-SSISPackageExecutionComponentPhases
category String 诊断日志的类别 SSISPackageExecutionComponentPhases
correlationId String 用于跟踪特定操作的唯一 ID bbbb1111-cc22-3333-44dd-555555eeeeee
dataFactoryName String 数据工厂的名称 MyADFv2
integrationRuntimeName String SSIS IR 的名称 MySSISIR
level String 诊断日志的级别 Informational
executionId 字符串 用于跟踪 SSISDB 中的特定执行的唯一 ID 1(1 表示与未存储在 SSISDB 中/通过 T-SQL 调用的包相关的执行。)
packageName 字符串 已执行的包文件的名称 MyPackage.dtsx
taskName 字符串 执行的数据流任务的名称 Data Flow Task
subcomponentName 字符串 数据流组件的名称 Derived Column
phase 字符串 执行阶段的名称 AcquireConnections
startTime String 执行阶段的开始时间(采用 UTC 格式) 2017-06-28T21:00:27.3534352Z
endTime String 执行阶段的结束时间(采用 UTC 格式) 2017-06-28T21:00:27.3534352Z
executionPath 字符串 数据流任务的执行路径 \Transformation\Data Flow Task
resourceId String 数据工厂资源的唯一 ID /SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>

SSIS 执行数据统计信息日志特性

下面是通过数据流管道的每个分支进行的从上游组件到下游组件的数据移动的日志特性,这些特性通过 SSIS IR 上的 SSIS 包执行操作生成。 它们传递的信息与 SSISDB 执行数据统计信息表或视图类似,后者显示通过数据流任务移动的数据的行数。 当你选择 Verbose 日志记录级别时会生成它们,用于计算数据流吞吐量。

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "dataflowPathIdString": "",
      "dataflowPathName": "",
      "sourceComponentName": "",
      "destinationComponentName": "",
      "rowsSent": "",
      "createdTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}
properties 类型​​ 说明 示例
time String 事件的时间,采用 UTC 格式 YYYY-MM-DDTHH:MM:SS.00000Z 2017-06-28T21:00:27.3534352Z
operationName String 设置为 YourSSISIRName-SSISPackageExecutionDataStatistics mysqlmissisir-SSISPackageExecutionDataStatistics
category String 诊断日志的类别 SSISPackageExecutionDataStatistics
correlationId String 用于跟踪特定操作的唯一 ID bbbb1111-cc22-3333-44dd-555555eeeeee
dataFactoryName String 数据工厂的名称 MyADFv2
integrationRuntimeName String SSIS IR 的名称 MySSISIR
level String 诊断日志的级别 Informational
executionId 字符串 用于跟踪 SSISDB 中的特定执行的唯一 ID 1(1 表示与未存储在 SSISDB 中/通过 T-SQL 调用的包相关的执行。)
packageName 字符串 已执行的包文件的名称 MyPackage.dtsx
taskName 字符串 执行的数据流任务的名称 Data Flow Task
dataflowPathIdString 字符串 用于跟踪数据流路径的唯一 ID Paths[SQLDB Table3.ADO NET Source Output]
dataflowPathName 字符串 数据流路径的名称 ADO NET Source Output
sourceComponentName 字符串 发送数据的数据流组件的名称 SQLDB Table3
destinationComponentName 字符串 接收数据的数据流组件的名称 Derived Column
rowsSent 字符串 由源组件发送的行数 500
createdTime 字符串 获取行值的时间(采用 UTC 格式) 2017-06-28T21:00:27.3534352Z
executionPath 字符串 数据流任务的执行路径 \Transformation\Data Flow Task
resourceId String 数据工厂资源的唯一 ID /SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resourceGroupName>/PROVIDERS/MICROSOFT.DATAFACTORY/FACTORIES/<dataFactoryName>

活动日志

链接表列出了可在此服务的活动日志中记录的操作。 这些操作是活动日志中所有可能的资源提供程序操作的子集。

有关活动日志条目架构的详细信息,请参阅活动日志架构