将 Azure Blob 存储事件源添加到事件流(预览版)
本文介绍如何将 Azure Blob 存储事件源添加到事件流。 事件是完全描述系统中所发生情况的最少量信息。 当客户端创建、替换或删除 Blob 时,将触发 Azure Blob 存储事件。 通过 Microsoft Fabric 事件流允,可将 Blob 存储事件链接到实时中心的 Fabric 事件。
将 Azure Blob 存储事件添加为事件流源时,它会自动将系统事件创建到 Blob 存储帐户,并将其链接到实时中心的 Fabric 事件。 然后可以将这些事件转换为连续数据流,并在将其路由到 Fabric 中的各种目标之前对其进行转换。
Fabric 事件流支持以下 Blob 存储事件类型:
事件名称 | 说明 |
---|---|
Microsoft.Storage.BlobCreated | 创建或替换 Blob 时触发。 |
Microsoft.Storage.BlobDeleted | 删除 Blob 时触发。 |
Microsoft.Storage.BlobRenamed | 重命名 Blob 时触发。 |
Microsoft.Storage.BlobTierChanged | 在更改 blob 访问层后触发。 |
Microsoft.Storage.DirectoryCreated | 创建目录时触发。 |
Microsoft.Storage.DirectoryRenamed | 重命名目录时触发。 |
Microsoft.Storage.AsyncOperationInitiated | 当涉及将数据从存档层移动或复制到热层或冷层的操作启动时触发。 |
Microsoft.Storage.DirectoryDeleted | 删除目录时触发。 |
Microsoft.Storage.BlobInventoryPolicyCompleted | 当为定义清单策略的规则完成清单运行时触发。 |
Microsoft.Storage.LifecyclePolicyCompleted | 在执行生命周期管理策略定义的操作时触发。 |
有关可用事件类型的详细信息,请参阅 Azure Blob 存储作为事件网格源。
注意
工作区容量的以下区域不支持此源:德国中西部、美国中南部、美国西部 2、美国西部 3、印度西部。
未流式处理事件与流式处理事件
Azure Blob 存储事件是具有清晰起点和终点的离散事件。 Fabric 实时中心可以使用以下两种格式捕获这些事件:
非流式传输的事件。 这些事件以原始格式表示为离散事件。 如果 Azure Blob 存储事件未在事件流中流式传输,则它们不会直接连接到事件流,并且不会创建默认流。
此状态表示事件已链接到实时中心的 Fabric 事件,并等待进一步操作。 操作包括使用 Fabric Activator 创建警报,以在实时中心的“Fabric 事件”选项卡中创建管道或笔记本等 Fabric 作业项。
流式处理事件。 这些事件转换为连续事件,可实时转换和路由到 Fabric 中的各种目标,以便进一步分析。 在事件流中,选择未流式处理 Azure Blob 存储源上的“流事件”按钮会将事件转换为连续事件。 然后,事件流会分配一个默认流,以便添加操作并将其路由到 Fabric 中的其他目标。
先决条件
- 在 Fabric 容量许可证模式或具有参与者或更高权限的试用许可证模式下访问工作区。
- 访问 Azure Blob 存储“StorageV2(常规用途 v2)”、BlockBlobStorage 或 BlobStorage 帐户。 “存储(常规用途 v1)”存储类型不支持与 Fabric 事件流集成。
- 如果没有事件流,请创建一个事件流。
将 Azure Blob 存储事件添加为源
如果尚未向事件流添加任何源,请选择“使用外部源”磁贴。
如果要向已发布的事件流添加源,请切换到“编辑”模式,在功能区中选择“添加源”,然后选择“外部源”。
在“选择数据源”页面上,搜索并选择“Azure Blob 存储事件”磁贴上的“连接”。
配置并连接到 Azure Blob 存储事件
在“连接”屏幕上,执行以下步骤:
- 选择包含存储帐户的 Azure 订阅。
- 选择要在事件流中捕获的存储帐户。
- 然后,选择页面底部的“下一步”。
在“查看 + 连接”屏幕上,查看摘要,然后选择“连接”以完成 Azure Blob 存储事件的配置。
然后,在下一页上选择“添加”,将源添加到事件流。
注意
一个事件流的源和目标的最大数量为 11。
查看更新的事件流
创建连接后,可以看到在“编辑模式”下添加到事件流的 Azure Blob 存储事件源。 选择“发布”以发布事件流并开始捕获 Azure Blob 存储事件。
注意
编辑器中的事件流节点没有创建默认流。 这是因为 Blob 存储事件仍采用离散事件的形式,并且尚未转换为流或连接到事件流。
如果要转换 Fabric 工作区事件,请打开事件流,然后选择“编辑”以进入“编辑模式”。 然后,可以添加操作来转换 Fabric 工作区事件,或将它们路由到 Lakehouse 等目标。
转换 Azure Blob 存储事件
将 Azure Blob 存储事件链接到实时中心的 Fabric 事件后,可以将这些事件转换为流并在事件流中执行变换。
在“编辑模式”中添加 Azure Blob 存储事件源后,选择源中的“流事件”以将 Blob 存储事件转换为数据流。
对于询问是否要将 Blob 存储事件流式传输到事件流中的弹出窗口,回应“是”。
在编辑器中,在事件流节点中创建默认流,指示 Blob 存储事件转换为流作为默认流。
然后,需要发布事件流,并确保至少有一个事件从 Azure Blob 存储触发,以便继续转换或路由。
事件流入事件流后,请输入“编辑模式”并添加操作以转换流式传输的 Blob 存储事件。 以下示例演示 Blob 存储事件聚合并路由到 KQL 数据库。
发布更改后,流式传输的 Azure Blob 存储事件将转换并路由到 Fabric 中的指定目标。
还可在实时中心的“我的数据流”选项卡上查看数据流进行验证。
已知限制
- 目前,当在离散事件源上发生错误时,错误消息不可用。
- 目前,数据预览功能不适用于离散事件源。