从 Eventstream 获取数据
本文介绍如何将数据从现有 Eventstream 获取到新表或现有表中。
若要从新 Eventstream 获取数据,请参阅从新 Eventstream 获取数据。
先决条件
- 具有已启用 Microsoft Fabric 的容量的工作区
- 具有编辑权限的 KQL 数据库
- 具有数据源的 Eventstream
Source
若要从 Eventstream 获取数据,需要选择 Eventstream 作为数据源。 可以通过以下方式选择现有 Eventstream:
在 KQL 数据库的下部功能区上,可以:
在“获取数据”下拉菜单的“连续”下,选择“Eventstream”>“现有 Eventstream”。
选择“获取数据”,然后在“获取数据”窗口中选择“Eventstream”。
在“获取数据”下拉菜单中的“连续”下,选择“实时数据中心”>“现有 Eventstream”。
配置
选择目标表。 如果要将数据引入新表,请选择“+ 新建表”并输入表名称。
注意
表名称最多可包含 1024 个字符,包括空格、字母数字、连字符和下划线。 不支持特殊字符。
在“配置数据源”下,使用下表中的信息填写设置:
设置 描述 工作区 Eventstream 工作区位置。 从下拉列表中选择一个工作区。 Eventstream 名称 你的 Eventstream 名称。 从下拉列表中选择 Eventstream。 数据连接名称 用于引用和管理工作区中数据连接的名称。 数据连接名称将自动填充。 也可以输入新名称。 该名称只能包含字母数字、破折号和点字符,并且长度最多为 40 个字符。 在 Eventstream 中引入前先进行事件处理 此选项允许在将数据引入目标表之前配置数据处理。 如果此选项已选中,请继续在 Eventstream 中执行数据引入流程。 有关详细信息,请参阅在 Eventstream 中引入前先进行事件处理。 高级筛选器 压缩 事件的数据压缩,如来自事件中心。 选项为“无”(默认)或 Gzip 压缩。 事件系统属性 如果每个事件消息有多个记录,则系统属性将添加到第一个记录中。 有关详细信息,请参阅事件系统属性。 事件检索开始日期 数据连接检索自事件检索开始日期以来创建的现有事件。 它只能根据保留期检索事件中心保留的事件。 时区为 UTC。 如果未指定时间,则默认时间是创建数据连接的时间。 选择下一个
在 Eventstream 中引入前先进行事件处理
使用“在 Eventstream 中引入前先进行事件处理”选项,可以在将数据引入目标表中之前对其进行处理。 选择此选项,获取数据流程将继续在 Eventstream 中无缝执行,并自动填充目标表和数据源详细信息。
若要在 Eventstream 中引入前先进行事件处理,请执行以下操作:
在“配置”选项卡上,选择“在 Eventstream 中引入前先进行事件处理”。
在“在 Eventstream 中处理事件”对话框中,选择“在 Eventstream 中继续”。
重要
选择“在 Eventstream 中继续”将结束 Real-Time Intelligence 中的获取数据流程,在 Eventstream 中继续,并自动填充目标表和数据源详细信息。
在 Eventstream 中,选择 KQL 数据库目标节点,然后在“KQL 数据库”窗格中验证是否选择了“在引入前先进行事件处理”以及目标详细信息是否正确。
选择“打开事件处理程序”以配置数据处理,然后选择“保存”。 有关更多信息,请参阅使用事件处理程序编辑器处理事件数据。
返回“KQL 数据库”窗格,选择“添加”以完成 KQL 数据库目标节点设置。
验证数据是否引入到目标表中。
注意
“在 Eventstream 中引入前先进行事件处理”流程已完成,本文中的其余步骤不是必需的。
检查
此时会打开“检查”选项卡,其中包含数据的预览。
要完成引入过程,请选择“完成”。
可选:
- 选择“命令查看器”以查看和复制基于输入生成的自动命令。
- 通过从下拉列表中选择所需格式来更改自动推断的数据格式。 将以 EventData 对象的形式从事件中心读取数据。 支持的格式为 CSV、JSON、PSV、SCsv、SOHsv、TSV、TXT 和 TSVE。
- 编辑列。
- 浏览基于数据类型的高级选项。
编辑列
注意
- 对于表格格式(CSV、TSV、PSV),无法将列映射两次。 若要映射到现有列,请先删除新列。
- 不能更改已有列类型。 如果尝试映射到其他格式的列,结果可能出现空列。
以下参数决定了你可在表中进行的更改:
- 表类型为“新”或“现有”
- 映射类型为“新”或“现有”
表类型 | 映射类型 | 可用调整 |
---|---|---|
新建表 | 新映射 | 重命名列、更改数据类型、更改数据源、映射转换、添加列、删除列 |
现有表 | 新映射 | 新建列(随后可在其上更改数据类型、进行重命名和更新) |
现有表 | 现有映射 | 无 |
映射转换
某些数据格式映射(Parquet、JSON 和 Avro)支持简单的引入时间转换。 若要应用映射转换,请在“编辑列”窗口中创建或更新列。
可对具有 string 或 datetime 类型且源的数据类型为 int 或 long 的列执行映射转换。 支持的映射转换为:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
基于数据类型的高级选项
表格(CSV、TSV、PSV):
表格数据不一定要包括用于将源数据映射到现有列的列名称。 要将第一行用作列名,请打开“首行是列标题”。
JSON:
要确定 JSON 数据的列划分,请选择“高级”>“嵌套级别”,从 1 到 100。
总结
如果数据引入成功完成,则“数据准备”窗口中的所有三个步骤都会带有绿色的对勾标记。 可以选择要查询、删除已引入数据的卡或查看引入摘要的仪表板。 选择“关闭”以关闭窗口。
相关内容
- 若要管理数据库,请参阅管理数据
- 若要创建、存储和导出查询,请参阅查询 KQL 查询集中的数据