从 Eventstream 获取数据

本文介绍如何将数据从现有 Eventstream 获取到新表或现有表中。

若要从新 Eventstream 获取数据,请参阅从新 Eventstream 获取数据

先决条件

Source

若要从 Eventstream 获取数据,需要选择 Eventstream 作为数据源。 可以通过以下方式选择现有 Eventstream:

在 KQL 数据库的下部功能区上,可以:

  • 在“获取数据”下拉菜单的“连续”下,选择“Eventstream”>“现有 Eventstream”。

  • 选择“获取数据”,然后在“获取数据”窗口中选择“Eventstream”。

  • 在“获取数据”下拉菜单中的“连续”下,选择“实时数据中心”>“现有 Eventstream”

    屏幕截图,其中显示了选取了“源”选项卡的“获取数据”窗口。

配置

  1. 选择目标表。 如果要将数据引入新表,请选择“+ 新建表”并输入表名称

    注意

    表名称最多可包含 1024 个字符,包括空格、字母数字、连字符和下划线。 不支持特殊字符。

  2. 在“配置数据源”下,使用下表中的信息填写设置:

    屏幕截图,其中显示了已输入新表并选择了一个示例数据文件的“配置”选项卡。

    设置 描述
    工作区 Eventstream 工作区位置。 从下拉列表中选择一个工作区。
    Eventstream 名称 你的 Eventstream 名称。 从下拉列表中选择 Eventstream。
    数据连接名称 用于引用和管理工作区中数据连接的名称。 数据连接名称将自动填充。 也可以输入新名称。 该名称只能包含字母数字、破折号和点字符,并且长度最多为 40 个字符。
    在 Eventstream 中引入前先进行事件处理 此选项允许在将数据引入目标表之前配置数据处理。 如果此选项已选中,请继续在 Eventstream 中执行数据引入流程。 有关详细信息,请参阅在 Eventstream 中引入前先进行事件处理
    高级筛选器
    压缩 事件的数据压缩,如来自事件中心。 选项为“无”(默认)或 Gzip 压缩。
    事件系统属性 如果每个事件消息有多个记录,则系统属性将添加到第一个记录中。 有关详细信息,请参阅事件系统属性
    事件检索开始日期 数据连接检索自事件检索开始日期以来创建的现有事件。 它只能根据保留期检索事件中心保留的事件。 时区为 UTC。 如果未指定时间,则默认时间是创建数据连接的时间。
  3. 选择下一个

在 Eventstream 中引入前先进行事件处理

使用“在 Eventstream 中引入前先进行事件处理”选项,可以在将数据引入目标表中之前对其进行处理。 选择此选项,获取数据流程将继续在 Eventstream 中无缝执行,并自动填充目标表和数据源详细信息。

若要在 Eventstream 中引入前先进行事件处理,请执行以下操作:

  1. 在“配置”选项卡上,选择“在 Eventstream 中引入前先进行事件处理”。

  2. 在“在 Eventstream 中处理事件”对话框中,选择“在 Eventstream 中继续”。

    重要

    选择“在 Eventstream 中继续”将结束 Real-Time Intelligence 中的获取数据流程,在 Eventstream 中继续,并自动填充目标表和数据源详细信息。

    屏幕截图,其中显示了“Eventstream”对话框中的“流程事件”。

  3. 在 Eventstream 中,选择 KQL 数据库目标节点,然后在“KQL 数据库”窗格中验证是否选择了“在引入前先进行事件处理”以及目标详细信息是否正确。

    屏幕截图,其中显示了“Eventstream”页面中的“流程事件”。

  4. 选择“打开事件处理程序”以配置数据处理,然后选择“保存”。 有关更多信息,请参阅使用事件处理程序编辑器处理事件数据

  5. 返回“KQL 数据库”窗格,选择“添加”以完成 KQL 数据库目标节点设置。

  6. 验证数据是否引入到目标表中。

注意

“在 Eventstream 中引入前先进行事件处理”流程已完成,本文中的其余步骤不是必需的。

检查

此时会打开“检查”选项卡,其中包含数据的预览

要完成引入过程,请选择“完成”

屏幕截图,其中显示了“检查”选项卡。

可选:

  • 选择“命令查看器”以查看和复制基于输入生成的自动命令
  • 通过从下拉列表中选择所需格式来更改自动推断的数据格式。 将以 EventData 对象的形式从事件中心读取数据。 支持的格式为 CSV、JSON、PSV、SCsv、SOHsv、TSV、TXT 和 TSVE。
  • 编辑列
  • 浏览基于数据类型的高级选项

编辑列

注意

  • 对于表格格式(CSV、TSV、PSV),无法将列映射两次。 若要映射到现有列,请先删除新列。
  • 不能更改已有列类型。 如果尝试映射到其他格式的列,结果可能出现空列。

以下参数决定了你可在表中进行的更改:

  • 表类型为“新”或“现有”
  • 映射类型为“新”或“现有”
表类型 映射类型 可用调整
新建表 新映射 重命名列、更改数据类型、更改数据源、映射转换、添加列、删除列
现有表 新映射 新建列(随后可在其上更改数据类型、进行重命名和更新)
现有表 现有映射

屏幕截图,其中显示了打开以供编辑的列。

映射转换

某些数据格式映射(Parquet、JSON 和 Avro)支持简单的引入时间转换。 若要应用映射转换,请在“编辑列”窗口中创建或更新列

可对具有 string 或 datetime 类型且源的数据类型为 int 或 long 的列执行映射转换。 支持的映射转换为:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

基于数据类型的高级选项

表格(CSV、TSV、PSV)

表格数据不一定要包括用于将源数据映射到现有列的列名称。 要将第一行用作列名,请打开“首行是列标题”

屏幕截图,其中显示了“首行是列标题”开关。

JSON

要确定 JSON 数据的列划分,请选择“高级”>“嵌套级别”,从 1 到 100

屏幕截图,其中显示了嵌套级别 JSON 选项。

总结

如果数据引入成功完成,则“数据准备”窗口中的所有三个步骤都会带有绿色的对勾标记。 可以选择要查询、删除已引入数据的卡或查看引入摘要的仪表板。 选择“关闭”以关闭窗口。

屏幕截图,其中显示了已成功完成数据引入的摘要页面。