你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

使用流分析无代码编辑器构建实时 Power BI 仪表板

本教程演示如何使用流分析无代码编辑器来计算实时数据流的聚合并将其存储在 Azure Synapse Analytics 中。

在本教程中,你将了解:

  • 如何部署用于将数据发送到事件中心的事件生成器
  • 如何使用无代码编辑器创建流分析作业
  • 如何查看输入数据和架构
  • 如何选择要作为分组依据的字段并定义计数等聚合
  • 如何配置要将结果写入到的 Azure Synapse Analytics
  • 运行流分析作业
  • 在 Power BI 中将数据可视化

先决条件

在开始之前,请确保已完成以下步骤:

  1. 如果还没有 Azure 订阅,可以创建一个免费帐户

  2. 将 TollApp 事件生成器部署到 Azure,使用此链接部署 TollApp Azure 模板。 将“interval”参数设置为 1。 对此步骤使用新的资源组。

  3. 创建带有专用 SQL 池Azure Synapse Analytics 工作区

    注意

    若要直接构建实时 Power BI 仪表板而不将数据捕获到数据库中,可以跳过步骤 3 和步骤 4,然后转到本指南以使用流分析作业生成的 Power BI 数据集构建实时仪表板

  4. 使用专用 SQL 池创建名为 carsummary 的表。 可以运行以下 SQL 脚本来执行此操作:

    CREATE TABLE carsummary   
    (  
        Make nvarchar(20),  
        CarCount int,
    	times datetime
    )
    WITH ( CLUSTERED COLUMNSTORE INDEX ) ;
    

使用无代码编辑器创建流分析作业

  1. 找到在其中部署了 TollApp 事件生成器的资源组。

  2. 选择 Azure 事件中心命名空间。

  3. 在“事件中心命名空间”页上,选择左侧菜单上的“实体”下的“事件中心”。

  4. 选择 entrystream 实例。

    显示选择事件中心的屏幕截图。

  5. 转到“功能”部分下的“处理数据”,然后在“从空白画布开始”模板上选择“开始”。

    显示选择“使用空白画布开始”磁贴上的“开始”按钮的屏幕截图。

  6. 将作业命名为“carsummary”,然后选择“创建”。

    “新建流分析作业”页的屏幕截图。

  7. 在“事件中心”配置页上,确认以下设置,然后选择“连接”。

    1. 对于“使用者组”,请选择“使用现有的”,然后选择“默认”

    2. 对于“序列化类型”,请确认已选择“JSON”

    3. 对于“身份验证模式”,请确认“连接字符串”用于连接到事件中心:连接字符串

      事件中心的“配置”页的屏幕截图。

  8. 几秒钟内,你将看到示例输入数据和架构。 可以根据需要选择删除字段、重命名字段或更改数据类型。

    显示事件中心和字段中数据预览的屏幕截图。

  9. 在命令栏上选择“操作”,然后选择“分组依据”

    显示“操作”菜单的屏幕截图,其中在命令栏上选中了“分组依据”。

  10. 选择画布上的“分组依据”磁贴并将其连接到事件中心磁贴。

    显示连接到“事件中心”磁贴的“组”磁贴的屏幕截图。

  11. 通过指定以下内容来配置“分组依据”磁贴:

    1. 将“聚合”指定为“计数”。

    2. 将“字段”指定为“Make”,它是“CarModel”中的嵌套字段。

    3. 选择 添加

      “分组依据”配置页面中的“聚合”设置的屏幕截图。

    4. 在“设置”部分中

      1. 对于“聚合分组依据”,请选择“品牌”

      2. 对于“时间窗口”,请确认该值设置为“翻转”

      3. 对于“持续时间”,请输入“3 分钟”

      4. 在页面底部选择“完成”

        “按配置分组”页的屏幕截图。

  12. 选择“分组依据”,并注意页面底部“数据预览”选项卡中的分组数据

    显示“分组依据”操作的“数据预览”选项卡的屏幕截图。

  13. 在命令栏上,选择“操作”,然后选择“管理字段”

  14. 将“分组依据”与“管理字段”磁贴相连

  15. 在“管理字段”页面上,按照以下步骤操作:

    1. 如下图所示添加“品牌”字段,然后选择“添加”。

      显示添加“制造”字段的屏幕截图。

    2. 选择“添加”按钮

      显示“管理字段”页面上的“添加”按钮的屏幕截图。

  16. 在“管理字段”配置页上选择“添加所有字段”。

    “管理字段”页的屏幕截图。

  17. 选择字段旁边的“...”,然后选择“编辑”以重命名这些字段。

    • 将 COUNT_make 重命名为 CarCount

    • 将 Window_End_Time 重命名为 times

      该屏幕截图显示了“管理字段”页,其中字段已重命名。

  18. 在“管理字段”页面上选择“完成”。 “管理字段”页现在应如下图所示。

    该屏幕截图显示了“管理字段”页,其中具有三个字段。

  19. 选择“管理字段”磁贴,并在页面底部的“数据预览”选项卡中查看流入操作的数据

    显示“管理字段”操作的“数据预览”选项卡的屏幕截图。

  20. 在命令栏上,选择“输出”,然后选择“Synapse”

    命令栏的屏幕截图,其中选择了“输出”和“Synapse”。

  21. 在画布上将“Synapse”磁贴连接到“管理字段”磁贴。

  22. 在“Synapse”设置页面上,按照以下步骤操作:

    1. 如果尚未设置“作业存储帐户”,请选择资源组中的 Azure Data Lake Storage 帐户。 它是 Synapse SQL 用来将数据加载到数据仓库的存储帐户。

      显示 Synapse 的屏幕截图,其中选择了存储帐户。

    2. 选择 Azure Synapse Analytics 所在的 Azure 订阅。

    3. 选择在上一部分中用于创建 carsummary 表的专用 SQL 池的数据库。

    4. 输入用于进行身份验证的用户名和密码。

    5. 输入表名“carsummary”。

    6. 选择“连接” 。 你将看到要写入到 Synapse SQL 表的示例结果。

      Synapse 磁贴设置的屏幕截图。

  23. 选择“Synapse”磁贴,并查看页面底部的“数据预览”选项卡。 你可以看到流入专用 SQL 池的数据。

    显示“Synapse”磁贴的“数据预览”的屏幕截图。

  24. 在顶部功能区中选择“保存”以保存作业,然后选择“启动”。 显示命令栏上选择的“开始”按钮的屏幕截图。

  25. 在“启动流分析作业”页面上,选择“启动”来运行作业。

    “开始流分析作业”页的屏幕截图。

  26. 然后,你将看到使用无代码编辑器创建的所有流分析作业的列表。 在两分钟内,作业将进入“正在运行”状态。 选择页面上的“刷新”按钮,查看状态是否按“已创建”->“正在启动”->“正在运行”的顺序变化。

    显示作业列表的屏幕截图。

创建 Power BI 可视化效果

  1. 下载最新版本的 Power BI Desktop

  2. 使用适用于 Azure Synapse SQL 的 Power BI 连接器。

    Power BI Desktop 的屏幕截图,其中已选中 Azure 和 Synapse Analytics SQL。

  3. 使用 DirectQuery 连接到数据库,并使用此查询从数据库提取数据

    SELECT [Make],[CarCount],[times]
    FROM [dbo].[carsummary]
    WHERE times >= DATEADD(day, -1, GETDATE())
    

    显示用于连接到 Azure Synapse SQL 数据库的 Power BI Destop 配置的屏幕截图。

    切换到“数据库”选项卡,并输入凭据(用户名和密码)以连接到数据库并运行查询。

  4. 选择“加载”以将数据加载到 Power BI 中

  5. 然后,可以创建一个折线图,其中:

    • X 轴作为 times
    • Y 轴作为 CarCount
    • 图例作为 Make,然后会看到可以发布的图表。 可以配置自动页面刷新,将其设置为 3 分钟,以获取实时视图。 该屏幕截图显示了 Power BI 仪表板,其中显示了汽车摘要数据。

更多选项

除了 Azure Synapse SQL,还可以使用 SQL 数据库作为无代码编辑器输出来接收流式处理数据。 然后使用 Power BI 连接器通过 DirectQuery 将SQL 数据库与你的数据库连接,并构建实时仪表板。

使用流式处理数据构建实时仪表板也是一个不错的选择。 有关 SQL 数据库输出的详细信息,请参阅转换和引入到 SQL 数据库

清理资源

  1. 找到你的事件中心实例,并在“处理数据”部分下查看流分析作业列表。 停止正在运行的任何作业。
  2. 转到在部署 TollApp 事件生成器时使用的资源组。
  3. 选择“删除资源组” 。 键入资源组名称以确认删除。

后续步骤

在本教程中,你使用无代码编辑器创建了一个流分析作业来定义聚合并将结果写入到 Azure Synapse Analytics。 然后,你使用 Power BI 构建实时仪表板来查看作业生成的结果。