通过

使用 Fluent Bit 获取数据

  • 项目

Fluent Bit 是一种开源代理，用于从各种源收集日志、指标和跟踪。 使用它可以在将事件数据发送到存储之前对事件数据进行筛选、修改和聚合。 Azure 数据资源管理器是一项快速且高度可缩放的数据探索服务，适用于日志和遥测数据。 本文指导你完成使用 Fluent Bit 将数据发送到 KQL 数据库的过程。

本文将指导如何进行以下操作：

先决条件

创建一个表来存储日志

Fluent Bit 以 JSON 格式将日志随以下三个属性转发：log (dynamic)、tag (string) 和 timestamp (datetime)。

可以创建一个表，其中包含上述每个属性的列。 或者，如果你有结构化日志，则可以创建一个表，其中包含映射到自定义列的日志属性。 若要了解详细信息，请选择相关选项卡。

若要为来自 Fluent Bit 的传入日志创建表，请执行以下操作：

  1. 浏览至查询环境。

  2. 选择要在其中创建表的数据库。

  3. 运行以下 .create table 命令：

    .create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)

    传入的 JSON 属性会自动映射到正确的列中。

使用引入数据的权限注册 Microsoft Entra 应用

Microsoft Entra 服务主体可以通过 Azure 门户或通过编程方式进行创建，如以下示例所示。

此服务主体是连接器用于将数据写入到 Kusto 中的表的标识。 你稍后将授予此服务主体访问 Kusto 资源所需的权限。

  1. 通过 Azure CLI 登录到你的 Azure 订阅。 然后在浏览器中进行身份验证。

    az login

  2. 选择要托管主体的订阅。 当你有多个订阅时，此步骤是必需的。

    az account set --subscription YOUR_SUBSCRIPTION_GUID

  3. 创建服务主体。 在此示例中，服务主体名为 my-service-principal。

    az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}

  4. 从返回的 JSON 数据中复制 appId、password、tenant 供将来使用。

    {
  "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "displayName": "my-service-principal",
  "name": "my-service-principal",
  "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
}

现已创建了 Microsoft Entra 应用程序和服务主体。

向服务主体授予权限

运行以下命令（请将 <MyDatabase> 替换为数据库的名称）：

.add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>')

此命令授予应用程序将数据引入到表的权限。 有关详细信息，请参阅基于角色的访问控制。

配置 Fluent Bit 以将日志发送到表

若要配置 Fluent Bit 以将日志发送到 Azure 数据资源管理器表，请创建经典模式或 YAML 模式配置文件，其中包含以下输出属性：

字段 描述
Name azure_kusto
匹配 一种模式，用于针对传入记录的标记进行匹配。 它区分大小写，并且支持星号 (*) 字符作为通配符。
Tenant_Id 注册有权引入数据的 Microsoft Entra 应用中的目录（租户）ID。
Client_Id 注册有权引入数据的 Microsoft Entra 应用中的应用程序（客户端）ID。
Client_Secret 客户端密码值注册有权引入数据的 Microsoft Entra 应用。
Ingestion_Endpoint 使用 KQL 数据库详细信息页中找到的引入 URI。 有关详细信息，请参阅复制 URI。
Database_Name 包含日志表的数据库的名称。
Table_Name 创建一个表来存储日志中表的名称。
Ingestion_Mapping_Reference 创建表中的引入映射的名称。 如果未创建引入映射，请从配置文件中删除该属性。

若要查看示例配置文件，请选择相关选项卡：

[SERVICE]
    Daemon Off
    Flush 1
    Log_Level trace
    HTTP_Server On
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.*
    Mem_Buf_Limit 1MB
    Skip_Long_Lines On
    Refresh_Interval 10

[OUTPUT]
    Name azure_kusto
    Match *
    Tenant_Id azure-tenant-id
    Client_Id azure-client-id
    Client_Secret azure-client-secret
    Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    Database_Name azure-data-explorer-database-name
    Table_Name azure-data-explorer-table-name

验证数据是否已驻留在表中

配置完成后，日志应到达表。

  1. 若要验证是否已引入日志，请运行以下查询：

    FluentBitLogs
| count

  2. 若要查看日志数据示例，请运行以下查询：

    FluentBitLogs
| take 100

相关内容