Compartilhar via

Ingerir dados com o Fluent Bit no Azure Data Explorer

  • Artigo

O Fluent Bit é um agente de código aberto que coleta logs, métricas e rastreamentos de várias fontes. Ele permite filtrar, modificar e agregar dados de eventos antes de enviá-los ao armazenamento. O Azure Data Explorer é um serviço de exploração de dados rápido e altamente escalonável para dados telemétricos e de log. Este artigo orienta você pelo processo de uso do Fluent Bit para enviar dados para o Azure Data Explorer.

Neste artigo, você aprenderá a:

Para obter uma lista completa de conectores de dados, consulte Visão geral dos conectores de dados.

Pré-requisitos

Você pode usar qualquer uma das ferramentas de consulta disponíveis para seu ambiente de consulta.

Crie uma tabela para armazenar logs

O Fluent Bit encaminha logs no formato JSON com três propriedades: log (dynamic), tag (string) e timestamp (datetime).

Você pode criar uma tabela com colunas para cada uma dessas propriedades. Como alternativa, se tiver logs estruturados, você poderá criar uma tabela com propriedades de log mapeadas para colunas personalizadas. Para saber mais, selecione a guia relevante.

Para criar uma tabela para logs de entrada do Fluent Bit:

  1. Navegue até seu ambiente de consulta.

  2. Selecione o banco de dados onde você quer criar a tabela.

  3. Execute o seguinte comando .create table:

    .create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)

    As propriedades JSON de entrada são mapeadas automaticamente para a coluna correta.

Registre um aplicativo do Microsoft Entra com permissões para ingerir dados

A entidade de serviço Microsoft Entra pode ser criada por meio do portal do Azure ou programaticamente, como no exemplo a seguir.

Essa entidade de serviço é a identidade utilizada pelo conector para gravar dados na tabela do Kusto. Posteriormente, você vai conceder permissões para essa entidade de serviço acessar recursos do Kusto.

  1. Inicie sessão na sua assinatura do Azure com a CLI do Azure. Em seguida, autentique no navegador.

    az login

  2. Escolha a assinatura para hospedar a entidade de segurança. Essa etapa é necessária quando você tem várias assinaturas.

    az account set --subscription YOUR_SUBSCRIPTION_GUID

  3. Crie a entidade de serviço. Neste exemplo, a entidade de serviço é chamada my-service-principal.

    az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}

  4. A partir dos dados JSON retornados, copie o appId, password e tenant para uso futuro.

    {
  "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "displayName": "my-service-principal",
  "name": "my-service-principal",
  "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
}

Você criou o aplicativo do Microsoft Entra e a entidade de serviço.

Conceder permissões para a entidade de serviço

Execute o seguinte comando, substituindo <MyDatabase> pelo nome do banco de dados:

.add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>')

Esse comando concede ao aplicativo permissões para ingerir dados na tabela. Para obter mais informações, confira Controle de acesso baseado em função.

Configure o Fluent Bit para enviar logs à tabela

Para configurar o Fluent Bit para enviar logs à tabela do Azure Data Explorer, crie um arquivo de configuração do modo clássico ou modo YAML com as seguintes propriedades de saída:

Campo Descrição
Nome azure_kusto
Correspondência Um padrão para corresponder às marcas dos registros de entrada. Ele diferencia maiúsculas de minúsculas e é compatível com o caractere asterisco (*) usado como curinga.
Tenant_Id ID do diretório (locatário) Registre um aplicativo do Microsoft Entra com permissões para ingestão de dados.
Client_Id ID do aplicativo (cliente) em Registrar um aplicativo do Microsoft Entra com permissões para ingerir dados.
Client_Secret O valor principal do segredo do cliente Registre um aplicativo do Microsoft Entra com permissões para a ingestão de dados.
Ingestion_Endpoint Use o URI de Ingestão de Dados encontrado no portal do Azure na visão geral do cluster.
Database_Name O nome do banco de dados que contém a nova tabela de logs.
Table_Name O nome da tabela em Criar uma tabela para armazenar os logs.
Ingestion_Mapping_Reference O nome do mapeamento de ingestão em Criar uma tabela. Se você não criou um mapeamento de ingestão, remova a propriedade do arquivo de configuração.

Para ver um arquivo de configuração de exemplo, selecione a guia relevante:

[SERVICE]
    Daemon Off
    Flush 1
    Log_Level trace
    HTTP_Server On
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.*
    Mem_Buf_Limit 1MB
    Skip_Long_Lines On
    Refresh_Interval 10

[OUTPUT]
    Name azure_kusto
    Match *
    Tenant_Id azure-tenant-id
    Client_Id azure-client-id
    Client_Secret azure-client-secret
    Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    Database_Name azure-data-explorer-database-name
    Table_Name azure-data-explorer-table-name

Verifique se os dados chegaram à tabela

Quando a configuração estiver concluída, os logs devem chegar à tabela.

  1. Para verificar se os logs foram ingeridos, execute a seguinte consulta:

    FluentBitLogs
| count

  2. Para exibir um exemplo de dados de log, execute a seguinte consulta:

    FluentBitLogs
| take 100

Conteúdo relacionado