Partager via

Ingérer des données avec Fluent Bit dans Azure Data Explorer

  • Article

Fluent Bit est un agent open-source qui collecte des logs, des métriques et des traces à partir de différentes sources. Il permet de filtrer, de modifier et d'agréger les données relatives aux événements avant de les envoyer au stockage. Cet article vous guide tout au long du processus d’utilisation de Fluent Bit pour envoyer des données à votre base de données KQL.

Cet article explique comment ingérer des données avec Fluent Bit.

Pour obtenir la liste complète des connecteurs de données, veuillez consulter la vue d’ensemble des connecteurs de données.

Prérequis

Créer un principal de service Microsoft Entra

Le principal du service Microsoft Entra peut être créé via le portail Azure ou par programmation, comme dans l’exemple suivant.

Ce principal de service est l’identité utilisée par le connecteur pour écrire des données dans votre table en Kusto. Vous accordez des autorisations pour ce principal de service pour accéder aux ressources Kusto.

  1. Connectez-vous à votre abonnement Azure via Azure CLI. Authentifiez-vous ensuite dans le navigateur.

    az login

  2. Choisissez l’abonnement pour héberger le principal. Cette étape est nécessaire quand vous avez plusieurs abonnements.

    az account set --subscription YOUR_SUBSCRIPTION_GUID

  3. Créez le principal de service. Dans cet exemple, le principal de service est appelé my-service-principal.

    az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}

  4. À partir des données JSON retournées, copiez le appId, password et tenant pour une utilisation ultérieure.

    {
  "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "displayName": "my-service-principal",
  "name": "my-service-principal",
  "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
  "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
}

Vous avez créé votre application Microsoft Entra et votre principal de service.

Créer une table cible

Fluent Bit transmet les logs au format JSON avec trois propriétés : log (dynamic), tag (string), et timestamp (datetime).

Vous pouvez créer une table avec des colonnes pour chacune des propriétés. Si vous disposez de journaux structurés, vous pouvez également créer une table dont les propriétés sont associées à des colonnes personnalisées. Pour en savoir plus, sélectionnez l'onglet correspondant.

Pour créer une table pour les logs entrants de Fluent Bit :

  1. Accédez à votre environnement de recherche.

  2. Sélectionnez la base de données dans laquelle vous souhaitez créer la table.

  3. Exécutez la commande .create table suivante :

    .create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)

    Les propriétés JSON entrantes sont automatiquement mappées dans la bonne colonne.

Accorder des autorisations au principal du service

Accordez au principal de service Créer un principal de service Microsoft Entra les autorisations de rôle d’ingestion de base de données pour travailler avec la base de données. Pour plus d’informations, consultez Exemples. Remplacez l’espace réservé DatabaseName par le nom de la base de données cible et ApplicationID par la valeur AppId que vous avez enregistrée lors de la création d’un principal de service Microsoft Entra.

.add database <DatabaseName> ingestors ('aadapp=<ApplicationID>;<TenantID>')

Configurer Fluent Bit pour envoyer les logs à votre table

Pour configurer Fluent Bit afin d'envoyer les logs à votre table dans Kusto, créez un fichier de configuration en mode classique ou en mode YAML avec les propriétés de sortie suivantes :

Champ Description Obligatoire Par défaut
Nom Nom du pipeline. azure_kusto
tenant_id ID de locataire à partir de Créer un principal de service Microsoft Entra. ✔️
client_id ID d’application à partir de Créer un principal de service Microsoft Entra. ✔️
client_secret Valeur de clé secrète client (mot de passe) à partir de Créer un principal de service Microsoft Entra. ✔️
ingestion_endpoint Entrez la valeur comme décrit pour Ingestion_Endpoint. ✔️
nom_de_base_de_données Le nom de la base de données qui contient la table des journaux. ✔️
nom_de_table (table_name) Nom de la table à partir de Créer une table cible. ✔️
ingestion_mapping_reference Nom du mappage d’ingestion à partir de Créer une table cible. Si vous n'avez pas créé de mappage d'ingestion, supprimez la propriété du fichier de configuration.
log_key Nom de la clé du contenu du journal. Par exemple, log. log
tag_key Nom de la clé de la balise. Ignoré si include_tag_key est false. tag
include_time_key Un horodatage est ajouté à la sortie, s’il est activé. Utilise la propriété time_key. true
time_key Le nom de la clé pour l'horodatage dans les enregistrements du journal. Ignoré si include_time_key est faux. timestamp
ingestion_endpoint_connect_timeout Délai d’expiration de la connexion de différents points de terminaison Kusto en secondes. 60s
compression_enabled Envoie la charge utile HTTP compressée (gzip) à Kusto, si elle est activée. true
ingestion_resources_refresh_interval L’intervalle d’actualisation des ressources d’ingestion du point de terminaison Kusto en secondes. 3600
travailleur Nombre de travailleurs pour effectuer des opérations de vidage pour cette sortie. 0

Pour voir un exemple de fichier de configuration, sélectionnez l'onglet correspondant :

[SERVICE]
    Daemon Off
    Flush 1
    Log_Level trace
    HTTP_Server On
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.*
    Mem_Buf_Limit 1MB
    Skip_Long_Lines On
    Refresh_Interval 10

[OUTPUT]
    match *
    name azure_kusto
    tenant_id <TenantId>
    client_id <ClientId>
    client_secret <AppSecret>
    ingestion_endpoint <IngestionEndpoint>
    database_name <DatabaseName>
    table_name <TableName>
    ingestion_mapping_reference <MappingName>
    ingestion_endpoint_connect_timeout <IngestionEndpointConnectTimeout>
    compression_enabled <CompressionEnabled>
    ingestion_resources_refresh_interval <IngestionResourcesRefreshInterval>

Confirmer l’ingestion des données

  1. Une fois que les données arrivent dans la table, confirmez le transfert de données en vérifiant le nombre de lignes :

    FluentBitLogs
| count

  2. Pour afficher un échantillon des données du journal, exécutez la requête suivante :

    FluentBitLogs
| take 100

Contenu connexe

  • Vue d’ensemble des intégrations de données
  • Vue d’ensemble du langage de requête Kusto (KQL)
  • Écrire des requêtes