Aufnehmen von Daten mit Fluent Bit in Azure Data Explorer

Fluent Bit ist ein Open Source-Agent, der Protokolle, Metriken und Ablaufverfolgungen aus verschiedenen Quellen sammelt. Es ermöglicht Ihnen, Ereignisdaten zu filtern, zu ändern und zu aggregieren, bevor Sie sie an den Speicher senden. Azure-Daten-Explorer ist ein schneller und hochgradig skalierbarer Dienst zur Untersuchung von Daten (Protokoll- und Telemetriedaten). Dieser Artikel führt Sie durch den Prozess der Verwendung von Fluent Bit zum Senden von Daten an Azure Data Explorer.

In diesem Artikel lernen Sie Folgendes:

• Erstellen einer Tabelle zum Speichern Ihrer Protokolle
• Registrieren einer Microsoft Entra-App mit Berechtigungen zum Erfassen von Daten
• Konfigurieren von Fluent Bit zum Senden von Protokollen an Ihre Tabelle
• Vergewissern Sie sich, dass Daten in Ihrer Tabelle enthalten sind

Eine vollständige Liste der Datenconnectors finden Sie in Übersicht der Datenconnectors.

Voraussetzungen

• Fluent Bit.
• Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank

Sie können jedes der verfügbaren Abfragetools für Ihre Abfrageumgebung verwenden.

Erstellen einer Tabelle zum Speichern Ihrer Protokolle

Fluent Bit leitet Protokolle im JSON-Format mit drei Eigenschaften weiter: log (dynamisch), tag (Zeichenfolge) und timestamp (datetime).

Sie können eine Tabelle mit Spalten für jede dieser Eigenschaften erstellen. Alternativ können Sie bei strukturierten Protokollen eine Tabelle mit Protokolleigenschaften erstellen, die benutzerdefinierten Spalten zugeordnet sind. Um mehr zu erfahren, wählen Sie die relevante Registerkarte aus.

Standardschema

So erstellen Sie eine Tabelle für eingehende Protokolle aus Fluent Bit:

1. Navigieren Sie zu Ihrer Abfrageumgebung.

2. Wählen Sie die Datenbank aus, in der Sie die Tabelle erstellen möchten.

3. Führen Sie den folgenden .create table Befehl aus:

   .create table FluentBitLogs (log:dynamic, tag:string, timestamp:datetime)
   

   Die eingehenden JSON-Eigenschaften werden automatisch der richtigen Spalte zugeordnet.

Benutzerdefiniertes Schema

So erstellen Sie eine Tabelle für eingehende strukturierte Protokolle aus Fluent Bit:

1. Navigieren Sie zu Ihrer Abfrageumgebung.

2. Wählen Sie die Datenbank aus, in der Sie die Tabelle erstellen möchten.

3. Führen Sie den .create table Befehl aus. Wenn Ihre Protokolle z. B. drei Felder mit dem Namen myString" , myIntegerund myDynamic" enthalten, können Sie eine Tabelle mit dem folgenden Schema erstellen:

   .create table FluentBitLogs (myString:string, myInteger:int, myDynamic: dynamic, timestamp:datetime)
   

4. Erstellen Sie eine JSON-Zuordnung, um Protokolleigenschaften den entsprechenden Spalten zuzuordnen. Der folgende Befehl erstellt eine Zuordnung basierend auf dem Beispiel im vorherigen Schritt:

   .create-or-alter table FluentBitLogs ingestion json mapping "LogMapping" 
       ```[
       {"column" : "myString", "datatype" : "string", "Properties":{"Path":"$.log.myString"}},
       {"column" : "myInteger", "datatype" : "int", "Properties":{"Path":"$.log.myInteger"}}, 
       {"column" : "myDynamic", "datatype" : "dynamic", "Properties":{"Path":"$.log.myInteger"}}, 
       {"column" : "timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}} 
       ]```
   

Registrieren einer Microsoft Entra-App mit Berechtigungen zum Erfassen von Daten

Der Microsoft Entra-Dienstprinzipal kann über das Azure-Portal oder programmgesteuert (wie im folgenden Beispiel) erstellt werden.

Dieser Dienstprinzipal ist die Identität, die vom Connector zum Schreiben von Daten in die Ihre Tabelle in Kusto genutzt wird. Sie gewähren diesem Dienstprinzipal später noch Berechtigungen für den Zugriff auf Kusto-Ressourcen.

1. Melden Sie sich per Azure CLI an Ihrem Azure-Abonnement an. Führen Sie anschließend im Browser die Authentifizierung durch.

   az login
   

2. Wählen Sie das Abonnement aus, um den Prinzipal zu hosten. Dieser Schritt ist erforderlich, wenn Sie über mehrere Abonnements verfügen.

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. Erstellen Sie den Dienstprinzipal. In diesem Beispiel wird der Dienstprinzipal als my-service-principal bezeichnet.

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. Kopieren Sie aus den zurückgegebenen JSON-Daten appId, password und tenant für die zukünftige Verwendung.

   {
     "appId": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "00001111-aaaa-2222-bbbb-3333cccc4444",
     "tenant": "00001111-aaaa-2222-bbbb-3333cccc4444"
   }
   

Sie haben Ihre Microsoft Entra-Anwendung und den Dienstprinzipal erstellt.

Gewähren von Berechtigungen für Ihren Dienstprinzipal

Führen Sie den folgenden Befehl aus und ersetzen Sie <MyDatabase> mit dem Namen der Datenbank:

.add database MyDatabase ingestors ('aadapp=<Application (client) ID>;<Directory (tenant) ID>')

Mit diesem Befehl werden die Anwendungsberechtigungen zum Aufnehmen von Daten in die Tabelle gewährt. Weitere Informationen finden Sie unter Rollenbasierte Zugriffssteuerung mit Microsoft Intune.

Konfigurieren von Fluent Bit zum Senden von Protokollen an Ihre Tabelle

Um Fluent Bit so zu konfigurieren, dass Protokolle an Ihre Azure Data Explorer-Tabelle gesendet werden, erstellen Sie eine Konfigurationsdatei für den klassischen Modus oder yaML-Modus mit den folgenden Ausgabeeigenschaften:

Feld	Beschreibung des Dataflows
Name	azure_kusto
Übereinstimmung	Ein Muster, das mit den Tags eingehender Datensätze abgeglichen werden soll. Die Groß-/Kleinschreibung wird beachtet und das Sternzeichen (*) als Wildcard unterstützt.
Tenant_Id	Verzeichnis-ID (Mandant) aus der Registrierung einer Microsoft Entra-App mit Berechtigungen zum Erfassen von Daten.
Client_Id	Anwendungs-ID (Client) aus der Registrierung einer Microsoft Entra-App mit Berechtigungen zum Erfassen von Daten.
Client_Secret	Der Wert des geheimen Clientschlüssels Registrieren Sie eine Microsoft Entra-App mit Berechtigungen zum Erfassen von Daten.
Ingestion_Endpoint	Verwenden Sie den Datenaufnahme-URI im Azure-Portal unter Ihrer Clusterübersicht.
Database_Name	Der Name der Datenbank, die Ihre Protokolltabelle enthält.
Table_Name	Der Name der Tabelle aus Tabelle erstellen, um Ihre Protokolle zu speichern.
Ingestion_Mapping_Reference	Der Name der Aufnahmezuordnung aus Tabelle erstellen. Wenn Sie keine Aufnahmezuordnung erstellt haben, entfernen Sie die Eigenschaft aus der Konfigurationsdatei.

Um eine Beispielkonfigurationsdatei anzuzeigen, wählen Sie die relevante Registerkarte aus:

Klassischer Modus

[SERVICE]
    Daemon Off
    Flush 1
    Log_Level trace
    HTTP_Server On
    HTTP_Listen 0.0.0.0
    HTTP_Port 2020
    Health_Check On

[INPUT]
    Name tail
    Path /var/log/containers/*.log
    Tag kube.*
    Mem_Buf_Limit 1MB
    Skip_Long_Lines On
    Refresh_Interval 10

[OUTPUT]
    Name azure_kusto
    Match *
    Tenant_Id azure-tenant-id
    Client_Id azure-client-id
    Client_Secret azure-client-secret
    Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    Database_Name azure-data-explorer-database-name
    Table_Name azure-data-explorer-table-name

YAML-Modus

config:
  service: |
    [SERVICE]
        Daemon Off
        Flush 1
        Log_Level trace
        HTTP_Server On
        HTTP_Listen 0.0.0.0
        HTTP_Port 2020
        Health_Check On
        
  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        multiline.parser docker, cri
        Tag kube.*
        Mem_Buf_Limit 1MB
        Skip_Long_Lines On
        Refresh_Interval 10

  filters: |
    [FILTER]
        Name kubernetes
        Match kube.*
        Merge_Log On
        Merge_Log_key log_processed
        K8S-Logging.Parser On
        K8S-Logging.Exclude Off


  outputs: |
    [OUTPUT]
        Name azure_kusto
    	Match *
    	Tenant_Id azure-tenant-id
    	Client_Id azure-client-id
    	Client_Secret azure-client-secret
    	Ingestion_Endpoint azure-data-explorer-ingestion-endpoint
    	Database_Name azure-data-explorer-database-name
    	Table_Name azure-data-explorer-table-name

Vergewissern Sie sich, dass Daten in Ihrer Tabelle enthalten sind

Sobald die Konfiguration abgeschlossen ist, sollten Protokolle in Ihrer Tabelle eingehen.

1. Führen Sie die folgende Abfrage aus, um zu überprüfen, ob die Protokolle aufgenommen werden:

   FluentBitLogs
   | count
   

2. Führen Sie die folgende Abfrage aus, um ein Beispiel für Protokolldaten anzuzeigen:

   FluentBitLogs
   | take 100
   

Zugehöriger Inhalt

• Write queries (Schreiben von Abfragen)