Skapa en Event Grid-dataanslutning för Azure Data Explorer

I den här artikeln får du lära dig hur du matar in blobar från ditt lagringskonto till Azure Data Explorer med hjälp av en Event Grid-dataanslutning. Du skapar en Event Grid-dataanslutning som anger en Azure Event Grid-prenumeration . Event Grid-prenumerationen dirigerar händelser från ditt lagringskonto till Azure Data Explorer via en Azure Event Hubs.

Allmän information om hur du matar in i Azure Data Explorer från Event Grid finns i Ansluta till Event Grid.

Kommentar

För att uppnå bästa prestanda med Event Grid-anslutningen anger du inmatningsegenskapen rawSizeBytes via blobmetadata. Mer information finns i inmatningsegenskaper.

Förutsättningar

• En Azure-prenumeration. Skapa ett kostnadsfritt Azure-konto.
• Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
• En måltabell. Skapa en tabell eller använd en befintlig tabell.
• En inmatningsmappning för tabellen.
• Ett lagringskonto. En Event Grid-meddelandeprenumeration kan anges på Azure Storage-konton för BlobStorage, StorageV2eller Data Lake Storage Gen2.

Skapa en Event Grid-dataanslutning

I det här avsnittet upprättar du en anslutning mellan Event Grid och din Azure Data Explorer-tabell.

Portal – Azure Data Explorer

1. Under klustret du skapade väljer du Databaser>TestDatabase.

   

2. Välj Datainmatning>Lägg till dataanslutning.

   

3. Under Grundläggande väljer du anslutningstyp: Blob Storage och fyller sedan i formuläret med följande information:

   

   Inställning	Föreslaget värde	Fältbeskrivning
   Namn på dataanslutning	test-grid-connection	Namnet på den anslutning som du vill skapa i Azure Data Explorer.
   Lagringskontoprenumeration	Ditt prenumerations-ID	Prenumerations-ID:t där ditt lagringskonto finns.
   Lagringskonto	gridteststorage1	Namnet på lagringskontot som du skapade tidigare.
   Händelsetyp	Bloben har skapats eller bloben har bytt namn	Den typ av händelse som utlöser inmatning. Blobbyte stöds endast för ADLSv2-lagring. Om du vill byta namn på en blob navigerar du till bloben i Azure Portal, högerklickar på bloben och väljer Byt namn. Typer som stöds är: Microsoft.Storage.BlobCreated eller Microsoft.Storage.BlobRenamed.
   Skapa resurser	Automatisk	Definiera om du vill att Azure Data Explorer ska skapa en Event Grid-prenumeration, ett Event Hubs-namnområde och en Händelsehubb åt dig. Information om hur du skapar resurser manuellt finns i Skapa resurser manuellt för Event Grid-inmatning

4. Välj Filterinställningar om du vill spåra specifika ämnen. Ange filter för meddelanden på följande sätt:

   • Prefixfältet är ämnets literalprefix . Eftersom mönstret som tillämpas börjarmed kan det sträcka sig över flera containrar, mappar eller blobar. Jokertecken får inte användas.
     • Om du vill definiera ett filter på blobcontainern måste fältet anges på följande sätt: /blobServices/default/containers/[container prefix].
     • Om du vill definiera ett filter på ett blobprefix (eller en mapp i Azure Data Lake Gen2) måste fältet anges på följande sätt: /blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
   • Suffixfältet är literalsuffixet för bloben. Jokertecken får inte användas.
   • Skiftlägeskänsligt fält anger om prefixet och suffixfiltren är skiftlägeskänsliga
   • Mer information om filtreringshändelser finns i Blob Storage-händelser.

   

5. Välj Nästa: Mata in egenskaper.

6. Fyll i formuläret med följande information. Tabell- och mappningsnamn är skiftlägeskänsliga:

   

   Mata in egenskaper:

   Inställning	Föreslaget värde	Fältbeskrivning
   Tillåt routning av data till andra databaser (dataanslutning för flera databaser)	Tillåt inte	Aktivera det här alternativet om du vill åsidosätta standardmåldatabasen som är associerad med dataanslutningen. Mer information om databasroutning finns i Händelseroutning.
   Tabellnamn	TestTable	Tabellen som du skapade i TestDatabase.
   Dataformat	JSON	Format som stöds är Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW och W3CLOG. Komprimeringsalternativ som stöds är Zip och Gzip.
   Mappning	TestMapping	Mappningen du skapade i TestDatabase, som mappar inkommande data till kolumnnamnen och datatyperna i TestTable. Om det inte anges används en identitetsdatamappning som härletts från tabellens schema.
   Avancerade inställningar	Mina data har rubriker	Ignorerar rubriker. Stöds för *SV-typfiler.

   Kommentar

   Du behöver inte ange alla inställningar för standarddirigering. Partiella inställningar accepteras också.

7. Välj Nästa: Granska + skapa

8. Under *Granska + skapa.

9. Granska de resurser som skapades automatiskt åt dig och välj Skapa.

   

10. Vänta tills distributionen är klar. Om distributionen misslyckades väljer du Åtgärdsinformation bredvid den misslyckade fasen för att få mer information av felorsaken. Välj Distribuera om för att försöka distribuera resurserna igen. Du kan ändra parametrarna före distributionen.

    

Portal – Azure Storage

1. Bläddra till lagringskontot i Azure Portal. På den vänstra menyn väljer du Händelser

2. I huvudfönstret väljer du fliken Azure Data Explorer .

   

Fönstret Dataanslutning öppnas med fliken Grundinställningar markerad.

1. Under Grundläggande fyller du i formuläret med följande information:

   

   Inställning	Föreslaget värde	Fältbeskrivning
   Namn på dataanslutning	test-grid-connection	Namnet på den anslutning som du vill skapa i Azure Data Explorer.
   Lagringskonto	gridteststorage1	Lagringskontot som du har använt guiden från. Fylls i automatiskt.
   Händelsetyp	Bloben har skapats eller bloben har bytt namn	Den typ av händelse som utlöser inmatning. Blobbyte stöds endast för ADLSv2-lagring. Om du vill byta namn på en blob navigerar du till bloben i Azure Portal, högerklickar på bloben och väljer Byt namn. Typer som stöds är: Microsoft.Storage.BlobCreated eller Microsoft.Storage.BlobRenamed.
   Skapa resurser	Automatisk	Definiera om du vill att Azure Data Explorer ska skapa en Event Grid-prenumeration, ett Event Hubs-namnområde och en Händelsehubb åt dig. Information om hur du skapar resurser manuellt finns i Skapa resurser manuellt för Event Grid-inmatning

2. Välj Nästa> inmatningsegenskaper.

3. Under Inmatningsegenskaper.

4. Fyll i formuläret med följande information. Tabell- och mappningsnamn är skiftlägeskänsliga:

   

   Inställning	Föreslaget värde	Fältbeskrivning
   Prenumeration		Din Azure Data Explorer-prenumeration.
   Klusternamn	TestCluster	Namnet på klustret där du vill mata in data.
   Databasnamn	TestDatabase	Måldatabasen som du skapade i TestCluster.
   Tillåt routning av data till andra databaser (dataanslutning för flera databaser)	Tillåt inte	Aktivera det här alternativet om du vill åsidosätta standardmåldatabasen som är associerad med dataanslutningen. Mer information om databasroutning finns i Händelseroutning.
   Tabellnamn	TestTable	Måltabellen som du skapade i TestDatabase.
   Dataformat	JSON	Format som stöds är Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW och W3CLOG. Komprimeringsalternativ som stöds är Zip och Gzip.
   Mappning	TestMapping	Mappningen du skapade i TestDatabase, som mappar inkommande data till kolumnnamnen och datatyperna i TestTable. Om det inte anges används en identitetsdatamappning som härletts från tabellens schema.
   Avancerade inställningar	Mina data har rubriker	Ignorerar rubriker. Stöds för *SV-typfiler.

   Kommentar

   Du behöver inte ange alla inställningar för dataroutning. Partiella inställningar accepteras också.

5. Välj Nästa: Granska + skapa

6. Under Granska + skapa.

7. Granska de resurser som skapades automatiskt åt dig och välj Skapa.

   

8. Vänta tills distributionen är klar. Om distributionen misslyckades väljer du Åtgärdsinformation bredvid den misslyckade fasen för att få mer information av felorsaken. Välj Distribuera om för att försöka distribuera resurserna igen. Du kan ändra parametrarna före distributionen.

   

C#

1. Installera NuGet-paketet Microsoft.Azure.Management.Kusto.

2. Skapa ett Huvudnamn för Azure AD-programmet som ska användas för autentisering. Du behöver katalog-ID(klient)-ID, program-ID och klienthemlighet.

3. Kör följande kod.

   var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
   var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
   var clientSecret = "PlaceholderClientSecret"; //Client Secret
   var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
   var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
       .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
       .WithClientSecret(clientSecret)
       .Build();
   var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
   var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
   var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
   var resourceGroupName = "testrg";
   //The cluster and database that are created as part of the Prerequisites
   var clusterName = "mykustocluster";
   var databaseName = "mykustodatabase";
   var eventGridConnectionName = "myeventgridconnect";
   //The event hub and storage account that are created as part of the Prerequisites
   var eventHubResourceId = "/subscriptions/<storageAccountSubscriptionId>/resourceGroups/<storageAccountResourceGroupName>/providers/Microsoft.Storage/storageAccounts/<storageAccountName>";
   var storageAccountResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
   var consumerGroup = "$Default";
   var location = "Central US";
   //The table and column mapping are created as part of the Prerequisites
   var mappingRuleName = "StormEvents_CSV_Mapping";
   var dataFormat = DataFormat.CSV;
   var blobStorageEventType = "Microsoft.Storage.BlobCreated";
   var databaseRouting = "Multi";
   var eventGridConnectionData = new EventGridDataConnection(
       storageAccountResourceId, eventHubResourceId, consumerGroup,
       tableName: tableName, location: location, mappingRuleName: mappingRuleName,
       dataFormat: dataFormat, blobStorageEventType: blobStorageEventType, databaseRouting: databaseRouting
   );
   await kustoManagementClient.DataConnections.CreateOrUpdateAsync(
       resourceGroupName, clusterName, databaseName, eventGridConnectionName, eventGridConnectionData
   );
   

   Inställning	Föreslaget värde	Fältbeskrivning
   tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ditt klientorganisations-ID. Kallas även katalog-ID.
   subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Det prenumerations-ID som du använder för att skapa resurser.
   clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Klient-ID för programmet som kan komma åt resurser i din klientorganisation.
   clientSecret	PlaceholderClientSecret	Klienthemligheten för programmet som kan komma åt resurser i din klientorganisation.
   resourceGroupName	testrg	Namnet på resursgruppen som innehåller klustret.
   clusterName	mykustocluster	Namnet på klustret.
   databaseName	mykustodatabase	Namnet på måldatabasen i klustret.
   eventGridConnectionName	myeventgridconnect	Önskat namn på dataanslutningen.
   tableName	StormEvents	Namnet på måltabellen i måldatabasen.
   mappingRuleName	StormEvents_CSV_Mapping	Namnet på din kolumnmappning som är relaterad till måltabellen.
   dataFormat	csv	Meddelandets dataformat.
   eventHubResourceId	Resurs-ID	Resurs-ID för din händelsehubb där Event Grid är konfigurerat för att skicka händelser.
   storageAccountResourceId	Resurs-ID	Resurs-ID för ditt lagringskonto som innehåller data för inmatning.
   consumerGroup	$Default	Konsumentgruppen för din händelsehubb.
   plats	USA, centrala	Platsen för dataanslutningsresursen.
   blobStorageEventType	Microsoft.Storage.BlobSkapat	Den typ av händelse som utlöser inmatning. Händelser som stöds är: Microsoft.Storage.BlobCreated eller Microsoft.Storage.BlobRenamed. Blobbyte stöds endast för ADLSv2-lagring.
   databaseRouting	Flera eller enstaka	Databasroutningen för anslutningen. Om du anger värdet till Enkel dirigeras dataanslutningen till en enskild databas i klustret enligt inställningen databaseName . Om du anger värdet till Multi kan du åsidosätta standardmåldatabasen med hjälp av egenskapen Databasinmatning. Mer information finns i Händelseroutning.

Python

1. Installera de bibliotek som krävs.

   pip install azure-common
   pip install azure-mgmt-kusto
   

2. Skapa ett Huvudnamn för Azure AD-programmet som ska användas för autentisering. Du behöver katalog-ID(klient)-ID, program-ID och klienthemlighet.

3. Kör följande kod.

   from azure.mgmt.kusto import KustoManagementClient
   from azure.mgmt.kusto.models import EventGridDataConnection
   from azure.common.credentials import ServicePrincipalCredentials
   
   #Directory (tenant) ID
   tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Application ID
   client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   #Client Secret
   client_secret = "xxxxxxxxxxxxxx"
   subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
   credentials = ServicePrincipalCredentials(
           client_id=client_id,
           secret=client_secret,
           tenant=tenant_id
       )
   kusto_management_client = KustoManagementClient(credentials, subscription_id)
   
   resource_group_name = "testrg"
   #The cluster and database that are created as part of the Prerequisites
   cluster_name = "mykustocluster"
   database_name = "mykustodatabase"
   data_connection_name = "myeventhubconnect"
   #The event hub and storage account that are created as part of the Prerequisites
   event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.EventHub/namespaces/xxxxxx/eventhubs/xxxxxx"
   storage_account_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/xxxxxx/providers/Microsoft.Storage/storageAccounts/xxxxxx"
   consumer_group = "$Default"
   location = "Central US"
   #The table and column mapping that are created as part of the Prerequisites
   table_name = "StormEvents"
   mapping_rule_name = "StormEvents_CSV_Mapping"
   data_format = "csv"
   database_routing = "Multi"
   blob_storage_event_type = "Microsoft.Storage.BlobCreated"
   
   #Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
   poller = kusto_management_client.data_connections.begin_create_or_update(resource_group_name=resource_group_name, cluster_name=cluster_name, database_name=database_name, data_connection_name=data_connection_name,
                                               parameters=EventGridDataConnection(storage_account_resource_id=storage_account_resource_id, event_hub_resource_id=event_hub_resource_id, 
                                                                                   consumer_group=consumer_group, table_name=table_name, location=location, mapping_rule_name=mapping_rule_name, data_format=data_format, database_routing=database_routing,
                                                                                   blob_storage_event_type=blob_storage_event_type))
   # The creation of the connection is async. Validation errors are only visible if you wait for the results.
   poller.wait()
   print(poller.result())
   

   Inställning	Föreslaget värde	Fältbeskrivning
   tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Ditt klientorganisations-ID. Kallas även katalog-ID.
   subscription_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Det prenumerations-ID som du använder för att skapa resurser.
   client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Klient-ID för programmet som kan komma åt resurser i din klientorganisation.
   client_secret	xxxxxxxxxxxxxxxx	Klienthemligheten för programmet som kan komma åt resurser i din klientorganisation.
   resource_group_name	testrg	Namnet på resursgruppen som innehåller klustret.
   cluster_name	mykustocluster	Namnet på klustret.
   database_name	mykustodatabase	Namnet på måldatabasen i klustret.
   data_connection_name	myeventhubconnect	Önskat namn på dataanslutningen.
   table_name	StormEvents	Namnet på måltabellen i måldatabasen.
   mapping_rule_name	StormEvents_CSV_Mapping	Namnet på din kolumnmappning som är relaterad till måltabellen.
   database_routing	Flera eller enstaka	Databasroutningen för anslutningen. Om du anger värdet till Enkel dirigeras dataanslutningen till en enskild databas i klustret enligt inställningen databaseName . Om du anger värdet till Multi kan du åsidosätta standardmåldatabasen med hjälp av egenskapen Databasinmatning. Mer information finns i Händelseroutning.
   data_format	csv	Meddelandets dataformat.
   event_hub_resource_id	Resurs-ID	Resurs-ID för din händelsehubb där Event Grid är konfigurerat för att skicka händelser.
   storage_account_resource_id	Resurs-ID	Resurs-ID för ditt lagringskonto som innehåller data för inmatning.
   consumer_group	$Default	Konsumentgruppen för din händelsehubb.
   plats	USA, centrala	Platsen för dataanslutningsresursen.
   blob_storage_event_type	Microsoft.Storage.BlobSkapat	Den typ av händelse som utlöser inmatning. Händelser som stöds är: Microsoft.Storage.BlobCreated eller Microsoft.Storage.BlobRenamed. Blobbyte stöds endast för ADLSv2-lagring.

ARM-mall

I följande exempel visas en Azure Resource Manager-mall för att lägga till en Event Grid-dataanslutning. Du kan redigera och distribuera mallen i Azure Portal med hjälp av formuläret.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the event hub namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "StorageAccounts_storagedemo_name": {
            "type": "string",
            "defaultValue": "storagedemo",
            "metadata": {
                "description": "Specifies the storage account name"
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
             "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the resources"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the resources"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventGrid",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "storageAccountResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.Storage/storageAccounts', parameters('StorageAccounts_storagedemo_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Ta bort en Event Grid-dataanslutning

Portal

Om du vill ta bort Event Grid-anslutningen från Azure Portal gör du följande:

1. Gå till klustret. Välj Databaser på den vänstra menyn. Välj sedan den databas som innehåller måltabellen.
2. Välj Dataanslutningar på den vänstra menyn. Markera sedan kryssrutan bredvid relevant Event Grid-dataanslutning.
3. Välj Ta bort på den översta menyraden.

C#

Om du vill ta bort Event Grid-anslutningen kör du följande kommando:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Python

Om du vill ta bort Event Grid-anslutningen kör du följande kommando:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Nästa steg

• Bearbeta data från din händelsehubb med Hjälp av Azure Stream Analytics