Vytvoření datového připojení služby Event Hubs pro Azure Data Explorer

Azure Data Explorer nabízí příjem dat ze služby Event Hubs, platformu pro streamování velkých objemů dat a službu pro příjem událostí. Event Hubs může zpracovávat miliony událostí za sekundu téměř v reálném čase.

V tomto článku se připojíte k centru událostí a ingestujete data do Azure Data Exploreru. Přehled ingestování ze služby Event Hubs najdete v tématu Datové připojení služby Azure Event Hubs.

Informace o tom, jak vytvořit připojení pomocí sad Kusto SDK, najdete v tématu Vytvoření datového připojení služby Event Hubs pomocí sad SDK.

Ukázky kódu založené na předchozích verzích sady SDK najdete v archivovaného článku.

Vytvoření datového připojení centra událostí

V této části vytvoříte propojení mezi centrem událostí a tabulkou Azure Data Exploreru. Pokud je toto připojení na místě, data se přenášejí z centra událostí do cílové tabulky. Pokud se centrum událostí přesune do jiného prostředku nebo předplatného, musíte připojení aktualizovat nebo znovu vytvořit.

Získání dat

Požadavky

• Účet Microsoft nebo identita uživatele Microsoft Entra. Předplatné Azure není povinné.
• Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
• Příjem dat streamování musí být nakonfigurovaný v clusteru Azure Data Exploreru.

Získat data

1. V nabídce vlevo vyberte Dotaz.

2. Klikněte pravým tlačítkem na databázi, ve které chcete data ingestovat. Vyberte Získat data.

   

Zdroj

V okně Načíst data je vybrána karta Zdroj .

Vyberte zdroj dat z dostupného seznamu. V tomto příkladu ingestujete data ze služby Event Hubs.

Konfigurovat

1. Vyberte cílovou databázi a tabulku. Pokud chcete ingestovat data do nové tabulky, vyberte + Nová tabulka a zadejte název tabulky.

   Poznámka:

   Názvy tabulek můžou mít maximálně 1024 znaků včetně mezer, alfanumerických znaků, pomlček a podtržítka. Speciální znaky nejsou podporované.

   

2. Vyplňte následující pole:

   Nastavení	Popis pole
   Předplatné	ID předplatného, ve kterém se nachází prostředek centra událostí.
   Obor názvů centra událostí	Název, který identifikuje váš obor názvů.
   Centrum událostí	Centrum událostí, které chcete
   Skupina uživatelů	Skupina příjemců definovaná ve vaší události
   Název datového připojení	Název, který identifikuje vaše datové připojení.
   Rozšířené filtry
   Komprese	Typ komprese datové části centra událostí.
   Vlastnosti systému událostí	Systémové vlastnosti centra událostí. Pokud existuje více záznamů na zprávu události, vlastnosti systému se přidají do prvního záznamu. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti.
   Počáteční datum načítání událostí	Datové připojení načte existující události služby Event Hubs vytvořené po počátečním datu načtení události. Je možné načíst pouze události, které uchovává doba uchovávání služby Event Hubs. Pokud není zadané počáteční datum načtení události, je výchozím časem čas vytvoření datového připojení.

3. Vyberte Další.

Inspekce

Otevře se karta Kontrola s náhledem dat.

Proces příjmu dat dokončíte výběrem možnosti Dokončit.

Nepovinná možnost:

• Pokud se data zobrazená v okně náhledu nedokončí, budete možná potřebovat další data k vytvoření tabulky se všemi potřebnými datovými poli. K načtení nových dat z centra událostí použijte následující příkazy:

  • Zahodit a načíst nová data: Zahodí zobrazená data a vyhledá nové události.

  • Načtení dalších dat: Vyhledá další události kromě již nalezených událostí.

    Poznámka:

    Pokud chcete zobrazit náhled dat, musí vaše centrum událostí odesílat události.

• Výběrem prohlížeče příkazů zobrazíte a zkopírujete automatické příkazy vygenerované z vašich vstupů.

• Pomocí rozevíracího seznamu Definiční soubor schématu změňte soubor, ze kterého je schéma odvozeno.

• Změňte automaticky odvozený formát dat výběrem požadovaného formátu z rozevíracího seznamu. Viz Formáty dat podporované Azure Data Explorerem pro příjem dat.

• Upravte sloupce.

• Prozkoumejte pokročilé možnosti na základě datového typu.

Upravit sloupce

Poznámka:

• U tabulkových formátů (CSV, TSV, PSV) nemůžete namapovat sloupec dvakrát. Pokud chcete namapovat na existující sloupec, nejprve odstraňte nový sloupec.
• Existující typ sloupce nelze změnit. Pokud se pokusíte namapovat na sloupec s jiným formátem, můžete skončit s prázdnými sloupci.

Změny, které můžete provést v tabulce, závisí na následujících parametrech:

• Typ tabulky je nový nebo existující
• Typ mapování je nový nebo existující

Typ tabulky	Typ mapování	Dostupné úpravy
Nová tabulka	Nové mapování	Přejmenování sloupce, změna datového typu, změna zdroje dat, transformace mapování, přidání sloupce, odstranění sloupce
Existující tabulka	Nové mapování	Přidejte sloupec (u kterého pak můžete změnit datový typ, přejmenovat a aktualizovat)
Existující tabulka	Existující mapování	Žádná

Mapování transformací

Některá mapování formátu dat (Parquet, JSON a Avro) podporují jednoduché transformace v čase ingestování. Pokud chcete použít transformace mapování, vytvořte nebo aktualizujte sloupec v okně Upravit sloupce .

Transformace mapování je možné provést u sloupce typu řetězec nebo datum a čas, přičemž zdroj má datový typ int nebo long. Podporované transformace mapování jsou:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Rozšířené možnosti založené na datovém typu

Tabulkový (CSV, TSV, PSV):

• Pokud ingestujete tabulkové formáty v existující tabulce, můžete vybrat rozšířené>zachování aktuálního schématu tabulky. Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud je tato možnost zaškrtnutá, mapování se provádí podle pořadí a schéma tabulky zůstane stejné. Pokud tato možnost není zaškrtnutá, vytvoří se nové sloupce pro příchozí data bez ohledu na strukturu dat.

• Pokud chcete použít první řádek jako názvy sloupců, vyberte Upřesnit>první řádek je záhlaví sloupce.

  

JSON:

• Pokud chcete určit rozdělení sloupců dat JSON, vyberte pokročilé>vnořené úrovně od 1 do 100.

• Pokud vyberete chyby rozšířeného>ignorovat formát dat, data se ingestují ve formátu JSON. Pokud toto políčko nezaškrtnete, data se ingestují ve vícejsonovém formátu.

  

Shrnutí

V okně přípravy dat jsou všechny tři kroky označené zelenými značkami zaškrtnutí, jakmile se příjem dat úspěšně dokončí. Můžete zobrazit příkazy použité pro jednotlivé kroky nebo vybrat kartu pro dotazování, vizualizaci nebo vyřazení přijatých dat.

Portál – stránka Azure Data Exploreru

Požadavky

• Předplatné Azure. Vytvořte bezplatný účet Azure.
• Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
• Cílová tabulka. Vytvořte tabulku nebo použijte existující tabulku.
• Mapování příjmu dat pro tabulku.
• Centrum událostí s daty pro příjem dat.

Získat data

1. Na webu Azure Portal přejděte do clusteru a vyberte Databáze. Pak vyberte databázi, která obsahuje cílovou tabulku.

   

2. V nabídce vlevo vyberte Příjem dat. Potom v horním panelu vyberte Přidat datové připojení.

3. Vyplňte formulář následujícími informacemi a pak vyberte Vytvořit.

   Nastavení	Navrhovaná hodnota	Popis pole
   Název datového připojení	test-hub-connection	Název připojení, které chcete vytvořit v Azure Data Exploreru
   Předplatné		ID předplatného, ve kterém se nachází prostředek centra událostí.
   Obor názvů centra událostí	Jedinečný název oboru názvů	Název, který jste zvolili dříve a který identifikuje váš obor názvů
   Centrum událostí	test-hub	Centrum událostí, které jste vytvořili
   Skupina uživatelů	test-group	Skupina uživatelů, kterou jste definovali v centrum událostí, které jste vytvořili
   Vlastnosti systému událostí	Výběr relevantních vlastností	Systémové vlastnosti centra událostí. Pokud existuje více záznamů na zprávu události, vlastnosti systému se přidají do prvního záznamu. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti.
   Komprese	Nic	Typ komprese datové části centra událostí. Podporované typy komprese: None, gzip.
   Spravovaná identita (doporučeno)	Přiřazeno systémem	Spravovaná identita používaná clusterem Průzkumníka dat pro přístup ke čtení z centra událostí. Ke kontrole přístupu k centru událostí doporučujeme používat spravované identity. Poznámka: Po vytvoření datového připojení: * Identity přiřazené systémem se automaticky vytvoří, pokud neexistují. * Spravovaná identita se automaticky přiřadí roli příjemce dat služby Azure Event Hubs a přidá se do clusteru Průzkumníka dat. Doporučujeme ověřit, jestli byla role přiřazená a že se identita přidala do clusteru.

   Poznámka:

   Pokud máte existující datové připojení, které nepoužívá spravované identity, doporučujeme ho aktualizovat na používání spravovaných identit.

Portál – stránka Azure Event Hubs

Požadavky

• Předplatné Azure. Vytvořte bezplatný účet Azure.
• Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
• Cílová tabulka. Vytvořte tabulku nebo použijte existující tabulku.
• Mapování příjmu dat pro tabulku.
• Centrum událostí s daty pro příjem dat.

Získat data

1. Na webu Azure Portal přejděte k instanci služby Event Hubs.

2. V nabídce Na straně Funkce vyberte Analyzovat data pomocí Kusto.

3. Výběrem možnosti Start otevřete průvodce příjmem dat do Azure Data Exploreru.

   

   Poznámka:

   • Musíte mít alespoň oprávnění uživatele databáze.
   • Pokud chcete povolit přístup mezi clusterem a účtem úložiště bez veřejného přístupu, přečtěte si téma Vytvoření spravovaného privátního koncového bodu.
   • Cluster a centrum událostí by měly být přidružené ke stejným tenantům. Pokud ne, použijte některou z možností sady SDK, jako je C# nebo Python.

4. Otevře se podokno Ingestování dat s vybranou kartou Cíl . V rozevíracích sadě vyberte pole Cluster a Databáze. Ujistěte se, že jste vybrali spuštěný cluster. Jinak nebudete moct vybrat databázi a pokračovat v procesu příjmu dat.

5. V části Tabulka vyberte Nová tabulka a zadejte název nové tabulky. Případně můžete použít existující tabulku.

6. Vyberte Další: Zdroj.

7. V části Typ zdroje se automaticky vyplněný typ a podrobnosti centra událostí na základě instance služby Event Hubs, ze které jste začali.

8. V části Datové připojení vyplňte následující pole a vyberte Další: Schéma.

   Nastavení	Navrhovaná hodnota	Popis pole
   Předplatné		ID předplatného, ve kterém se nachází prostředek centra událostí.
   Obor názvů centra událostí		Název, který identifikuje váš obor názvů.
   Centrum událostí		Centrum událostí, které chcete použít.
   Název datového připojení	TestDataConnection	Název, který identifikuje vaše datové připojení.
   Skupina uživatelů		Skupina příjemců definovaná ve vašem centru událostí.
   Komprese		Typ komprese datové části centra událostí.
   Vlastnosti systému událostí	Výběr relevantních vlastností	Systémové vlastnosti centra událostí. Pokud existuje více záznamů na zprávu události, vlastnosti systému se přidají do prvního záznamu. Při přidávání systémových vlastností vytvořte nebo aktualizujte schéma tabulky a mapování tak, aby zahrnovalo vybrané vlastnosti.
   Počáteční datum načítání událostí	Koordinovaný univerzální čas (UTC)	Datové připojení načte existující události služby Event Hubs vytvořené po počátečním datu načtení události. Je možné načíst pouze události, které uchovává doba uchovávání služby Event Hubs. Pokud není zadané počáteční datum načtení události, je výchozím časem čas vytvoření datového připojení.

9. Pokud je pro cluster povolené streamování , můžete vybrat příjem dat streamování. Pokud pro cluster není povolené streamování, nastavte latenci dávkování dat. U služby Event Hubs je doporučená doba dávkování 30 sekund.

   

10. Vyberte formát dat. U dat ve formátu CSV ignorujte první záznam a ignorujte řádek záhlaví souboru. U dat ve formátu JSON vyberte Ignorovat chyby formátu dat a ingestujte data ve formátu JSON nebo ponechte nevybraná a ingestujte data ve formátu multijson. Výběrem vnořených úrovní určete rozdělení dat sloupce tabulky.

11. Pokud se data zobrazená v okně náhledu nedokončí, budete možná potřebovat další data k vytvoření tabulky se všemi potřebnými datovými poli. K načtení nových dat z centra událostí použijte následující příkazy:

    • Zahodit a načíst nová data: zahodí zobrazená data a vyhledá nové události.
    • Načtení dalších dat: Vyhledá další události kromě již nalezených událostí.

    Poznámka:

    Pokud chcete zobrazit náhled dat, musí vaše centrum událostí odesílat události.

12. Vyberte Další: Souhrn.

13. V vytvořeném okně centra událostí jsou všechny kroky označené zelenými značkami zaškrtnutí, jakmile se úspěšně dokončí vytváření.

Šablona ARM

Požadavky

• Předplatné Azure. Vytvořte bezplatný účet Azure.
• Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
• Cílová tabulka. Vytvořte tabulku nebo použijte existující tabulku.
• Mapování příjmu dat pro tabulku.
• Centrum událostí s daty pro příjem dat.

Šablona ARM

Následující příklad ukazuje šablonu Azure Resource Manageru pro přidání datového připojení služby Event Hubs. Šablonu můžete upravit a nasadit na webu Azure Portal pomocí formuláře.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Odebrání datového připojení centra událostí

Získání dat

Odeberte datové připojení prostřednictvím webu Azure Portal, jak je vysvětleno na kartě portálu.

Azure Portal

Pokud chcete odebrat připojení centra událostí z webu Azure Portal, postupujte takto:

1. Přejděte do clusteru. V nabídce vlevo vyberte Databáze. Pak vyberte databázi, která obsahuje cílovou tabulku.
2. V nabídce vlevo vyberte Datová připojení. Potom zaškrtněte políčko vedle příslušného datového připojení centra událostí.
3. V horním řádku nabídek vyberte Odstranit.

Související obsah

• Kontrola připojení k ukázkové aplikaci zpráv centra událostí
• Dotazování dat ve webovém uživatelském rozhraní