Sdílet prostřednictvím

Vizualizace dat z Azure Data Exploreru v Kibaně pomocí opensourcového konektoru K2Bridge

  • Článek

K2Bridge (Kibana-Kusto Bridge) umožňuje používat Azure Data Explorer jako zdroj dat a vizualizovat tato data v Kibaně. K2Bridge je opensourcová kontejnerizovaná aplikace. Funguje jako proxy mezi instancí Kibana a clusterem Azure Data Exploreru. Tento článek popisuje, jak pomocí K2Bridge vytvořit toto připojení.

K2Bridge překládá dotazy Kibana do dotazovací jazyk Kusto (KQL) a odesílá výsledky Azure Data Exploreru zpět do Kibany.

Připojení Kibana k Azure Data Exploreru přes K2Bridge

K2Bridge podporuje karty Zjišťování, Vizualizace a Řídicí panely Kibany.

Na kartě Zjišťování můžete:

  • Vyhledejte a prozkoumejte data.
  • Filtrování výsledků
  • Přidejte nebo odeberte pole v mřížce výsledků.
  • Umožňuje zobrazit obsah záznamu.
  • Hledání můžete uložit a sdílet.

Pomocí karty Vizualizovat můžete:

  • Vytvářejte vizualizace, jako jsou pruhové grafy, výsečové grafy, tabulky dat, heat mapy a další.
  • Uložení vizualizace

Na kartě Řídicí panel můžete:

  • Vytvářejte panely pomocí nových nebo uložených vizualizací.
  • Uložte řídicí panel.

Následující obrázek znázorňuje instanci Kibana vázanou na Azure Data Explorer pomocí K2Bridge. Uživatelské prostředí v Kibaně se nezmění.

Stránka Kibana svázaná s Azure Data Explorerem

Požadavky

Než budete moct vizualizovat data z Azure Data Exploreru v Kibaně, připravte následující:

  • Předplatné Azure. Vytvořte bezplatný účet Azure.
  • Cluster a databáze Azure Data Exploreru. Budete potřebovat adresu URL clusteru a název databáze.
  • Helm v3, správce balíčků Kubernetes.
  • Cluster Azure Kubernetes Service (AKS) nebo jakýkoli jiný cluster Kubernetes Použijte verzi 1.21.2 nebo novější s minimálně třemi uzly Azure Kubernetes Service. Verze 1.21.2 byla testována a ověřena. Pokud potřebujete cluster AKS, podívejte se, jak nasadit cluster AKS pomocí Azure CLI nebo pomocí webu Azure Portal.
  • Instanční objekt Microsoft Entra autorizovaný k zobrazení dat v Azure Data Exploreru, včetně ID klienta a tajného klíče klienta. Případně můžete použít spravovanou identitu přiřazenou systémem.

Pokud se rozhodnete použít instanční objekt Microsoft Entra, budete muset vytvořit instanční objekt Microsoft Entra. Pro instalaci budete potřebovat ID klienta a tajný klíč. Doporučujeme instanční objekt s oprávněním prohlížeče a nedoporučujeme vám používat oprávnění vyšší úrovně. Pokud chcete přiřadit oprávnění, přečtěte si téma Správa oprávnění k databázi na webu Azure Portal nebo použití příkazů pro správu ke správě rolí zabezpečení databáze.

Pokud se rozhodnete použít identitu přiřazenou systémem, budete muset získat ID klienta spravované identity fondu agentů (umístěné ve vygenerované skupině prostředků [MC_xxxx]).

Spuštění K2Bridge ve službě Azure Kubernetes Service (AKS)

Chart Helm pro K2Bridge ve výchozím nastavení odkazuje na veřejně dostupnou image umístěnou ve službě Microsoft Container Registry (MCR). MCR nevyžaduje žádné přihlašovací údaje.

  1. Stáhněte si požadované grafy Helm.

  2. Přidejte závislost Elasticsearch do Nástroje Helm. Závislost se vyžaduje, protože K2Bridge používá malou interní instanci Elasticsearch. Požadavky související se službami instance, jako jsou dotazy na vzory indexů a uložené dotazy. Tato interní instance neukládá žádná obchodní data. Instanci můžete vzít v úvahu jako podrobnosti implementace.

    1. Pokud chcete přidat závislost Elasticsearch do Nástroje Helm, spusťte tyto příkazy:

      helm repo add elastic https://helm.elastic.co
helm repo update

    2. Získání grafu K2Bridge z adresáře grafů úložiště GitHub:

      1. Naklonujte úložiště z GitHubu.

      2. Přejděte do kořenového adresáře úložiště K2Bridges.

      3. Spusťte tento příkaz:

        helm dependency update charts/k2bridge

  3. Nasazení K2Bridge

    1. Nastavte proměnné na správné hodnoty pro vaše prostředí.

      ADX_URL=[YOUR_ADX_CLUSTER_URL] #For example, https://mycluster.westeurope.kusto.windows.net
ADX_DATABASE=[YOUR_ADX_DATABASE_NAME]
ADX_CLIENT_ID=[SERVICE_PRINCIPAL_CLIENT_ID]
ADX_CLIENT_SECRET=[SERVICE_PRINCIPAL_CLIENT_SECRET]
ADX_TENANT_ID=[SERVICE_PRINCIPAL_TENANT_ID]

      Poznámka:

      Při použití spravované identity je hodnota ADX_CLIENT_ID ID klienta spravované identity umístěné ve vygenerované skupině prostředků [MC_xxxx]. Další informace najdete v tématu MC_ skupiny prostředků. ADX_SECRET_ID se vyžaduje pouze v případě, že používáte instanční objekt Microsoft Entra.

    2. Volitelně můžete povolit telemetrii Application Insights. Pokud application Insights používáte poprvé, vytvořte prostředek Application Insights. Zkopírujte instrumentační klíč do proměnné.

      APPLICATION_INSIGHTS_KEY=[INSTRUMENTATION_KEY]
COLLECT_TELEMETRY=true

    3. Nainstalujte graf K2Bridge. Vizualizace a řídicí panely jsou podporované jenom ve verzi Kibana 7.10. Nejnovější značky obrázků jsou: 6.8_latest a 7.16_latest, které podporují Kibana 6.8 a Kibana 7.10. Image 7.16_latest podporuje Kibana OSS 7.10.2 a její interní instance Elasticsearch je 7.16.2.

      Pokud se použil instanční objekt Microsoft Entra:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set settings.aadClientId="$ADX_CLIENT_ID" --set settings.aadClientSecret="$ADX_CLIENT_SECRET" --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=6.8_latest/7.16_latest] 
[--set image.repository=$REPOSITORY_NAME/$CONTAINER_NAME] 
[--set privateRegistry="$IMAGE_PULL_SECRET_NAME"] [--set settings.collectTelemetry=$COLLECT_TELEMETRY]

      Nebo pokud se použila spravovaná identita:

      helm install k2bridge charts/k2bridge -n k2bridge --set settings.adxClusterUrl="$ADX_URL" --set settings.adxDefaultDatabaseName="$ADX_DATABASE" --set       settings.aadClientId="$ADX_CLIENT_ID" --set settings.useManagedIdentity=true --set settings.aadTenantId="$ADX_TENANT_ID" [--set image.tag=7.16_latest] [--set  settings.collectTelemetry=$COLLECT_TELEMETRY]

      V části Konfigurace najdete úplnou sadu možností konfigurace.

    4. Výstup předchozího příkazu navrhne další příkaz Helm pro nasazení Kibany. Volitelně spusťte tento příkaz:

      helm install kibana elastic/kibana --version 7.17.3 -n k2bridge --set image=docker.elastic.co/kibana/kibana-oss --set imageTag=7.10.2 --set elasticsearchHosts=http://k2bridge:8080

    5. Pro přístup k Kibana na místním hostiteli použijte přesměrování portů.

      kubectl port-forward service/kibana-kibana 5601 --namespace k2bridge

    6. Připojte se k Kibaně tím, že přejdete na http://127.0.0.1:5601.

    7. Zpřístupnění Kibany uživatelům. Existuje několik metod, jak to udělat. Metoda, kterou používáte, do značné míry závisí na vašem případu použití.

      Službu můžete například zveřejnit jako službu Load Balanceru. Uděláte to tak, že do předchozího příkazu Kibana Helm install přidáte parametr --set service.type=LoadBalancer.

      Pak spusťte tento příkaz:

      kubectl get service -w -n k2bridge

      Výstup by měl vypadat takto:

      NAME            TYPE           CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE
kibana-kibana   LoadBalancer   xx.xx.xx.xx    <pending>     5601:30128/TCP   4m24s

      Pak můžete použít vygenerovanou hodnotu EXTERNAL-IP, která se zobrazí. Použijte ho pro přístup k Kibana otevřením prohlížeče a přechodem na <EXTERNAL-IP>:5601.

  4. Nakonfigurujte vzory indexů pro přístup k datům.

    V nové instanci Kibany:

    1. Otevřete Kibanu.
    2. Přejděte do správy.
    3. Vyberte vzory indexů.
    4. Vytvořte vzor indexu. Název indexu musí přesně odpovídat názvu tabulky nebo názvu funkce bez hvězdičky (*). Příslušný řádek můžete zkopírovat ze seznamu.

Poznámka:

Pokud chcete spustit K2Bridge u jiných poskytovatelů Kubernetes, změňte hodnotu Elasticsearch storageClassName v values.yaml tak, aby odpovídala hodnotě navrhované poskytovatelem.

Zjišťování dat

Když je Azure Data Explorer nakonfigurovaný jako zdroj dat pro Kibanu, můžete data prozkoumat pomocí Kibany.

Snímek obrazovky s kartou Zjistit v Kibaně

  1. V Kibaně vyberte kartu Zjistit .

  2. V seznamu vzorů indexu vyberte vzor indexu, který definuje zdroj dat, který chcete prozkoumat. Vzor indexu je v této části tabulka Azure Data Exploreru.

    Snímek obrazovky se seznamem vzorů zdrojů dat

  3. Pokud data mají pole s časovým filtrem, můžete zadat časový rozsah. V pravém horním rohu stránky Zjišťování vyberte časový filtr. Ve výchozím nastavení se na stránce zobrazují data za posledních 15 minut.

    Snímek obrazovky s výběrem časového filtru

  4. Tabulka výsledků zobrazuje prvních 500 záznamů. Dokument můžete rozbalit a prozkoumat data polí ve formátu JSON nebo tabulky.

    Snímek obrazovky s rozbaleným záznamem na kartě Zjišťování

  5. Do tabulky výsledků můžete přidat konkrétní sloupce tak , že vyberete přidat vedle názvu pole. Ve výchozím nastavení tabulka výsledků obsahuje sloupec _source a sloupec Čas , pokud pole času existuje.

    Snímek obrazovky s přidáváním sloupců

  6. Na panelu dotazu můžete hledat data podle:

    • Zadání hledaného termínu
    • Použití syntaxe dotazu Lucene. Příklad:
      • Vyhledejte "error" a vyhledejte všechny záznamy, které obsahují tuto hodnotu.
      • Vyhledejte "status: 200" a získejte všechny záznamy s hodnotou stavu 200.
    • Použití logických operátorů AND, OR a NOT.
    • Použití zástupných znaků hvězdičky (*) a otazníku (?) Například dotaz "destination_city: L*" odpovídá záznamům, kde hodnota cílového města začíná na "L" nebo "l". (U K2Bridge se nerozlišuje malá a velká písmena.)

    Snímek obrazovky se spouštěním dotazů

Poznámka:

Podporuje se pouze syntaxe dotazů Lucene kibana. Nepoužívejte možnost KQL, která je zkratkou pro jazyk Kibana Query Language.

Tip

V hledání najdete další pravidla vyhledávání a logiku.

  1. Pokud chcete filtrovat výsledky hledání, použijte seznam dostupných polí . Seznam polí je místo, kde můžete vidět:

    • Prvních pět hodnot pole.
    • Počet záznamů, které obsahují pole.
    • Procento záznamů, které obsahují každou hodnotu.

    Tip

    Pomocí lupy vyhledejte všechny záznamy, které mají určitou hodnotu.

    Snímek obrazovky se seznamem polí se zvýrazněným lupou

    Pomocí lupy můžete také filtrovat výsledky a zobrazit zobrazení ve formátu tabulky výsledků každého záznamu v tabulce výsledků.

    Snímek obrazovky se seznamem tabulek se zvýrazněným lupou

  2. Vyberte Možnost Uložit nebo Sdílet, aby se hledání zachovalo.

    Snímek obrazovky znázorňuje, jak uložit hledání v Kibaně

Vizualizace dat

Pomocí vizualizací Kibany můžete získat přehledná zobrazení dat Azure Data Exploreru.

Vytvoření vizualizace na kartě Zjišťování

  1. Pokud chcete vytvořit vizualizaci svislého pruhu, na kartě Zjišťování vyhledejte boční panel Dostupných polí .

    Snímek obrazovky s výběrem pole v dostupných polích na kartě Zjišťování

  2. Vyberte název pole a klikněte na Vizualizovat.

    Snímek obrazovky s vytvořením vizualizace a výběrem pole

  3. Otevře se karta Vizualizujte a zobrazí vizualizaci. Pokud chcete upravit data a metriky vizualizace, podívejte se také na vytvoření vizualizace na kartě Vizualizace.

    Snímek obrazovky s úpravou vizualizace na kartě Vizualizace

Vytvoření vizualizace na kartě Vizualizace

  1. Vyberte kartu Vizualizujte a klikněte na Vytvořit vizualizaci.

    Snímek obrazovky s výběrem karty Vizualizovat

  2. V okně Nová vizualizace vyberte typ vizualizace.

    Snímek obrazovky s výběrem typu vizualizace

  3. Po vygenerování vizualizace můžete metriky upravit a přidat do jednoho kontejneru.

    Snímek obrazovky s úpravou metrik

Poznámka:

K2Bridge podporuje jednu agregaci kbelíku. Některé agregace podporují možnosti hledání. Použijte syntaxi Lucene, nikoli možnost KQL, která je zkratkou pro syntaxi jazyka Kibana Query Language.

Důležité

  • Podporují se následující vizualizace: Vertical bar, , Area chart, Horizontal barLine chart, Pie chart, Gauge, Data table, Heat map, , Goal chart, a Metric chart.
  • Podporují se následující metriky: Average, Count, , MedianMinMax, , PercentilesStandard deviation, , SumTop hits a .Unique count
  • Metrika Percentiles ranks se nepodporuje.
  • Použití agregací kontejnerů je volitelné, můžete vizualizovat data bez agregace kbelíku.
  • Podporují se následující kontejnery: No bucket aggregation, , Date histogramFilters, Range, Date range, Histogram, a Terms.
  • Kontejnery IPv4 range a Significant terms nejsou podporované.

Vytváření řídicích panelů

Řídicí panely s vizualizacemi Kibany můžete vytvářet pro shrnutí, porovnání a kontrast zobrazení dat Azure Data Exploreru na první pohled.

  1. Pokud chcete vytvořit řídicí panel, vyberte kartu Řídicí panel a potom klikněte na Vytvořit nový řídicí panel.

    Snímek obrazovky s výběrem karty Řídicí panel

    Nový řídicí panel se otevře v režimu úprav.

  2. Pokud chcete přidat nový panel vizualizace, klikněte na Vytvořit nový.

    Snímek obrazovky s přidáním existující vizualizace na řídicí panel

  3. Pokud chcete přidat vizualizaci, kterou jste už vytvořili, klikněte na Přidat existující a vyberte vizualizaci.

  4. Chcete-li uspořádat panely, uspořádejte panely podle priority, změňte velikost panelů a další možnosti, klikněte na Upravit a potom použijte následující možnosti:

    • Pokud chcete panel přesunout, klikněte na záhlaví panelu a podržte ho a přetáhněte ho na nové místo.
    • Pokud chcete změnit velikost panelu, klikněte na ovládací prvek pro změnu velikosti a přetáhněte ho na nové rozměry.

    Snímek obrazovky řídicích panelů s vizualizacemi dat Azure Data Exploreru