Sdílení dat s Azure Data Explorerem s využitím služby Azure Data Share

Článek
11/23/2024

Existuje mnoho tradičních způsobů sdílení dat, například prostřednictvím sdílených složek, FTP, e-mailu a rozhraní API. Tyto metody vyžadují, aby obě strany vytvořily a udržovaly datový kanál, který přesouvá data mezi týmy a organizacemi. Pomocí Azure Data Exploreru můžete snadno a bezpečně sdílet data s lidmi ve vaší společnosti nebo externích partnerech. Sdílení probíhá téměř v reálném čase, aniž by bylo nutné sestavovat nebo udržovat datový kanál. Všechny změny databáze, včetně schématu a dat, na straně poskytovatele jsou okamžitě dostupné na straně příjemce.

Azure Data Explorer odděluje úložiště a výpočetní prostředky, což zákazníkům umožňuje spouštět několik výpočetních instancí (jen pro čtení) ve stejném podkladovém úložišti. Databázi můžete připojit jako následnou databázi, což je databáze určená jen pro čtení ve vzdáleném clusteru.

Pomocí služby Azure Data Share můžete odesílat a spravovat pozvánky a sdílené složky napříč společností nebo s externími partnery a zákazníky. Azure Data Share používá následnou databázi k vytvoření symbolického propojení mezi poskytovatelem a clusterem Azure Data Exploreru příjemce. Tato možnost poskytuje jedno podokno pro zobrazení a správu všech sdílených složek dat napříč clustery Azure Data Exploreru a dalšími datovými službami. Azure Data Share také umožňuje sdílet data mezi organizacemi v různých tenantech Microsoft Entra.

Poznámka:

Správce v obou clusterech může přímo nakonfigurovat následnou databázi s různými rozhraními APIS. To je užitečné ve scénářích, ve kterých potřebujete další výpočetní prostředky pro horizontální navýšení kapacity pro generování sestav.

Sdílení dat můžete nakonfigurovat pro následující možnosti:

Celá databáze (výchozí).
Konkrétní tabulky – sdílení na úrovni tabulky

Poznámka:

Po navázání vztahu sdílení vytvoří služba Azure Data Share symbolické propojení mezi poskytovatelem a clusterem Azure Data Exploreru příjemce. Pokud poskytovatel dat odvolá přístup, symbolický odkaz se odstraní a sdílené databáze už nebudou příjemci dat k dispozici.

Zprostředkovatel dat může sdílet data na úrovni databáze nebo na úrovni clusteru. Cluster, který sdílí databázi, je hlavní cluster a cluster, který sdílenou složku přijímá, je následný cluster. Následný cluster může sledovat jednu nebo více databází vedoucího clusteru. Následný cluster se pravidelně synchronizuje, aby zkontroloval změny. Prodleva mezi vedoucím a následníkem se liší od několika sekund po několik minut v závislosti na celkové velikosti metadat a dat. Data se ukládají do mezipaměti v clusteru příjemců a jsou k dispozici pouze pro operace čtení nebo dotazu, s výjimkou přepsání zásad ukládání do mezipaměti za provozu a oprávnění databáze. Dotazy spuštěné v clusteru sledujících používají místní mezipaměť a nepoužívají prostředky vedoucího clusteru.

Požadavky

Předplatné Azure. Vytvořte bezplatný účet Azure.
Cluster a databáze Azure Data Exploreru pro vedoucího a následníka. Vytvořte cluster a databázi.
Databáze vedoucího serveru by měla obsahovat data. Data můžete ingestovat pomocí jedné z metod probíraných v přehledu příjmu dat.

Poskytovatel používá prostředek azure Data Share ke sdílení úplné databáze nebo konkrétní tabulky a zadá e-mailovou adresu příjemce.
Azure Data Share odešle příjemci e-mailovou pozvánku.
Příjemce otevře pozvánku na e-mail a vybere prostředek služby Azure Data Share.
Příjemce pomocí služby Azure Data Share mapuje sdílenou databázi nebo tabulku do příslušného clusteru.

Zprostředkovatel dat – sdílí data

Poskytovatel dat může sdílet úplnou databázi nebo konkrétní tabulku s příjemcem.

Podle pokynů ve videu vytvořte účet Azure Data Share, přidejte datovou sadu a odešlete pozvánku.

Šablonu Azure Resource Manageru můžete použít ke sdílení jedné nebo více tabulek prostřednictvím služby Azure Data Share.

Ke sdílení tabulek použijte následující postup:

Vytvořte šablonu a nastavte příslušné parametry pro datovou sadu, omezení tabulky a zadejte příjemce pozvánky. Informace v následující tabulce vám pomůžou s konfigurací šablony.

Parametr	Popis	Příklad
accountName	Název účtu Azure Data Share poskytovatele.
location	Umístění všech prostředků. Vedoucí a následníci musí být ve stejném umístění.
shareName	Název sdílené složky, která se vytvoří v účtu sdílené datové složky.
recipientEmail	E-mail příjemce služby Azure Data Share.
databaseName	Název databáze zprostředkovatele.
databaseResourceId	ID prostředku databáze poskytovatele.
externalTablesToExclude	Seznam externích tabulek, které chcete vyloučit. Pokud chcete vyloučit všechny externí tabulky, použijte ["*"].	`["ExternalTable1ToExclude", "ExternalTable2ToExclude"]`
externalTablesToInclude	Seznam externích tabulek, které se mají zahrnout. Pokud chcete zahrnout všechny externí tabulky začínající na protokoly, použijte ["Logs*"].	`["ExternalTable1ToInclude", "ExternalTable2ToInclude"]`
materializedViewsToExclude	Seznam materializovaných zobrazení, která chcete vyloučit. Chcete-li vyloučit všechna materializovaná zobrazení, použijte ["*"].	`["Mv11ToExclude", "Mv22ToExclude"]`
materializedViewsToInclude	Seznam materializovaných zobrazení, která se mají zahrnout. Pokud chcete zahrnout všechna materializovaná zobrazení začínající na protokoly, použijte ["Protokoly*"].	`["Mv1ToInclude", "Mv2ToInclude"]`
tablesToExclude	Seznam tabulek, které chcete vyloučit. Chcete-li vyloučit všechny tabulky, použijte ["*"].	`["table1ToExclude", "table2ToExclude"]`
tablesToInclude	Seznam tabulek, které chcete zahrnout. Pokud chcete zahrnout všechny tabulky, použijte ["*"].	`["table1ToInclude", "table2ToInclude"]`

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "accountName": { "type": "String" },
    "location": { "defaultValue": "[resourceGroup().location]", "type": "String" },
    "shareName": { "type": "String" },
    "recipientEmail": { "type": "String" },
    "databaseName": { "type": "String" },
    "databaseResourceId": { "type": "String" },
    "externalTablesToExclude": { "type": "Array" },
    "externalTablesToInclude": { "type": "Array" },
    "materializedViewsToExclude": { "type": "Array" },
    "materializedViewsToInclude": { "type": "Array" },
    "tablesToExclude": { "type": "Array" },
    "tablesToInclude": { "type": "Array" }
  },
  "variables": {
    "invitationSuffix": "[replace(replace(parameters('recipientEmail'),'@', '_'), '.', '_')]"
  },
  "resources": [
    {
      "type": "Microsoft.DataShare/accounts",
      "apiVersion": "2021-08-01",
      "name": "[parameters('accountName')]",
      "location": "[parameters('location')]",
      "identity": {
        "type": "SystemAssigned"
      },
      "properties": {}
    },
    {
      "type": "Microsoft.DataShare/accounts/shares",
      "apiVersion": "2021-08-01",
      "name": "[concat(parameters('accountName'), '/' , parameters('shareName'))]",
      "dependsOn": [
        "[resourceId('Microsoft.DataShare/accounts', parameters('accountName'))]"
      ],
      "properties": {
        "shareKind": "InPlace"
      }
    },
    {
      "type": "Microsoft.DataShare/accounts/shares/invitations",
      "apiVersion": "2021-08-01",
      "name": "[concat(parameters('accountName'), '/',  parameters('shareName'), '/', concat(parameters('shareName'), variables('invitationSuffix')))]",
      "dependsOn": [
        "[resourceId('Microsoft.DataShare/accounts/shares', parameters('accountName'), parameters('shareName'))]",
        "[resourceId('Microsoft.DataShare/accounts', parameters('accountName'))]"
      ],
      "properties": {
        "targetEmail": "[parameters('recipientEmail')]"
      }
    },
    {
      "type": "Microsoft.DataShare/accounts/shares/dataSets",
      "apiVersion": "2021-08-01",
      "name": "[concat(parameters('accountName'), '/', parameters('shareName'), '/', parameters('databaseName'))]",
      "dependsOn": [
        "[resourceId('Microsoft.DataShare/accounts/shares', parameters('accountName'), parameters('shareName'))]",
        "[resourceId('Microsoft.DataShare/accounts', parameters('accountName'))]"
      ],
      "kind": "KustoTable",
      "properties": {
        "kustoDatabaseResourceId": "[parameters('databaseResourceId')]",
        "tableLevelSharingProperties": {
          "externalTablesToExclude": "[parameters('externalTablesToExclude')]",
          "externalTablesToInclude": "[parameters('externalTablesToInclude')]",
          "materializedViewsToExclude": "[parameters('materializedViewsToExclude')]",
          "materializedViewsToInclude": "[parameters('materializedViewsToInclude')]",
          "tablesToExclude": "[parameters('tablesToExclude')]",
          "tablesToInclude": "[parameters('tablesToInclude')]"
        }
      }
    }
  ]
}

Nasaďte šablonu Azure Resource Manageru pomocí webu Azure Portal nebo PowerShellu.

Příjemce dat – příjem dat

Podle pokynů ve videu přijměte pozvánku, vytvořte účet pro sdílení dat a namapujte ho na cluster příjemců.

Příjemce dat teď může přejít do clusteru Azure Data Exploreru a udělit uživatelům oprávnění ke sdíleným databázím a získat přístup k datům. Data ingestovaná ve frontě do zdrojového clusteru Azure Data Exploreru se v cílovém clusteru zobrazí během několika sekund až několik minut.

Omezení

Omezení databáze pro sledování

Sdílet prostřednictvím

Požadavky

Zprostředkovatel dat – sdílí data

Příjemce dat – příjem dat

Omezení

Váš názor

Další materiály

Sdílet prostřednictvím

Konfigurace sdílení dat

Požadavky

Tok sdílení dat

Zprostředkovatel dat – sdílí data

Sdílení úplné databáze

Sdílení tabulek

Příjemce dat – příjem dat

Omezení

Související obsah

Váš názor

Další materiály