Создание подключения к данным Центров событий для Azure Data Explorer

Статья
05/03/2023

Azure Data Explorer предлагает прием из Центров событий, платформу потоковой передачи больших данных и службу приема событий. Центры событий могут обрабатывать миллионы событий в секунду практически в режиме реального времени.

В этой статье вы подключитесь к концентратору событий и приему данных в Azure Data Explorer. Общие сведения о приеме из Центров событий см. в разделе Центры событий Azure подключении к данным.

Необходимые компоненты

Подписка Azure. Создайте бесплатную учетную запись Azure.
Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
Целевая таблица. Создайте таблицу или используйте существующую таблицу.
Сопоставление приема для таблицы.
Концентратор событий с данными для приема.

Создание подключения к данным концентратора событий

В этом разделе описано, как установить соединение между концентратором событий и таблицей Azure Data Explorer. Если подключение установлено, данные передаются из концентратора событий в целевую таблицу. Если концентратор событий перемещается в другой ресурс или подписку, необходимо обновить или повторно создать подключение.

В портал Azure перейдите в кластер и выберите "Базы данных". Затем выберите базу данных, содержащую целевую таблицу.
В меню слева выберите прием данных. Затем в верхней строке нажмите кнопку "Добавить подключение к данным".

Заполните форму, указав следующую информацию, а затем нажмите кнопку Создать.

Параметр	Рекомендуемое значение	Описание поля
Имя подключения к данным	test-hub-connection	Имя создаваемого подключения к обозревателю данных Azure.
Отток подписок		Идентификатор подписки, в которой размещается ресурс концентратора событий.
Пространство имен концентратора событий	Уникальное имя пространства имен	Имя, выбранное ранее и определяющее пространство имен.
концентратор событий;	test-hub	Созданный концентратор событий.
Группа потребителей	test-group	Группа получателей событий, определенная в созданном концентраторе событий.
Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей на сообщение о событии системные свойства добавляются в первую запись. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
Сжатие	Не допускается	Тип сжатия полезных данных сообщений концентратора событий. Поддерживаемые типы сжатия: нет, GZip.
Управляемое удостоверение (рекомендуется)	Назначаемое системой	Управляемое удостоверение, используемое кластером Azure Data Explorer для доступа к чтению из концентратора событий. Для управления доступом к концентратору событий рекомендуется использовать управляемые удостоверения. Примечание. При создании нового подключения к данным: * назначаемые системой удостоверения создаются автоматически, если еще не существуют; * управляемому удостоверению автоматически назначается роль приемника данных Центров событий Azure, которая добавляется в кластер Azure Data Explorer. Рекомендуется проверить, назначена ли роль и добавлено ли удостоверение в кластер.

Примечание.

При наличии подключения к данным, которое не использует управляемые удостоверения, рекомендуется обновить его для использования управляемых удостоверений.

Следующие действия помогут вам создать подключение концентратора событий с помощью мастера приема в веб-интерфейсе Azure Data Explorer.

Примечание.

Чтобы использовать мастер, необходимо иметь по крайней мере разрешения пользователя базы данных.
Чтобы включить доступ между кластером и учетной записью хранения без общедоступного доступа, см. статью "Создание управляемой частной конечной точки".
Кластер и концентратор событий должны быть связаны с теми же клиентами. В противном случае используйте один из вариантов пакета SDK, например C# или Python.

На вкладке "Данные " веб-интерфейса Azure Data Explorer выберите прием данных из карточки Концентратора событий.
Откроется окно приема данных с выбранной вкладкой "Назначение ". Поля кластера и базы данных автоматически заполнены. Вы можете выбрать другой кластер или базу данных из раскрывающихся меню.
В разделе "Таблица" выберите "Создать таблицу " и введите имя новой таблицы. В качестве альтернативы используйте существующую таблицу.
Выберите Далее: Источник.
В разделе Тип источника выберите Центр событий.

В разделе "Подключение к данным" введите следующие поля и нажмите кнопку "Далее: схема".

Параметр	Рекомендуемое значение	Описание поля
Отток подписок		Идентификатор подписки, в которой размещается ресурс концентратора событий.
Пространство имен концентратора событий		Имя, которое идентифицирует ваше пространство имен.
концентратор событий;		Концентратор событий, который вы хотите использовать.
Имя подключения к данным	TestDataConnection	Имя, которое идентифицирует ваше подключение для передачи данных.
Группа потребителей		Группа потребителей, определенная в вашем концентраторе событий.
Сжатие		Тип сжатия полезных данных сообщений концентратора событий.
Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей на сообщение о событии системные свойства добавляются в первую. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
Дата начала получения события	Время в формате UTC	Подключение к данным извлекает существующие события Центров событий, созданные после даты начала получения события. Можно получить только события, сохраненные периодом хранения Центров событий. Если дата начала получения события не указана, время по умолчанию — это время создания подключения к данным.

Задайте политику приема. Если потоковая передача включена для кластера, можно выбрать прием потоковой передачи. Если потоковая передача не включена для кластера, задайте время пакетной обработки. Для Центров событий рекомендуемое время пакетной обработки составляет 30 секунд.
Выберите формат данных. Для данных, отформатированных в формате CSV, пропустить первую запись, чтобы игнорировать строку заголовка файла. Для данных, отформатированных в формате JSON, выберите "Игнорировать ошибки формата данных", чтобы принять данные в формате JSON или не выбрать прием данных в формате multijson. Выберите вложенные уровни, чтобы определить деление данных столбца таблицы.
Если данные, которые вы видите в окне предварительного просмотра, неполные, вам может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:
- Отменить и получить новые данные: отбрасывает представленные данные и выполняет поиск новых событий.
- Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.
Примечание.

Чтобы увидеть предварительный просмотр ваших данных, концентратор событий должен отправлять события.
Нажмите кнопку "Далее": сводка.
Во время непрерывного приема из установленного окна Концентратора событий все шаги помечаются зелеными флажками после успешного завершения создания.

Установите пакет NuGet Microsoft.Azure.Management.Kusto.
Создайте субъект приложения Azure AD для проверки подлинности. Вам потребуется идентификатор каталога (клиента), идентификатор приложения и секрет клиента.

Выполните следующий код.

var tenantId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Directory (tenant) ID
var clientId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"; //Application ID
var clientSecret = "PlaceholderClientSecret"; //Client Secret
var subscriptionId = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx";
var authClient = ConfidentialClientApplicationBuilder.Create(clientId)
    .WithAuthority($"https://login.microsoftonline.com/{tenantId}")
    .WithClientSecret(clientSecret)
    .Build();
var result = authClient.AcquireTokenForClient(new[] { "https://management.core.windows.net/" }).ExecuteAsync().Result;
var credentials = new TokenCredentials(result.AccessToken, result.TokenType);
var kustoManagementClient = new KustoManagementClient(credentials) { SubscriptionId = subscriptionId };
var resourceGroupName = "testrg";
//The cluster and database that are created as part of the Prerequisites
var clusterName = "mykustocluster";
var databaseName = "mykustodatabase";
var eventHubConnectionName = "myeventhubconnect";
//The event hub that is created as part of the Prerequisites
var eventHubResourceId = "/subscriptions/<eventHubSubscriptionId>/resourceGroups/<eventHubResourceGroupName>/providers/Microsoft.EventHub/namespaces/<eventHubNamespaceName>/eventhubs/<eventHubName>";
var consumerGroup = "$Default";
var location = "Central US";
//The table and column mapping are created as part of the Prerequisites
var tableName = "StormEvents";
var mappingRuleName = "StormEvents_CSV_Mapping";
var dataFormat = EventHubDataFormat.CSV;
var compression = "None";
var databaseRouting = "Multi";
var eventHubConnectionData = new EventHubDataConnection(
    eventHubResourceId, consumerGroup,
    location: location, tableName: tableName, mappingRuleName: mappingRuleName,
    dataFormat: dataFormat, compression: compression, databaseRouting: databaseRouting
);
await kustoManagementClient.DataConnections.CreateOrUpdateAsync(resourceGroupName, clusterName, databaseName, eventHubConnectionName, eventHubConnectionData);

Параметр	Рекомендуемое значение	Описание поля
tenantId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента. Также известен как идентификатор каталога.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор подписки, используемой для создания ресурсов.
clientId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента приложения, которое имеет доступ к ресурсам в клиенте.
clientSecret	PlaceholderClientSecret	Секрет клиента приложения, которое имеет доступ к ресурсам в клиенте.
resourceGroupName	testrg	Имя группы ресурсов, содержащей ваш кластер.
clusterName	mykustocluster	Имя вашего кластера.
databaseName	mykustodatabase	Имя целевой базы данных в вашем кластере.
eventHubConnectionName	myeventhubconnect	Необходимое имя вашего подключения для передачи данных.
tableName	StormEvents	Имя целевой таблицы в целевой базе данных.
mappingRuleName	StormEvents_CSV_Mapping	Имя сопоставления столбцов, связанного с целевой таблицей.
dataFormat	csv	Формат данных сообщения.
eventHubResourceId	Идентификатор ресурса	Идентификатор ресурса вашего концентратора событий, в котором хранятся данные для приема.
consumerGroup	$Default	Группа потребителей вашего концентратора событий.
расположение	Центральная часть США	Расположение ресурса подключения к данным.
compression	Gzip или None	Тип сжатия данных.
databaseRouting	Multi или Single	Маршрутизация базы данных для подключения. Если задано значение Single, подключение к данным направляется в одну базу данных в кластере, как указано в параметре databaseName . Если задать значение *Multi, можно переопределить целевую базу данных по умолчанию с помощью свойства приема базы данных.* Дополнительные сведения см. в разделе Маршрутизация событий.

Импортируйте необходимые библиотеки.
```
pip install azure-common
pip install azure-mgmt-kusto
```
Создайте субъект приложения Azure AD для проверки подлинности. Вам потребуется идентификатор каталога (клиента), идентификатор приложения и секрет клиента.

Выполните следующий код.

from azure.mgmt.kusto import KustoManagementClient
from azure.mgmt.kusto.models import EventHubDataConnection
from azure.identity import ClientSecretCredential

#Directory (tenant) ID
tenant_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Application ID
client_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
#Client Secret
client_secret = "xxxxxxxxxxxxxx"
subscription_id = "xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx"
credentials = ServicePrincipalCredentials(
        client_id=client_id,
        secret=client_secret,
        tenant=tenant_id
    )
kusto_management_client = KustoManagementClient(credentials, subscription_id)

resource_group_name = "myresourcegroup"
#The cluster and database that are created as part of the Prerequisites
cluster_name = "mycluster"
database_name = "mydatabase"
data_connection_name = "myeventhubconnect"
#The event hub that is created as part of the Prerequisites
event_hub_resource_id = "/subscriptions/xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx/resourceGroups/myresourcegroup/providers/Microsoft.EventHub/namespaces/myeventhubnamespace/eventhubs/myeventhub"";
consumer_group = "$Default"
location = "Central US"
#The table and column mapping that are created as part of the Prerequisites
table_name = "mytable"
mapping_rule_name = "mytablemappingrule"
data_format = "csv"
database_routing = "Multi"
#Returns an instance of LROPoller, check https://learn.microsoft.com/python/api/msrest/msrest.polling.lropoller?view=azure-python
poller = kusto_management_client.data_connections.create_or_update(
            resource_group_name=resource_group_name,
            cluster_name=cluster_name,
            database_name=database_name,
            data_connection_name=data_connection_name,
            parameters=EventHubDataConnection(
                event_hub_resource_id=event_hub_resource_id,
                consumer_group=consumer_group,
                location=location,
                table_name=table_name,
                mapping_rule_name=mapping_rule_name,
                data_format=data_format,
                database_routing=database_routing
            )
        )
poller.wait()
print(poller.result())

Параметр	Рекомендуемое значение	Описание поля
tenant_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента. Также известен как идентификатор каталога.
subscriptionId	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор подписки, используемой для создания ресурсов.
client_id	xxxxxxxx-xxxxx-xxxx-xxxx-xxxxxxxxx	Идентификатор клиента приложения, которое имеет доступ к ресурсам в клиенте.
client_secret	xxxxxxxxxxxxxx	Секрет клиента приложения, которое имеет доступ к ресурсам в клиенте.
resource_group_name	myresourcegroup	Имя группы ресурсов, содержащей ваш кластер.
cluster_name	mycluster	Имя вашего кластера.
database_name	mydatabase	Имя целевой базы данных в вашем кластере.
data_connection_name	myeventhubconnect	Необходимое имя вашего подключения для передачи данных.
table_name	mytable	Имя целевой таблицы в целевой базе данных.
mapping_rule_name	mytablemappingrule	Имя сопоставления столбцов, связанного с целевой таблицей.
data_format	csv	Формат данных сообщения.
event_hub_resource_id	Идентификатор ресурса	Идентификатор ресурса вашего концентратора событий, в котором хранятся данные для приема.
consumer_group	$Default	Группа потребителей вашего концентратора событий.
расположение	Центральная часть США	Расположение ресурса подключения к данным.
databaseRouting	Multi или Single	Маршрутизация базы данных для подключения. Если задано значение Single, подключение к данным направляется в одну базу данных в кластере, как указано в параметре databaseName . Если задать значение *Multi, можно переопределить целевую базу данных по умолчанию с помощью свойства приема базы данных.* Дополнительные сведения см. в разделе Маршрутизация событий.

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Центров событий. Вы можете изменить и развернуть шаблон на портале Azure с помощью формы.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Удаление подключения к данным концентратора событий

Чтобы удалить подключение концентратора событий из портал Azure, сделайте следующее:

Перейдите в кластер. В меню слева выберите "Базы данных". Затем выберите базу данных, содержащую целевую таблицу.
В меню слева выберите подключения к данным. Затем установите флажок рядом с соответствующим подключением к данным концентратора событий.
В верхней строке меню нажмите кнопку "Удалить".

Чтобы удалить подключение концентратора событий, выполните следующую команду:

kustoManagementClient.DataConnections.Delete(resourceGroupName, clusterName, databaseName, dataConnectionName);

Чтобы удалить подключение концентратора событий, выполните следующую команду:

kusto_management_client.data_connections.delete(resource_group_name=resource_group_name, cluster_name=kusto_cluster_name, database_name=kusto_database_name, data_connection_name=kusto_data_connection_name)

Следующие шаги

Запрос данных в Azure Data Explorer

Поделиться через

Создание подключения к данным Центров событий для Azure Data Explorer

Необходимые компоненты

Создание подключения к данным концентратора событий

Удаление подключения к данным концентратора событий

Следующие шаги

Дополнительные ресурсы