Создание подключения к данным Центров событий для Azure Data Explorer

Azure Data Explorer предлагает прием из Центров событий, платформу потоковой передачи больших данных и службу приема событий. Центры событий могут обрабатывать миллионы событий в секунду практически в режиме реального времени.

В этой статье вы подключаетесь к концентратору событий и приему данных в Azure Data Explorer. Общие сведения о приеме из Центров событий см. в разделе Центры событий Azure подключении к данным.

Сведения о создании подключения с помощью пакетов SDK Kusto см. в статье "Создание подключения к данным Центров событий" с помощью пакетов SDK.

Примеры кода на основе предыдущих версий пакета SDK см. в архивной статье.

Создание подключения к данным концентратора событий

В этом разделе описано, как установить соединение между концентратором событий и таблицей Azure Data Explorer. Если подключение установлено, данные передаются из концентратора событий в целевую таблицу. Если концентратор событий перемещается в другой ресурс или подписку, необходимо обновить или повторно создать подключение.

Получение данных

Необходимые компоненты

• Учетная запись Майкрософт или удостоверение пользователя Microsoft Entra. Подписка Azure не обязательна.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Прием потоковой передачи должен быть настроен в кластере Azure Data Explorer.

Получить данные

1. В меню слева выберите "Запрос".

2. Щелкните правой кнопкой мыши базу данных, в которой необходимо принять данные. Выберите Получить данные.

   

Исходный код

В окне "Получение данных" выбрана вкладка "Источник".

Выберите источник данных из доступного списка. В этом примере вы используете данные из Центров событий.

Настройка

1. Выберите целевую базу данных и таблицу. Если вы хотите принять данные в новую таблицу, нажмите кнопку +Создать таблицу и введите имя таблицы.

   Примечание.

   Имена таблиц могут содержать до 1024 символов, включая пробелы, буквенно-цифровые символы, дефисы и символы подчеркивания. Специальные символы не поддерживаются.

   

2. Заполните следующие поля:

   Параметр	Описание поля
   Отток подписок	Идентификатор подписки, в которой размещается ресурс концентратора событий.
   Пространство имен концентратора событий	Имя, которое идентифицирует ваше пространство имен.
   концентратор событий;	Концентратор событий, который вы хотите
   Группа потребителей	Группа потребителей, определенная в событии
   Имя подключения к данным	Имя, которое идентифицирует ваше подключение для передачи данных.
   Расширенные фильтры
   Сжатие	Тип сжатия полезных данных сообщений концентратора событий.
   Свойства системы событий	Системные свойства концентратора событий. При наличии нескольких записей на сообщение о событии системные свойства добавляются в первую. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Дата начала получения события	Подключение к данным извлекает существующие события Центров событий, созданные после даты начала получения события. Можно получить только события, сохраненные периодом хранения Центров событий. Если дата начала получения события не указана, время по умолчанию — это время создания подключения к данным.

3. Выберите Далее

Проверка

Откроется вкладка "Проверка " с предварительным просмотром данных.

Чтобы завершить процесс приема, нажмите кнопку Готово.

Необязательно.

• Если данные, отображаемые в окне предварительного просмотра, не завершены, может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:

  • Отмена и получение новых данных: отменяет представленные данные и ищет новые события.

  • Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.

    Примечание.

    Чтобы увидеть предварительный просмотр ваших данных, концентратор событий должен отправлять события.

• Выберите средство просмотра команд, чтобы просмотреть и скопировать автоматические команды, созданные из входных данных.

• Используйте раскрывающийся список файла определения схемы, чтобы изменить файл, из который выводится схема.

• Измените автоматически выведенный формат данных, выбрав нужный формат из раскрывающегося списка. Сведения о приеме см . в форматах данных, поддерживаемых Azure Data Explorer.

• Изменение столбцов.

• Изучите дополнительные параметры на основе типа данных.

Изменить столбцы

Примечание.

• Для табличных форматов (CSV, TSV, PSV) невозможно сопоставить столбец дважды. Чтобы сопоставить существующий столбец, сначала удалите новый столбец.
• Нельзя изменить тип существующего столбца. При попытке выполнить сопоставление для столбца, имеющего другой формат, могут отобразиться пустые столбцы.

Изменения, которые вы можете внести в таблицу, зависят от следующих параметров:

• Тип таблицы — новая или существующая.
• Тип сопоставления — новое или существующее.

Тип таблицы	Тип сопоставления	Доступные корректировки
Новая таблица	Создать сопоставление	Переименование столбца, изменение типа данных, изменение источника данных, преобразование сопоставления, добавление столбца, удаление столбца
Существующая таблица	Создать сопоставление	Добавьте столбец (в котором можно изменить тип данных, переименовать и обновить)
Существующая таблица	Существующее сопоставление	ничего

Преобразования сопоставлений

Некоторые сопоставления форматов данных (Parquet, JSON и Avro) поддерживают простые преобразования во время приема. Чтобы применить преобразования сопоставления, создайте или обновите столбец в окне "Изменение столбцов ".

Преобразования сопоставления можно выполнять в столбце строки типа или даты и времени с источником с типом данных int или long. Поддерживаются следующие преобразования сопоставлений:

• DateTimeFromUnixSeconds;
• DateTimeFromUnixMilliseconds;
• DateTimeFromUnixMicroseconds;
• DateTimeFromUnixNanoseconds.

Дополнительные параметры на основе типа данных

Табличные (CSV, TSV, PSV):

• Если вы используете табличные форматы в существующей таблице, можно выбрать расширенную>схему текущей таблицы. Табличные данные не обязательно включают имена столбцов, которые используются для сопоставления исходных данных с существующими столбцами. При проверке этого параметра сопоставление выполняется по порядку, а схема таблицы остается той же. Если этот параметр снят, для входящих данных создаются новые столбцы независимо от структуры данных.

• Чтобы использовать первую строку в качестве имен столбцов, выберите "Дополнительно>первая строка" — заголовок столбца.

  

JSON:

• Чтобы определить деление данных JSON, выберите расширенные>вложенные уровни от 1 до 100.

• Если выбраны ошибки расширенного>формата пропуска данных, данные будут приема в формате JSON. Если этот флажок не выбран, данные будут приема в формате multijson.

  

Итоги

В окне подготовки данных все три шага помечаются зелеными флажками при успешном завершении приема данных. Вы можете просмотреть команды, которые использовались для каждого шага, или выбрать карточку для запроса, визуализации или удаления данных приема.

Портал — страница Обозревателя данных Azure

Необходимые компоненты

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Целевая таблица. Создайте таблицу или используйте существующую таблицу.
• Сопоставление приема для таблицы.
• Концентратор событий с данными для приема.

Получить данные

1. В портал Azure перейдите в кластер и выберите "Базы данных". Затем выберите базу данных, содержащую целевую таблицу.

   

2. В меню слева выберите прием данных. Затем в верхней строке нажмите кнопку "Добавить подключение к данным".

3. Заполните форму, указав следующую информацию, а затем нажмите кнопку Создать.

   Параметр	Рекомендуемое значение	Описание поля
   Имя подключения к данным	test-hub-connection	Имя создаваемого подключения к обозревателю данных Azure.
   Отток подписок		Идентификатор подписки, в которой размещается ресурс концентратора событий.
   Пространство имен концентратора событий	Уникальное имя пространства имен	Имя, выбранное ранее и определяющее пространство имен.
   концентратор событий;	test-hub	Созданный концентратор событий.
   Группа потребителей	test-group	Группа получателей событий, определенная в созданном концентраторе событий.
   Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей на сообщение о событии системные свойства добавляются в первую запись. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Сжатие	Не допускается	Тип сжатия полезных данных сообщений концентратора событий. Поддерживаемые типы сжатия: None, gzip.
   Управляемое удостоверение (рекомендуется)	Назначаемое системой	Управляемое удостоверение, используемое кластером Azure Data Explorer для доступа к чтению из концентратора событий. Для управления доступом к концентратору событий рекомендуется использовать управляемые удостоверения. Примечание. При создании нового подключения к данным: * назначаемые системой удостоверения создаются автоматически, если еще не существуют; * управляемому удостоверению автоматически назначается роль приемника данных Центров событий Azure, которая добавляется в кластер Azure Data Explorer. Рекомендуется проверить, назначена ли роль и добавлено ли удостоверение в кластер.

   Примечание.

   При наличии подключения к данным, которое не использует управляемые удостоверения, рекомендуется обновить его для использования управляемых удостоверений.

Портал — страница Центры событий Azure

Необходимые компоненты

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Целевая таблица. Создайте таблицу или используйте существующую таблицу.
• Сопоставление приема для таблицы.
• Концентратор событий с данными для приема.

Получить данные

1. В портал Azure перейдите к экземпляру Центров событий.

2. В боковом меню "Компоненты" выберите " Анализ данных с помощью Kusto".

3. Нажмите кнопку "Пуск ", чтобы открыть мастер приема в Azure Data Explorer.

   

   Примечание.

   • У вас должны быть по крайней мере разрешения пользователя базы данных.
   • Чтобы включить доступ между кластером и учетной записью хранения без общедоступного доступа, см. статью "Создание управляемой частной конечной точки".
   • Кластер и концентратор событий должны быть связаны с теми же клиентами. В противном случае используйте один из вариантов пакета SDK, например C# или Python.

4. Откроется панель приема данных с выбранной вкладкой "Назначение ". Выберите поля кластера и базы данных из раскрывающихся списков. Убедитесь, что выбран кластер, запущенный. В противном случае вы не сможете выбрать базу данных и продолжить процесс приема.

5. В разделе "Таблица" выберите "Создать таблицу " и введите имя новой таблицы. Кроме того, используйте существующую таблицу.

6. Выберите Далее: Источник.

7. В разделе "Исходный тип" тип и сведения концентратора событий автоматически заполняются на основе экземпляра Центров событий, из которых вы начали работу.

8. В разделе "Подключение к данным" введите следующие поля и нажмите кнопку "Далее: схема".

   Параметр	Рекомендуемое значение	Описание поля
   Отток подписок		Идентификатор подписки, в которой размещается ресурс концентратора событий.
   Пространство имен концентратора событий		Имя, которое идентифицирует ваше пространство имен.
   концентратор событий;		Концентратор событий, который вы хотите использовать.
   Имя подключения к данным	TestDataConnection	Имя, которое идентифицирует ваше подключение для передачи данных.
   Группа потребителей		Группа потребителей, определенная в вашем концентраторе событий.
   Сжатие		Тип сжатия полезных данных сообщений концентратора событий.
   Свойства системы событий	Выбор необходимых свойств	Системные свойства концентратора событий. При наличии нескольких записей на сообщение о событии системные свойства добавляются в первую. При добавлении системных свойств выполните создание или обновление схемы таблицы, а также сопоставление, чтобы добавить выбранные свойства.
   Дата начала получения события	Время в формате UTC	Подключение к данным извлекает существующие события Центров событий, созданные после даты начала получения события. Можно получить только события, сохраненные периодом хранения Центров событий. Если дата начала получения события не указана, время по умолчанию — это время создания подключения к данным.

9. Если потоковая передача включена для кластера, можно выбрать прием потоковой передачи. Если потоковая передача не включена для кластера, задайте задержку пакетной обработки данных. Для Центров событий рекомендуемое время пакетной обработки составляет 30 секунд.

   

10. Выберите формат данных. Для данных, отформатированных в формате CSV, пропустить первую запись, чтобы игнорировать строку заголовка файла. Для данных, отформатированных в формате JSON, выберите "Игнорировать ошибки формата данных", чтобы принять данные в формате JSON или не выбрать прием данных в формате multijson. Выберите вложенные уровни, чтобы определить деление данных столбца таблицы.

11. Если данные, отображаемые в окне предварительного просмотра, не завершены, может потребоваться больше данных для создания таблицы со всеми необходимыми полями данных. Используйте следующие команды для получения новых данных из концентратора событий:

    • Отменить и получить новые данные: отбрасывает представленные данные и выполняет поиск новых событий.
    • Получить больше данных: Поиск дополнительных событий в дополнение к уже найденным.

    Примечание.

    Чтобы увидеть предварительный просмотр ваших данных, концентратор событий должен отправлять события.

12. Нажмите кнопку "Далее": сводка.

13. Во время непрерывного приема из установленного окна Концентратора событий все шаги помечаются зелеными флажками после успешного завершения создания.

Шаблон ARM

Необходимые компоненты

• Подписка Azure. Создайте бесплатную учетную запись Azure.
• Кластер и база данных Azure Data Explorer. Создайте кластер и базу данных.
• Целевая таблица. Создайте таблицу или используйте существующую таблицу.
• Сопоставление приема для таблицы.
• Концентратор событий с данными для приема.

Шаблон ARM

В следующем примере показан шаблон Azure Resource Manager для добавления подключения к данным Центров событий. Вы можете изменить и развернуть шаблон на портале Azure с помощью формы.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Удаление подключения к данным концентратора событий

Получение данных

Удалите подключение к данным через портал Azure, как описано на вкладке портала.

Портал

Чтобы удалить подключение концентратора событий из портал Azure, сделайте следующее:

1. Перейдите в кластер. В меню слева выберите "Базы данных". Затем выберите базу данных, содержащую целевую таблицу.
2. В меню слева выберите подключения к данным. Затем установите флажок рядом с соответствующим подключением к данным концентратора событий.
3. В верхней строке меню нажмите кнопку "Удалить".

Связанный контент

• Проверка подключения к примеру приложения "Концентратор событий"
• Запрос данных в веб-интерфейсе