Прием данных из Azure Stream Analytics в Azure Data Explorer

Внимание

Этот соединитель можно использовать в аналитике в режиме реального времени в Microsoft Fabric. Используйте инструкции в этой статье со следующими исключениями:

• При необходимости создайте базы данных с помощью инструкций в статье "Создание базы данных KQL".
• При необходимости создайте таблицы с помощью инструкций в статье "Создание пустой таблицы".
• Получение URI запроса или приема с помощью инструкций в URI копирования.
• Выполнение запросов в наборе запросов KQL.

Azure Data Explorer поддерживает прием данных из Azure Stream Analytics. Azure Stream Analytics — это аналитика в режиме реального времени и сложный механизм обработки событий, предназначенный для обработки больших объемов данных быстрой потоковой передачи из нескольких источников одновременно.

Задание Azure Stream Analytics состоит из источника входных данных, запроса преобразования и исходящего подключения. Вы можете создавать, изменять и тестировать задания Stream Analytics с помощью шаблонов портал Azure, шаблонов Azure Resource Manager (ARM), Azure PowerShell, .NET API, REST API, Visual Studio и Stream Analytics без редактора кода.

В этой статье вы узнаете, как использовать задание Stream Analytics для сбора данных из концентратора событий и отправки его в кластер Azure Data Explorer с помощью портал Azure или шаблона ARM.

Необходимые компоненты

• Создайте кластер и базу данных, а также таблицу.

• Создайте концентратор событий, как описано в следующих разделах руководства по Azure Stream Analytics:

  • Создание концентратора событий
  • Предоставление доступа к концентратору событий и получение строка подключения

  Совет

  Для тестирования мы рекомендуем скачать приложение генератора событий телефонных вызовов из Центра загрузки Майкрософт или получить исходный код на GitHub. Вы настроите задание Azure Stream Analytics для извлечения данных из концентратора событий и их передачи в выходной соединитель Azure Data Explorer.

Создание выходного подключения к Azure Data Explorer

Выполните следующие действия, чтобы создать выходные данные Azure Data Explorer для задания Stream Analytics с помощью портала Azure или шаблона ARM. Подключение используется заданием Stream Analytics для отправки данных в указанную таблицу Data Explorer Azure. После создания и запуска задания данные, поступающие в задание, принимаются указанной целевой таблицей.

Внимание

• Выходной соединитель Azure Data Explorer поддерживает только проверку подлинности с помощью управляемого удостоверения. При создании соединителя разрешения монитора базы данных и получателя базы данных предоставляются управляемому удостоверению задания Azure Stream Analytics.
• При настройке выходного соединителя Azure Data Explorer вы указываете целевой кластер, базу данных и имя таблицы. Для успешного приема все столбцы, определенные в запросе Azure Stream Analytics, должны соответствовать именам столбцов и типам в таблице Azure Data Explorer. Имена столбцов чувствительны к регистру и могут находиться в любом порядке. Если в запросе Azure Stream Analytics есть столбцы, которые не сопоставляются со столбцами в таблице Azure Data Explorer, возникает ошибка.

Примечание.

• Поддерживаются все входные данные Azure Stream Analytics. Соединитель преобразует входные данные в формат CSV, а затем импортирует данные в указанную таблицу Azure Data Explorer.
• В Azure Data Explorer настроена политика агрегирования (пакетной обработки) для приема данных, предназначенных для оптимизации процесса. По умолчанию для политики настроены 5 минут, 1000 элементов или 1 ГБ данных по умолчанию, поэтому вы можете столкнуться с задержкой. Сведения о настройке параметров агрегирования см. в статье Политика пакетной обработки.

Портал Azure

Прежде чем начать, убедитесь, что у вас есть существующее задание Stream Analytics, или создайте новое, а затем выполните следующие действия, чтобы создать подключение к Azure Data Explorer.

1. Войдите на портал Azure.

2. На портале Azure щелкните Все ресурсы и выберите задание Stream Analytics.

3. В разделе Топология задания выберите Выходные данные.

4. Выберите "Добавить>Azure Data Explorer".

   

5. Заполните форму, указав следующую информацию, и щелкните Сохранить.

   Примечание.

   Вы можете использовать следующие параметры для указания кластера и базы данных:

   • Подписка: щелкните Выбрать Azure Data Explorer из подписок, а затем выберите свою подписку, кластер и базу данных.
   • Вручную: выберите Указать параметры Azure Data Explorer вручную, а затем укажите URI кластера и базу данных.

   Имя свойства	Description
   Псевдоним выходных данных	Понятное имя, которое используется в запросах для направления выходных данных запроса в соответствующую базу данных.
   Отток подписок	Выберите подписку Azure, в которой находится кластер.
   Кластер	Уникальное имя, которое определяет ваш кластер. К введенному имени кластера добавляется имя домена [region].kusto.windows.net. Имя должно содержать только строчные буквы и цифры. Его длина должна составлять от 4 до 22 символов.
   Универсальный код ресурса (URI) кластера	URI приема данных кластера. Вы можете указать URI для конечных точек приема данных в Azure Data Explorer или Azure Synapse Data Explorer.
   База данных	Имя базы данных, в которую отправляются выходные данные. Имя базы данных должно быть уникальным в пределах кластера.
   Проверка подлинности	Управляемое удостоверение Microsoft Entra, позволяющее кластеру легко получить доступ к другим защищенным ресурсам Microsoft Entra. Удостоверения управляются платформой Azure, и для них не нужно подготавливать или изменять секреты. Конфигурация управляемого удостоверения позволяет использовать ключи, управляемые клиентом, для вашего кластера.
   Таблица	Имя таблицы, в которую отправляются выходные данные. Имена столбцов и типы данных в выходных данных Azure Stream Analytics должны соответствовать схеме таблицы Azure Data Explorer.

   

Шаблон Azure Resource Manager

В следующем примере показан шаблон Azure Resource Manager для добавления выходного соединителя Azure Data Explorer. Вы можете изменить и развернуть шаблон на портале Azure, чтобы создать соединитель.

{
    "$schema": "http://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "streamingJobName": {
            "type": "string",
            "defaultValue": "streamingjob"
        },
        "eventHubNamespace": {
            "type": "string"
        },
        "eventHubKey": {
            "type": "securestring"
        },
        "eventHubName": {
            "type": "string"
        },
        "eventHubConsumerGroupName": {
            "type": "string"
        },
        "streamingUnits": {
            "type": "int",
            "defaultValue": 3
        },
        "ADXClusterUri": {
            "type": "string"
        },
        "ADXDatabaseName": {
            "type": "string"
        },
        "ADXTableName": {
            "type": "string"
        }
    },
    "resources": [
        {
            "apiVersion": "2017-04-01-preview",
            "name": "[parameters('streamingJobName')]",
            "location": "[resourceGroup().location]",
            "type": "Microsoft.StreamAnalytics/StreamingJobs",
            "identity": {
                "type": "systemAssigned"
            },
            "properties": {
                "sku": {
                    "name": "standard"
                },
                "eventsOutOfOrderPolicy": "drop",
                "eventsOutOfOrderMaxDelayInSeconds": 10,
                "compatibilityLevel": "1.2",
                "outputStartMode": "JobStartTime",
                "inputs": [
                    {
                        "name": "inputEventHub",
                        "properties": {
                            "type": "stream",
                            "serialization": {
                                "type": "JSON",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.ServiceBus/EventHub",
                                "properties": {
                                    "serviceBusNamespace": "[parameters('eventHubNamespace')]",
                                    "sharedAccessPolicyName": "RootManageSharedAccessKey",
                                    "sharedAccessPolicyKey": "[parameters('eventHubKey')]",
                                    "eventHubName": "[parameters('eventHubName')]",
                                    "consumerGroupName": "[parameters('eventHubConsumerGroupName')]"
                                }
                            }
                        }
                    }
                ],
                "transformation": {
                    "name": "ProcessSampleData",
                    "properties": {
                        "streamingUnits": "[int(parameters('streamingUnits'))]",
                        "query": "select * from inputEventHub"
                    }
                },
                "outputs": [
                    {
                        "name": "output",
                        "properties": {
                            "serialization": {
                                "type": "CSV",
                                "properties": {
                                    "encoding": "UTF8"
                                }
                            },
                            "datasource": {
                                "type": "Microsoft.Kusto/clusters/databases",
                                "properties": {
                                    "cluster": "[parameters('ADXClusterUri')]",
                                    "table": "[parameters('ADXTableName')]",
                                    "database": "[parameters('ADXDatabaseName')]",
                                    "authenticationMode": "Msi"
                                }
                            }
                        }
                    }
                ]
            }
        }
    ]
}

Примечание.

При создании выходного подключения Azure Data Explorer с использованием шаблона ARM разрешения на управление удостоверением задания Streaming Analytics для базы данных Azure Data Explorer должны быть предоставлены вручную.

Связанный контент

• Запрос данных в Azure Data Explorer
• Запуск решения "Функции Azure" из заданий Azure Stream Analytics