Настройка конечных точек потока данных для Azure Data Explorer

Статья
11/20/2024

Внимание

На этой странице содержатся инструкции по управлению компонентами Операций Интернета вещей Azure с помощью манифестов развертывания Kubernetes, которые доступны в предварительной версии. Эта функция предоставляется с несколькими ограничениями и не должна использоваться для рабочих нагрузок.

Юридические условия, применимые к функциям Azure, которые находятся в состоянии бета-версии, предварительной версии или иным образом еще не выпущены в общедоступной версии, см. на странице Дополнительные условия использования предварительных версий в Microsoft Azure.

Чтобы отправить данные в Azure Data Explorer в Операциях Интернета вещей Azure, можно настроить конечную точку потока данных. Эта конфигурация позволяет указать конечную точку назначения, метод проверки подлинности, таблицу и другие параметры.

Необходимые компоненты

Экземпляр операций Интернета вещей Azure
Кластер Azure Data Explorer. Выполните действия по полному кластеру в кратком руководстве. Создание кластера и базы данных Azure Data Explorer. Параметр "Бесплатный кластер " не работает для этого сценария.

Создание базы данных Azure Data Explorer

В портал Azure создайте базу данных в полном кластере Azure Data Explorer.
Создайте таблицу в базе данных для данных. Вы можете использовать портал Azure и создавать столбцы вручную или использовать KQL на вкладке запроса. Например, чтобы создать таблицу для примера данных термостата, выполните следующую команду:
```
.create table thermostat (
    externalAssetId: string,
    assetName: string,
    CurrentTemperature: real,
    Pressure: real,
    MqttTopic: string,
    Timestamp: datetime
)
```
Включите прием потоковой передачи в таблице и базе данных. На вкладке запроса выполните следующую команду, подставив <DATABASE_NAME> имя базы данных:
```
.alter database ['<DATABASE_NAME>'] policy streamingingestion enable
```
Кроме того, включите прием потоковой передачи во всем кластере. См. раздел "Включить прием потоковой передачи" в существующем кластере.

Назначение разрешения управляемому удостоверению

Чтобы настроить конечную точку потока данных для Azure Data Explorer, рекомендуется использовать управляемое удостоверение, назначаемое пользователем или назначаемое системой. Этот подход является безопасным и устраняет необходимость управления учетными данными вручную.

После создания базы данных Azure Data Explorer необходимо назначить роль управляемому удостоверению Операций Интернета вещей Azure, которое предоставляет разрешение на запись в базу данных.

При использовании управляемого удостоверения, назначаемого системой, в портал Azure перейдите к экземпляру Операций Интернета вещей Azure и выберите "Обзор". Скопируйте имя расширения, указанного после расширения Azure IoT Operations Arc. Например, azure-iot-operations-xxxx7. Управляемое удостоверение, назначаемое системой, можно найти с помощью того же имени расширения Azure IoT Operations Arc.

В базе данных Azure Data Explorer (а не в кластере) в разделе "Обзор" выберите "Добавить разрешения>", а затем выберите Ingestor в качестве роли. Это дает управляемому удостоверению необходимые разрешения для записи в базу данных Azure Data Explorer. Дополнительные сведения см. в статье об управлении доступом на основе ролей.
Найдите имя управляемого удостоверения, назначаемого пользователем, для облачных подключений или управляемого удостоверения, назначаемого системой. Например, azure-iot-operations-xxxx7.
Затем нажмите кнопку " Выбрать".

Создание конечной точки потока данных для Azure Data Explorer

В интерфейсе операций выберите вкладку конечных точек потока данных.
В разделе "Создание новой конечной точки потока данных" выберите Azure Data Explorer>New.

Введите следующие параметры для конечной точки:

Параметр	Description
Имя.	Имя конечной точки потока данных.
Хост	Имя узла конечной точки Azure Data Explorer в формате `<cluster>.<region>.kusto.windows.net`.
Authentication method	Метод, используемый для проверки подлинности. Выберите управляемое удостоверение, назначаемое системой, или назначаемое пользователем управляемое удостоверение.
Client ID	Идентификатор клиента управляемого удостоверения, назначаемого пользователем. Обязательно, если используется управляемое удостоверение, назначаемое пользователем.
Идентификатор клиента	Идентификатор клиента управляемого удостоверения, назначаемого пользователем. Обязательно, если используется управляемое удостоверение, назначаемое пользователем.

Нажмите кнопку "Применить" , чтобы подготовить конечную точку.

Создайте файл Bicep .bicep со следующим содержимым.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param hostName string = 'https://<CLUSTER>.<region>.kusto.windows.net'
param databaseName string = '<DATABASE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adxEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataExplorer'
    dataExplorerSettings: {
      host: hostName
      database: databaseName
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Затем развернитесь с помощью Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Создайте файл манифеста .yaml Kubernetes со следующим содержимым.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataExplorer
  dataExplorerSettings:
    host: 'https://<CLUSTER>.<region>.kusto.windows.net'
    database: <DATABASE_NAME>
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Затем примените файл манифеста к кластеру Kubernetes.

kubectl apply -f <FILE>.yaml

Доступные методы проверки подлинности

Для конечных точек Azure Data Explorer доступны следующие методы проверки подлинности.

Управляемое удостоверение, назначаемое системой

Перед настройкой конечной точки потока данных назначьте роль управляемому удостоверению Операций Интернета вещей Azure, которое предоставляет разрешение на запись в базу данных Azure Data Explorer:

В портал Azure перейдите к экземпляру Операций Интернета вещей Azure и выберите "Обзор".
Скопируйте имя расширения, указанного после расширения Azure IoT Operations Arc. Например, azure-iot-operations-xxxx7.
Перейдите в базу данных Azure Data Explorer (а не кластер), в разделе "Обзор" выберите пункт "Добавить разрешения>", а затем выберите соответствующую роль.
Найдите имя управляемого удостоверения, назначаемого системой. Например, azure-iot-operations-xxxx7.
Выберите Выбрать.

Затем настройте конечную точку потока данных с параметрами управляемого удостоверения, назначаемого системой.

На странице параметров конечной точки потока данных для операций выберите вкладку "Базовый", а затем выберите управляемое удостоверение, назначенное системой проверки подлинности>.

dataExplorerSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataExplorerSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Если необходимо переопределить аудиторию управляемого удостоверения, назначаемую audience системой, можно указать этот параметр.

В большинстве случаев вам не нужно указывать другие параметры. Эта конфигурация создает управляемое удостоверение с аудиторией https://api.kusto.windows.netпо умолчанию.

dataExplorerSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<AUDIENCE_URL>'    
    }
  }
}

dataExplorerSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<AUDIENCE_URL>

Управляемое удостоверение, назначаемое пользователем

Чтобы использовать назначаемое пользователем управляемое удостоверение для проверки подлинности, необходимо сначала развернуть операции Интернета вещей Azure с включенными безопасными параметрами. Затем необходимо настроить управляемое удостоверение, назначаемое пользователем, для облачных подключений. Дополнительные сведения см. в статье "Включение безопасных параметров в развертывании Операций Интернета вещей Azure".

Перед настройкой конечной точки потока данных назначьте роль управляемому удостоверению, назначаемого пользователем, который предоставляет разрешение на запись в базу данных Azure Data Explorer:

В портал Azure перейдите в базу данных Azure Data Explorer (а не кластер), в разделе "Обзор" выберите пункт "Добавить разрешения>" и выберите соответствующую роль.
Найдите имя управляемого удостоверения, назначаемого пользователем.
Выберите Выбрать.

Затем настройте конечную точку потока данных с параметрами управляемого удостоверения, назначаемого пользователем.

На странице параметров конечной точки потока данных для операций выберите вкладку "Базовый" и выберите метод проверки подлинности>, назначенный пользователем.

Введите идентификатор клиента управляемого удостоверения, назначенный пользователем, и идентификатор клиента в соответствующих полях.

dataExplorerSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://api.kusto.windows.net/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataExplorerSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://api.kusto.windows.net/.default'
      # scope: https://<SCOPE_URL>

Здесь область является необязательной и по умолчанию используется https://api.kusto.windows.net/.default. Если необходимо переопределить область по умолчанию, укажите scope параметр через Bicep или Kubernetes.

Расширенные настройки

Дополнительные параметры для конечной точки Azure Data Explorer можно задать, например задержку пакетной обработки и количество сообщений.

batching Используйте параметры, чтобы настроить максимальное количество сообщений и максимальную задержку перед отправкой сообщений в место назначения. Этот параметр полезен, если требуется оптимизировать пропускную способность сети и уменьшить количество запросов к месту назначения.

Поле	Description	Обязательное поле
`latencySeconds`	Максимальное количество секунд, ожидаемых перед отправкой сообщений в место назначения. Значение по умолчанию составляет 60 секунд.	No
`maxMessages`	Максимальное количество сообщений для отправки в место назначения. Значение по умолчанию — 100000 сообщений.	No

Например, чтобы настроить максимальное количество сообщений до 1000 и максимальной задержки до 100 секунд, используйте следующие параметры:

В интерфейсе операций выберите вкладку "Дополнительно " для конечной точки потока данных.

Снимок экрана: использование операций для задания расширенных параметров Azure Data Explorer.

dataExplorerSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataExplorerSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Следующие шаги

Дополнительные сведения о потоках данных см. в статье "Создание потока данных".

Поделиться через