Настройка конечных точек потока данных для Azure Data Lake Storage 2-го поколения

Внимание

На этой странице содержатся инструкции по управлению компонентами Операций Интернета вещей Azure с помощью манифестов развертывания Kubernetes, которые доступны в предварительной версии. Эта функция предоставляется с несколькими ограничениями и не должна использоваться для рабочих нагрузок.

Юридические условия, применимые к функциям Azure, которые находятся в состоянии бета-версии, предварительной версии или иным образом еще не выпущены в общедоступной версии, см. на странице Дополнительные условия использования предварительных версий в Microsoft Azure.

Чтобы отправить данные в Azure Data Lake Storage 2-го поколения в операциях Интернета вещей Azure, можно настроить конечную точку потока данных. Эта конфигурация позволяет указать конечную точку назначения, метод проверки подлинности, таблицу и другие параметры.

Необходимые компоненты

• Экземпляр операций Интернета вещей Azure
• Учетная запись Azure Data Lake Storage 2-го поколения
• Предварительно созданный контейнер хранилища в учетной записи хранения

Назначение разрешения управляемому удостоверению

Чтобы настроить конечную точку потока данных для Azure Data Lake Storage 2-го поколения, рекомендуется использовать управляемое удостоверение, назначаемое пользователем или назначаемое системой. Этот подход является безопасным и устраняет необходимость управления учетными данными вручную.

После создания Azure Data Lake Storage 2-го поколения необходимо назначить роль управляемому удостоверению Операций Интернета вещей Azure, которое предоставляет разрешение на запись в учетную запись хранения.

При использовании управляемого удостоверения, назначаемого системой, в портал Azure перейдите к экземпляру Операций Интернета вещей Azure и выберите "Обзор". Скопируйте имя расширения, указанного после расширения Azure IoT Operations Arc. Например, azure-iot-operations-xxxx7. Управляемое удостоверение, назначаемое системой, можно найти с помощью того же имени расширения Azure IoT Operations Arc.

Затем перейдите к элементу управления доступом к служба хранилища Azure учетной записи >(IAM)>Добавить назначение ролей.

1. На вкладке "Роль" выберите соответствующую роль, например Storage Blob Data Contributor. Это дает управляемому удостоверению необходимые разрешения для записи в контейнеры больших двоичных объектов служба хранилища Azure. Дополнительные сведения см. в статье "Авторизация доступа к BLOB-объектам с помощью идентификатора Microsoft Entra".
2. На вкладке "Члены" :
   1. При использовании управляемого удостоверения, назначаемого системой, для назначения доступа выберите "Пользователь", "Группа" или "Субъект-служба ", а затем выберите +Выберите участников и найдите имя расширения Azure IoT Operations Arc.
   2. При использовании управляемого удостоверения, назначаемого пользователем, для назначения доступа выберите параметр "Управляемое удостоверение ", а затем выберите "Выбрать участников " и выполните поиск управляемого удостоверения, назначаемого пользователем, для облачных подключений.

Создание конечной точки потока данных для Azure Data Lake Storage 2-го поколения

Портал

1. На портале операций Интернета вещей перейдите на вкладку конечных точек потока данных.

2. В разделе "Создание новой конечной точки потока данных" выберите Azure Data Lake Storage (2-е поколение)>Создать.

   

3. Введите следующие параметры для конечной точки:

   Параметр	Description
   Имя.	Имя конечной точки потока данных.
   Хост	Имя узла конечной точки Azure Data Lake Storage 2-го поколения в формате<account>.blob.core.windows.net. Замените заполнитель учетной записи именем учетной записи конечной точки.
   Authentication method	Метод, используемый для проверки подлинности. Рекомендуется выбрать управляемое удостоверение, назначаемое системой, или назначаемое пользователем управляемое удостоверение.
   Client ID	Идентификатор клиента управляемого удостоверения, назначаемого пользователем. Обязательно, если используется управляемое удостоверение, назначаемое пользователем.
   Идентификатор клиента	Идентификатор клиента управляемого удостоверения, назначаемого пользователем. Обязательно, если используется управляемое удостоверение, назначаемое пользователем.
   Имя секрета маркера доступа	Имя секрета Kubernetes, содержащего маркер SAS. Требуется, если используется маркер доступа.

4. Нажмите кнопку "Применить" , чтобы подготовить конечную точку.

Bicep

Создайте файл Bicep .bicep со следующим содержимым.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Затем развернитесь с помощью Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (предварительная версия)

Создайте файл манифеста .yaml Kubernetes со следующим содержимым.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Затем примените файл манифеста к кластеру Kubernetes.

kubectl apply -f <FILE>.yaml

Использование проверки подлинности маркера доступа

Выполните действия, описанные в разделе маркера доступа, чтобы получить маркер SAS для учетной записи хранения и сохранить его в секрете Kubernetes.

Затем создайте ресурс DataflowEndpoint и укажите метод проверки подлинности маркера доступа. Здесь замените <SAS_SECRET_NAME> имя секрета, содержащего маркер SAS и другие значения заполнителей.

Портал

Сведения о создании секрета на портале операций см. в разделе маркера доступа.

Bicep

Создайте файл Bicep .bicep со следующим содержимым.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Затем развернитесь с помощью Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (предварительная версия)

Создайте файл манифеста .yaml Kubernetes со следующим содержимым.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Затем примените файл манифеста к кластеру Kubernetes.

kubectl apply -f <FILE>.yaml

Доступные методы проверки подлинности

Для конечных точек Azure Data Lake Storage 2-го поколения доступны следующие методы проверки подлинности.

Управляемое удостоверение, назначаемое системой

Перед настройкой конечной точки потока данных назначьте роль управляемому удостоверению Операций Интернета вещей Azure, которое предоставляет разрешение на запись в учетную запись хранения:

1. В портал Azure перейдите к экземпляру Операций Интернета вещей Azure и выберите "Обзор".
2. Скопируйте имя расширения, указанного после расширения Azure IoT Operations Arc. Например, azure-iot-operations-xxxx7.
3. Перейдите к облачному ресурсу, которому необходимо предоставить разрешения. Например, перейдите к элементу управления доступом к учетной записи >служба хранилища Azure (IAM)>Добавить назначение ролей.
4. На вкладке "Роль" выберите соответствующую роль.
5. На вкладке "Участники" , чтобы назначить доступ, выберите "Пользователь", "Группа" или "Субъект-служба ", а затем нажмите кнопку "Выбрать участников " и выполните поиск управляемого удостоверения Операций Интернета вещей Azure. Например, azure-iot-operations-xxxx7.

Затем настройте конечную точку потока данных с параметрами управляемого удостоверения, назначаемого системой.

Портал

На странице параметров конечной точки потока данных для операций выберите вкладку "Базовый", а затем выберите управляемое удостоверение, назначенное системой проверки подлинности>.

В большинстве случаев вам не нужно указывать аудиторию службы. Не указывая, что аудитория создает управляемое удостоверение с аудиторией по умолчанию, ограниченной вашей учетной записью хранения.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (предварительная версия)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Если необходимо переопределить аудиторию управляемого удостоверения, назначаемую audience системой, можно указать этот параметр.

Портал

В большинстве случаев вам не нужно указывать аудиторию службы. Не указывая, что аудитория создает управляемое удостоверение с аудиторией по умолчанию, ограниченной вашей учетной записью хранения.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

Kubernetes (предварительная версия)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Управляемое удостоверение, назначаемое пользователем

Чтобы использовать назначаемое пользователем управляемое удостоверение для проверки подлинности, необходимо сначала развернуть операции Интернета вещей Azure с включенными безопасными параметрами. Затем необходимо настроить управляемое удостоверение, назначаемое пользователем, для облачных подключений. Дополнительные сведения см. в статье "Включение безопасных параметров в развертывании Операций Интернета вещей Azure".

Перед настройкой конечной точки потока данных назначьте роль управляемому удостоверению, назначаемого пользователем, который предоставляет разрешение на запись в учетную запись хранения:

1. В портал Azure перейдите к облачному ресурсу, которому необходимо предоставить разрешения. Например, перейдите к элементу управления доступом к учетной записи >служба хранилища Azure (IAM)>Добавить назначение ролей.
2. На вкладке "Роль" выберите соответствующую роль.
3. На вкладке "Участники" для назначения доступа выберите параметр "Управляемое удостоверение", а затем нажмите кнопку "Выбрать участников" и найдите управляемое удостоверение, назначаемое пользователем.

Затем настройте конечную точку потока данных с параметрами управляемого удостоверения, назначаемого пользователем.

Портал

На странице параметров конечной точки потока данных для операций выберите вкладку "Базовый" и выберите метод проверки подлинности>, назначенный пользователем.

Введите идентификатор клиента управляемого удостоверения, назначенный пользователем, и идентификатор клиента в соответствующих полях.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

Kubernetes (предварительная версия)

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Здесь область является необязательной и по умолчанию используется https://storage.azure.com/.default. Если необходимо переопределить область по умолчанию, укажите scope параметр с помощью манифеста Bicep или Kubernetes.

Маркер доступа

Использование маркера доступа является альтернативным методом проверки подлинности. Этот метод требует создания секрета Kubernetes с маркером SAS и ссылки на секрет в ресурсе DataflowEndpoint .

Получите маркер SAS для учетной записи Azure Data Lake Storage 2-го поколения (ADLSv2). Например, используйте портал Azure для перехода к учетной записи хранения. В меню слева выберите подпись общего доступа "Безопасность и сеть>". Используйте следующую таблицу, чтобы задать необходимые разрешения.

Параметр	Параметр "Включен"
Разрешенные службы	BLOB-объект
Допустимые типы ресурсов	Объект, контейнер
Допустимые разрешения	Чтение, запись, удаление, список, создание

Чтобы повысить безопасность и следовать принципу наименьших привилегий, можно создать маркер SAS для определенного контейнера. Чтобы предотвратить ошибки проверки подлинности, убедитесь, что контейнер, указанный в маркере SAS, соответствует параметру назначения потока данных в конфигурации.

Портал

Внимание

Чтобы использовать портал операций для управления секретами, операции Интернета вещей Azure сначала должны быть включены с безопасными параметрами, настроив Azure Key Vault и включив удостоверения рабочей нагрузки. Дополнительные сведения см. в статье "Включение безопасных параметров в развертывании Операций Интернета вещей Azure".

На странице параметров конечной точки потока данных для операций выберите вкладку "Базовый" и выберите маркер доступа к методу>проверки подлинности.

В разделе "Синхронизированное имя секрета" введите имя секрета. Это имя используется для ссылки на секрет в параметрах конечной точки потока данных и является именем секрета, хранящегося в кластере Kubernetes.

Затем в разделе "Имя секрета маркера доступа" выберите "Добавить ссылку ", чтобы добавить секрет из Azure Key Vault. На следующей странице выберите секрет из Azure Key Vault с добавлением из Azure Key Vault или создайте новый секрет.

Если выбрать "Создать", введите следующие параметры:

Параметр	Description
Имя секрета	Имя секрета в Azure Key Vault. Выберите имя, которое легко помнить, чтобы выбрать секрет позже из списка.
Значение секрета	Маркер SAS в формате 'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'.
Задать дату активации	Если этот параметр включен, дата, когда секрет становится активным.
Задать дату окончания срока действия	Если этот параметр включен, дата истечения срока действия секрета.

Дополнительные сведения о секретах см. в статье "Создание секретов и управление ими в операциях Интернета вещей Azure".

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Kubernetes (предварительная версия)

Создайте секрет Kubernetes с маркером SAS.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Расширенные настройки

Дополнительные параметры для конечной точки Azure Data Lake Storage 2-го поколения можно задать, например задержку пакетной обработки и количество сообщений.

batching Используйте параметры, чтобы настроить максимальное количество сообщений и максимальную задержку перед отправкой сообщений в место назначения. Этот параметр полезен, если требуется оптимизировать пропускную способность сети и уменьшить количество запросов к месту назначения.

Поле	Description	Обязательное поле
latencySeconds	Максимальное количество секунд, ожидаемых перед отправкой сообщений в место назначения. Значение по умолчанию составляет 60 секунд.	No
maxMessages	Максимальное количество сообщений для отправки в место назначения. Значение по умолчанию — 100000 сообщений.	No

Например, чтобы настроить максимальное количество сообщений до 1000 и максимальной задержки до 100 секунд, используйте следующие параметры:

Портал

В интерфейсе операций выберите вкладку "Дополнительно " для конечной точки потока данных.

Bicep

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (предварительная версия)

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Следующие шаги

• Дополнительные сведения о потоках данных см. в статье "Создание потока данных".
• Сведения о том, как использовать поток данных для отправки данных в Azure Data Lake Storage 2-го поколения, см. в руководстве по отправке данных в Azure Data Lake Storage 2-го поколения.