Настройка конечных точек потока данных для Microsoft Fabric OneLake

Внимание

На этой странице содержатся инструкции по управлению компонентами Операций Интернета вещей Azure с помощью манифестов развертывания Kubernetes, которые доступны в предварительной версии. Эта функция предоставляется с несколькими ограничениями и не должна использоваться для рабочих нагрузок.

Юридические условия, применимые к функциям Azure, которые находятся в состоянии бета-версии, предварительной версии или иным образом еще не выпущены в общедоступной версии, см. на странице Дополнительные условия использования предварительных версий в Microsoft Azure.

Чтобы отправить данные в Microsoft Fabric OneLake в Операциях Интернета вещей Azure, можно настроить конечную точку потока данных. Эта конфигурация позволяет указать конечную точку назначения, метод проверки подлинности, таблицу и другие параметры.

Необходимые компоненты

• Экземпляр операций Интернета вещей Azure
• Microsoft Fabric OneLake. Ознакомьтесь со следующими шагами, чтобы создать рабочую область и lakehouse.
  • Создайте рабочую область. По умолчанию моя рабочая область не поддерживается.
  • Создайте лейкхаус.
  • Если показано, убедитесь, что схемы Lakehouse (общедоступная предварительная версия) сняты.
  • Запишите имена рабочей области и озера.
• Убедитесь, что субъекты-службы могут использовать API Fabric.

Назначение разрешения управляемому удостоверению

Чтобы настроить конечную точку потока данных для Microsoft Fabric OneLake, рекомендуется использовать управляемое удостоверение, назначаемое пользователем или назначаемое системой. Этот подход является безопасным и устраняет необходимость управления учетными данными вручную.

После создания Microsoft Fabric OneLake необходимо назначить роль управляемому удостоверению Операций Интернета вещей Azure, которое предоставляет разрешение на запись в Fabric lakehouse.

При использовании управляемого удостоверения, назначаемого системой, в портал Azure перейдите к экземпляру Операций Интернета вещей Azure и выберите "Обзор". Скопируйте имя расширения, указанного после расширения Azure IoT Operations Arc. Например, azure-iot-operations-xxxx7. Управляемое удостоверение, назначаемое системой, можно найти с помощью того же имени расширения Azure IoT Operations Arc.

Перейдите в созданную рабочую область Microsoft Fabric, выберите "Управление доступом>+ Добавление людей или групп".

1. Найдите имя управляемого удостоверения, назначаемого пользователем, для облачных подключений или управляемого удостоверения, назначаемого системой. Например, azure-iot-operations-xxxx7 .
2. Выберите участника в качестве роли, а затем нажмите кнопку "Добавить". Это дает управляемому удостоверению необходимые разрешения для записи в Lakehouse Fabric. Дополнительные сведения см. в статье "Роли в рабочих областях в Microsoft Fabric".

Создание конечной точки потока данных для Microsoft Fabric OneLake

Портал

1. В интерфейсе операций выберите вкладку конечных точек потока данных.

2. В разделе "Создание новой конечной точки потока данных" выберите Microsoft Fabric OneLake>New.

   

3. Введите следующие параметры для конечной точки:

   Параметр	Description
   Host	Имя узла конечной точки Microsoft Fabric OneLake в формате onelake.dfs.fabric.microsoft.com.
   Имя Lakehouse	Имя озера, в котором должны храниться данные.
   имя рабочей области.	Имя рабочей области, связанной с lakehouse.
   Тип пути OneLake	Тип пути, используемого в OneLake. Выберите файлы или таблицы.
   Authentication method	Метод, используемый для проверки подлинности. Выберите управляемое удостоверение, назначаемое системой, или назначаемое пользователем управляемое удостоверение.
   Client ID	Идентификатор клиента управляемого удостоверения, назначаемого пользователем. Обязательно, если используется управляемое удостоверение, назначаемое пользователем.
   Идентификатор клиента	Идентификатор клиента управляемого удостоверения, назначаемого пользователем. Обязательно, если используется управляемое удостоверение, назначаемое пользователем.

4. Нажмите кнопку "Применить" , чтобы подготовить конечную точку.

Bicep

Создайте файл Bicep .bicep со следующим содержимым.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Затем развернитесь с помощью Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (предварительная версия)

Создайте файл манифеста .yaml Kubernetes со следующим содержимым.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Затем примените файл манифеста к кластеру Kubernetes.

kubectl apply -f <FILE>.yaml

Тип пути OneLake

Параметр oneLakePathType определяет тип пути, используемого в пути OneLake. Значение по умолчанию — Tablesэто рекомендуемый тип пути для наиболее распространенных вариантов использования. Тип Tables пути — это таблица в озере OneLake, которая используется для хранения данных. Его также можно задать как Filesфайл в озере OneLake, который используется для хранения данных. Тип Files пути полезен, если требуется хранить данные в формате файла, который не поддерживается типом Tables пути.

Портал

Тип пути OneLake задан на вкладке "Базовый " для конечной точки потока данных.

Bicep

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

Kubernetes (предварительная версия)

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Доступные методы проверки подлинности

Для конечных точек потока данных Microsoft Fabric OneLake доступны следующие методы проверки подлинности.

Управляемое удостоверение, назначаемое системой

Перед настройкой конечной точки потока данных назначьте роль управляемому удостоверению Операций Интернета вещей Azure, которое предоставляет разрешение на запись в Lakehouse Fabric:

1. В портал Azure перейдите к экземпляру Операций Интернета вещей Azure и выберите "Обзор".
2. Скопируйте имя расширения, указанного после расширения Azure IoT Operations Arc. Например, azure-iot-operations-xxxx7.
3. Перейдите в рабочую область Microsoft Fabric, выберите "Управление доступом>+ Добавление людей или групп".
4. Найдите имя управляемого удостоверения, назначаемого системой. Например, azure-iot-operations-xxxx7 .
5. Выберите соответствующую роль, а затем нажмите кнопку "Добавить".

Затем настройте конечную точку потока данных с параметрами управляемого удостоверения, назначаемого системой.

Портал

На странице параметров конечной точки потока данных для операций выберите вкладку "Базовый", а затем выберите управляемое удостоверение, назначенное системой проверки подлинности>.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (предварительная версия)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Если необходимо переопределить аудиторию управляемого удостоверения, назначаемую audience системой, можно указать этот параметр.

Портал

В большинстве случаев вам не нужно указывать аудиторию службы. Не указывая, что аудитория создает управляемое удостоверение с аудиторией по умолчанию, ограниченной вашей учетной записью хранения.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

Kubernetes (предварительная версия)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Управляемое удостоверение, назначаемое пользователем

Чтобы использовать назначаемое пользователем управляемое удостоверение для проверки подлинности, необходимо сначала развернуть операции Интернета вещей Azure с включенными безопасными параметрами. Затем необходимо настроить управляемое удостоверение, назначаемое пользователем, для облачных подключений. Дополнительные сведения см. в статье "Включение безопасных параметров в развертывании Операций Интернета вещей Azure".

Перед настройкой конечной точки потока данных назначьте роль управляемому удостоверению, назначаемого пользователем, который предоставляет разрешение на запись в Fabric lakehouse.:

1. Перейдите в рабочую область Microsoft Fabric, выберите "Управление доступом>+ Добавление людей или групп".
2. Найдите имя управляемого удостоверения, назначаемого пользователем.
3. Выберите соответствующую роль, а затем нажмите кнопку "Добавить".

Затем настройте конечную точку потока данных с параметрами управляемого удостоверения, назначаемого пользователем.

Портал

На странице параметров конечной точки потока данных для операций выберите вкладку "Базовый" и выберите метод проверки подлинности>, назначенный пользователем.

Введите идентификатор клиента управляемого удостоверения, назначенный пользователем, и идентификатор клиента в соответствующих полях.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Kubernetes (предварительная версия)

Чтобы использовать управляемое удостоверение, назначаемое пользователем, укажите метод проверки подлинности и укажите UserAssignedManagedIdentity clientId tenantId управляемое удостоверение.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Здесь область является необязательной и по умолчанию используется https://storage.azure.com/.default. Если необходимо переопределить область по умолчанию, укажите scope параметр с помощью Bicep или Kubernetes.

Расширенные настройки

Дополнительные параметры для конечной точки Fabric OneLake можно задать, например задержку пакетной обработки и количество сообщений. Эти параметры можно задать на вкладке "Расширенный портал потока данных" или в пользовательском ресурсе конечной точки потока данных.

Пакетная обработка

batching Используйте параметры, чтобы настроить максимальное количество сообщений и максимальную задержку перед отправкой сообщений в место назначения. Этот параметр полезен, если требуется оптимизировать пропускную способность сети и уменьшить количество запросов к месту назначения.

Поле	Description	Обязательное поле
latencySeconds	Максимальное количество секунд, ожидаемых перед отправкой сообщений в место назначения. Значение по умолчанию составляет 60 секунд.	No
maxMessages	Максимальное количество сообщений для отправки в место назначения. Значение по умолчанию — 100000 сообщений.	No

Например, чтобы настроить максимальное количество сообщений до 1000 и максимальной задержки до 100 секунд, используйте следующие параметры:

Портал

В интерфейсе операций выберите вкладку "Дополнительно " для конечной точки потока данных.

Bicep

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (предварительная версия)

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Следующие шаги

Дополнительные сведения о потоках данных см. в статье "Создание потока данных".