Microsoft Fabric OneLake에 대한 데이터 흐름 엔드포인트 구성

아티클
11/20/2024

Important

이 페이지에는 미리 보기 상태인 Kubernetes 배포 매니페스트를 사용하여 Azure IoT Operations 구성 요소를 관리하기 위한 지침이 포함되어 있습니다. 이 기능은 몇 가지 제한 사항을 제공하며 프로덕션 워크로드에 사용하면 안 됩니다.

베타, 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 약관은 Microsoft Azure 미리 보기에 대한 추가 사용 약관을 참조하세요.

Azure IoT Operations에서 Microsoft Fabric OneLake로 데이터를 보내려면 데이터 흐름 엔드포인트를 구성할 수 있습니다. 이 구성을 사용하면 대상 엔드포인트, 인증 방법, 테이블 및 기타 설정을 지정할 수 있습니다.

필수 조건

Azure IoT Operations의 인스턴스
Microsoft Fabric OneLake. 작업 영역 및 레이크하우스를 만들려면 다음 단계를 참조하세요.
- 작업 영역을 만듭니다. 기본 내 작업 영역 은 지원되지 않습니다.
- Lakehouse를 만들기.
- 표시된 경우 Lakehouse 스키마(공개 미리 보기)가 선택 취소되어 있는지 확인합니다.
- 작업 영역 및 레이크하우스 이름을 기록해 둡니다.
서비스 주체가 패브릭 API를 사용할 수 있는지 확인합니다.

관리 ID에 권한 할당

Microsoft Fabric OneLake에 대한 데이터 흐름 엔드포인트를 구성하려면 사용자 할당 또는 시스템 할당 관리 ID를 사용하는 것이 좋습니다. 이 방법은 안전하며 자격 증명을 수동으로 관리할 필요가 없습니다.

Microsoft Fabric OneLake를 만든 후에는 Fabric Lakehouse에 쓸 수 있는 권한을 부여하는 Azure IoT Operations 관리 ID에 역할을 할당해야 합니다.

시스템 할당 관리 ID를 사용하는 경우 Azure Portal에서 Azure IoT Operations 인스턴스로 이동하여 개요를 선택합니다. Azure IoT Operations Arc 확장 후에 나열된 확장의 이름을 복사합니다. 예를 들어 azure-iot-operations-xxxx7입니다. 시스템 할당 관리 ID는 Azure IoT Operations Arc 확장의 동일한 이름을 사용하여 찾을 수 있습니다.

만든 Microsoft Fabric 작업 영역으로 이동하여 액세스> 관리+ 사용자 또는 그룹 추가를 선택합니다.

클라우드 연결 또는 시스템 할당 관리 ID에 대해 설정된 사용자 할당 관리 ID의 이름을 검색합니다. 예를 들어 azure-iot-operations-xxxx7 입니다.
역할에서 기여자를 선택한 다음, 추가를 선택합니다. 이렇게 하면 관리 ID에 Fabric Lakehouse에 쓰는 데 필요한 권한이 부여됩니다. 자세한 내용은 Microsoft Fabric의 작업 영역에서 역할을 참조 하세요.

Microsoft Fabric OneLake에 대한 데이터 흐름 엔드포인트 만들기

작업 환경에서 데이터 흐름 엔드포인트 탭을 선택합니다.
새 데이터 흐름 엔드포인트 만들기에서 Microsoft Fabric OneLake>새로 만들기를 선택합니다.

엔드포인트에 대해 다음 설정을 입력합니다.

설정	설명
Host	형식의 Microsoft Fabric OneLake 엔드포인트의 `onelake.dfs.fabric.microsoft.com`호스트 이름입니다.
레이크하우스 이름	데이터를 저장해야 하는 레이크하우스의 이름입니다.
작업 영역 이름	Lakehouse와 연결된 작업 영역의 이름입니다.
OneLake 경로 형식	OneLake에 사용되는 경로의 형식입니다. 파일 또는 테이블을* 선택합니다*.
인증 방법	인증에 사용되는 방법입니다. 시스템 할당 관리 ID 또는 사용자 할당 관리 ID를 선택합니다.
클라이언트 ID	사용자 할당 관리 ID의 클라이언트 ID입니다. 사용자 할당 관리 ID를 사용하는 경우 필요합니다.
테넌트 ID	사용자 할당 관리 ID의 테넌트 ID입니다. 사용자 할당 관리 ID를 사용하는 경우 필요합니다.

적용을 선택하여 엔드포인트를 프로비전합니다.

다음 콘텐츠를 사용하여 Bicep .bicep 파일을 만듭니다.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

그런 다음, Azure CLI를 통해 배포합니다.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

다음 콘텐츠를 사용하여 Kubernetes 매니페스트 .yaml 파일을 만듭니다.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

그런 다음, 매니페스트 파일을 Kubernetes 클러스터에 적용합니다.

kubectl apply -f <FILE>.yaml

OneLake 경로 형식

이 설정은 oneLakePathType OneLake 경로에서 사용할 경로의 유형을 결정합니다. 기본값은 Tables가장 일반적인 사용 사례에 권장되는 경로 형식입니다. Tables 경로 형식은 데이터를 저장하는 데 사용되는 OneLake 레이크하우스의 테이블입니다. 데이터를 저장하는 데 사용되는 OneLake 레이크하우스의 파일인 파일로 Files설정할 수도 있습니다. 경로 형식은 Files 경로 형식에서 지원 Tables 되지 않는 파일 형식으로 데이터를 저장하려는 경우에 유용합니다.

OneLake 경로 형식은 데이터 흐름 엔드포인트에 대한 기본 탭에서 설정됩니다.

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

사용 가능한 인증 방법

다음 인증 방법은 Microsoft Fabric OneLake 데이터 흐름 엔드포인트에 사용할 수 있습니다.

시스템 할당 관리 ID

데이터 흐름 엔드포인트를 구성하기 전에 Fabric Lakehouse에 쓸 수 있는 권한을 부여하는 Azure IoT Operations 관리 ID에 역할을 할당합니다.

Azure Portal에서 Azure IoT Operations 인스턴스로 이동하여 개요를 선택합니다.
Azure IoT Operations Arc 확장 후에 나열된 확장의 이름을 복사합니다. 예를 들어 azure-iot-operations-xxxx7입니다.
Microsoft Fabric 작업 영역으로 이동하여 액세스> 관리+ 사용자 또는 그룹 추가를 선택합니다.
시스템 할당 관리 ID의 이름을 검색합니다. 예를 들어 azure-iot-operations-xxxx7 입니다.
적절한 역할을 선택한 다음, 추가를 선택합니다.

그런 다음 시스템 할당 관리 ID 설정을 사용하여 데이터 흐름 엔드포인트를 구성합니다.

작업 환경 데이터 흐름 엔드포인트 설정 페이지에서 기본 탭을 선택한 다음 인증 방법>시스템 할당 관리 ID를 선택합니다.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

시스템 할당 관리 ID 대상 그룹을 재정의해야 하는 경우 설정을 지정할 audience 수 있습니다.

대부분의 경우 서비스 대상 그룹을 지정할 필요가 없습니다. 대상 그룹을 지정하지 않으면 기본 대상 그룹 범위가 스토리지 계정으로 범위가 지정된 관리 ID가 만들어집니다.

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

사용자 할당 관리 ID

인증에 사용자 할당 관리 ID를 사용하려면 먼저 보안 설정을 사용하도록 설정된 Azure IoT 작업을 배포해야 합니다. 그런 다음 클라우드 연결에 대한 사용자 할당 관리 ID를 설정해야 합니다. 자세한 내용은 Azure IoT Operations 배포에서 보안 설정 사용을 참조하세요.

데이터 흐름 엔드포인트를 구성하기 전에 Fabric Lakehouse에 쓸 수 있는 권한을 부여하는 사용자 할당 관리 ID에 역할을 할당합니다.

Microsoft Fabric 작업 영역으로 이동하여 액세스> 관리+ 사용자 또는 그룹 추가를 선택합니다.
사용자 할당 관리 ID의 이름을 검색합니다.
적절한 역할을 선택한 다음, 추가를 선택합니다.

그런 다음 사용자 할당 관리 ID 설정을 사용하여 데이터 흐름 엔드포인트를 구성합니다.

작업 환경 데이터 흐름 엔드포인트 설정 페이지에서 기본 탭을 선택한 다음, 인증 방법>사용자 할당 관리 ID를 선택합니다.

적절한 필드에 사용자 할당 관리 ID 클라이언트 ID 및 테넌트 ID를 입력합니다.

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

사용자 할당 관리 ID를 사용하려면 인증 방법을 지정 UserAssignedManagedIdentity 하고 관리 ID와 tenantId 해당 ID를 제공합니다clientId.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

여기서 범위는 선택 사항이며 기본값은 .입니다 https://storage.azure.com/.default. 기본 범위를 재정의해야 하는 경우 Bicep 또는 Kubernetes를 scope 사용하여 설정을 지정합니다.

고급 설정

일괄 처리 대기 시간 및 메시지 수와 같은 Fabric OneLake 엔드포인트에 대한 고급 설정을 설정할 수 있습니다. 데이터 흐름 엔드포인트 고급 포털 탭 또는 데이터 흐름 엔드포인트 사용자 지정 리소스 내에서 이러한 설정을 설정할 수 있습니다.

일괄 처리

batching 설정을 사용하여 메시지를 대상으로 보내기 전에 최대 메시지 수와 최대 대기 시간을 구성할 수 있습니다. 이 설정은 네트워크 대역폭을 최적화하고 대상에 대한 요청 수를 줄이려는 경우에 유용합니다.

필드	설명	필수
`latencySeconds`	메시지를 대상으로 보내기 전에 대기할 최대 시간(초)입니다. 기본값은 60초입니다.	아니요
`maxMessages`	대상에 보낼 최대 메시지 수입니다. 기본값은 100000개 메시지입니다.	아니요

예를 들어 최대 메시지 수를 1000으로 구성하고 최대 대기 시간을 100초로 구성하려면 다음 설정을 사용합니다.

작업 환경에서 데이터 흐름 엔드포인트에 대한 고급 탭을 선택합니다.

작업 환경을 사용하여 Microsoft Fabric 고급 설정을 설정하는 스크린샷

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

다음 단계

데이터 흐름에 대한 자세한 내용은 데이터 흐름 만들기를 참조 하세요.

다음을 통해 공유