Microsoft Fabric OneLake のデータフロー エンドポイントを構成する

重要

Azure Arc によって実現されている Azure IoT Operations プレビューは、現在プレビュー段階です。 運用環境ではこのプレビュー ソフトウェアを使わないでください。

Azure IoT Operations の一般公開リリースが提供されたときには、新規インストールをデプロイすることが必要になります。 プレビュー インストールからのアップグレードはできません。

ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用される法律条項については、「Microsoft Azure プレビューの追加使用条件」を参照してください。

Azure IoT Operations プレビューで Microsoft Fabric OneLake にデータを送信するには、データフロー エンドポイントを構成できます。 この構成では、宛先エンドポイント、認証方法、テーブル、その他の設定を指定できます。

前提条件

• Azure IoT Operations プレビューのインスタンス
• 構成されたデータフロー プロファイル
• Microsoft Fabric OneLake。 ワークスペースとレイクハウスを作成するには、次の手順を参照してください。
  • ワークスペースを作成します。 既定の "マイ ワークスペース" はサポートされていません。
  • レイクハウスを作成します。
  • 表示されている場合は、レイクハウス スキーマ (パブリック プレビュー) が "オフ" になっていることを確認します。
  • ワークスペースとレイクハウスの名前をメモしておきます。

Microsoft Fabric OneLake データフロー エンドポイントを作成する

Microsoft Fabric OneLake のデータフロー エンドポイントを構成するには、Azure Arc 対応 Kubernetes クラスターのマネージド ID を使用することをお勧めします。 この方法は安全であり、シークレット管理の必要がなくなります。

1. Azure portal で、Azure IoT Operations インスタンスに移動し、[概要] を選択します。
2. Azure IoT Operations Arc 拡張機能の後一覧表示されている拡張機能の名前をコピーします。 たとえば、azure-iot-operations-xxxx7。
3. 作成した Microsoft Fabric ワークスペースで、[アクセスを管理する]>[+ ユーザーまたはグループの追加] を選択します。 名前で Azure IoT Operations Arc 拡張機能を検索し、選択します。 ロールとして [共同作成者] を選択し、[追加] を選択します。
4. DataflowEndpoint リソースを作成し、マネージド ID 認証方法を指定します。

ポータル

1. 操作エクスペリエンスで、[データフロー エンドポイント] タブを選択します。

2. [新しいデータフロー エンドポイントの作成] の下にある、[Microsoft Fabric OneLake]>[新規] を選択します。

   

3. エンドポイントに関する次の設定を入力します。

   設定	説明
   Host	onelake.dfs.fabric.microsoft.com の形式の Microsoft Fabric OneLake エンドポイントのホスト名。
   レイクハウス名	データを格納する必要があるレイクハウスの名前。
   ワークスペース名	レイクハウスに関連付けられているワークスペースの名前。
   OneLake パスの種類	OneLake 内で使用されるパスの種類。 [ファイル] または [テーブル] を選択します。
   認証方法	認証に使用する方式。 [システム割り当てマネージド ID] または [ユーザー割り当てマネージド ID] を選びます
   クライアント ID	ユーザー割り当てマネージド ID のクライアント ID "ユーザー割り当てマネージド ID" を使う場合に必要です。
   テナント ID	ユーザー割り当てマネージド ID のテナント ID。 "ユーザー割り当てマネージド ID" を使う場合に必要です。

4. [適用] を選択してエンドポイントをプロビジョニングします。

Bicep

次の内容を含む Bicep .bicep ファイルを作成します。

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        method: 'SystemAssignedManagedIdentity'
        systemAssignedManagedIdentitySettings: {}
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

次に、Azure CLI を使用してデプロイします。

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes

次の内容を含む Kubernetes マニフェスト .yaml ファイルを作成します。

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iotoperations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      method: SystemAssignedManagedIdentity
      systemAssignedManagedIdentitySettings: {}
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

次に、このマニフェスト ファイルを Kubernetes クラスターに適用します。

kubectl apply -f <FILE>.yaml

OneLake パスの種類

oneLakePathType 設定によって、OneLake パスで使用するパスの種類が決まります。 既定値は Tables です。これは、最も一般的なユース ケースに推奨されるパスの種類です。 パスの種類 Tables は、データの格納に使用される OneLake レイクハウス内のテーブルです。 これは、データの格納に使用される OneLake レイクハウス内の Files ファイルとして設定することもできます。 パスの種類 Files は、パスの種類 Tables でサポートされていないファイル形式でデータを格納する場合に便利です。

ポータル

OneLake パスの種類は、データフロー エンドポイントの [基本] タブの中で設定します。

Bicep

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

Kubernetes

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

使用可能な認証方法

Microsoft Fabric OneLake データフローのエンドポイントでは、次の認証方法を使用できます。 Azure Key Vault を構成し、ワークロード ID を有効にして、セキュリティで保護された設定を有効にする方法について詳しくは、「Azure IoT Operations プレビューのデプロイでセキュリティで保護された設定を有効にする」を参照してください。

データフロー エンドポイントを作成する前に、Fabric レイクハウスへの書き込みアクセス許可を付与する IoT Operations 拡張機能にワークスペースの "共同作成者" ロールを割り当てます。

詳細については、ワークスペースへのアクセス権の付与に関するページを参照してください。

システム割り当てマネージド ID

Azure IoT Operations では、システム割り当てマネージド ID を使用する認証方法が推奨されます。 Azure IoT Operations により、マネージド ID が自動的に作成され、Azure Arc 対応 Kubernetes クラスターに割り当てられます。 これにより、シークレット管理が不要になり、シームレスな認証が可能になります。

DataflowEndpoint リソースで、マネージド ID 認証方法を指定します。 ほとんどの場合、他の設定を指定する必要はありません。 この構成では、既定の対象ユーザー を使用してマネージド ID が作成されます。

ポータル

操作エクスペリエンスのデータフロー エンドポイント設定ページで、[基本] タブを選択し、[認証方法]>[システム割り当てマネージド ID] を選択します。

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

システム割り当てマネージド ID の対象ユーザーをオーバーライドする必要がある場合は、audience 設定を指定できます。

ポータル

ほとんどの場合、サービス対象ユーザーを指定する必要はありません。 対象ユーザーを指定しない場合、既定の対象ユーザーのスコープをストレージ アカウントに設定したマネージド ID が作成されます。

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

Kubernetes

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

ユーザー割り当てマネージド ID

認証にユーザー マネージド ID を使用するには、まず、セキュリティで保護された設定を有効にして Azure IoT Operations をデプロイする必要があります。 詳細については、「Azure IoT Operations プレビューのデプロイでセキュリティで保護された設定を有効にする」を参照してください。

次に、ユーザー割り当てマネージド ID 認証方法をマネージド ID のクライアント ID、テナント ID、スコープと共に指定します。

ポータル

Operations Experience のデータフロー エンドポイント設定ページで、[基本] タブを選択し、[認証方法]>[ユーザー割り当てマネージド ID] を選択します。

該当するフィールドに、ユーザー割り当てマネージド ID のクライアント ID とテナント ID を入力します。

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Kubernetes

ユーザー割り当てマネージド ID を使用するには、UserAssignedManagedIdentity 認証方法を指定し、マネージド ID の clientId および tenantId を指定します。

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

ここでは、スコープは省略可能であり、既定値は https://storage.azure.com/.default です。 既定の scope をオーバーライドする必要がある場合は、Bicep または Kubernetes を使用して "scope" の設定を指定してください。

詳細設定

バッチ処理の待機時間やメッセージ数など、Fabric OneLake エンドポイントの詳細設定を設定できます。 これらの設定は、データフロー エンドポイントの [詳細設定] ポータル タブ、またはデータフロー エンドポイントのカスタム リソース内で設定できます。

バッチ処理

メッセージの最大数と、メッセージが宛先に送信されるまでの最大待機時間を構成するには、batching 設定を使用します。 この設定は、ネットワーク帯域幅を最適化し、宛先への要求数を減らす場合に役立ちます。

フィールド	Description	必須
latencySeconds	メッセージを宛先に送信するまでの最大待機時間 (秒数)。 既定値は 60 秒です。	いいえ
maxMessages	宛先に送信するメッセージの最大数。 既定値は、100,000 メッセージです。	いいえ

たとえば、メッセージの最大数を 1,000 に構成し、最大待機時間を 100 秒に設定するには、次の設定を使用します。

ポータル

Operations Experience で、データフロー エンドポイントの [詳細設定] タブを選択します。

Bicep

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

次のステップ

データフローの詳細については、データフローの作成に関するページを参照してください。