Azure Data Lake Storage Gen2 のデータフローエンドポイントを構成する

[アーティクル]
11/04/2024

重要

Azure Arc によって実現されている Azure IoT Operations プレビューは、現在プレビュー段階です。運用環境ではこのプレビューソフトウェアを使わないでください。

Azure IoT Operations の一般公開リリースが提供されたときには、新規インストールをデプロイすることが必要になります。プレビューインストールからのアップグレードはできません。

ベータ版、プレビュー版、または一般提供としてまだリリースされていない Azure の機能に適用される法律条項については、「Microsoft Azure プレビューの追加使用条件」を参照してください。

Azure IoT Operations プレビューで Azure Data Lake Storage Gen2 にデータを送信するには、データフローエンドポイントを構成できます。この構成では、送信先エンドポイント、認証方法、テーブル、その他の設定を指定できます。

前提条件

Azure IoT Operations プレビューのインスタンス
構成されたデータフロープロファイル
Azure Data Lake Storage Gen2 アカウント
ストレージアカウント内の事前作成済みストレージコンテナー

Azure Data Lake Storage Gen2 データフローエンドポイントを作成する

Azure Data Lake Storage Gen2 のデータフローエンドポイントを構成するには、Azure Arc 対応 Kubernetes クラスターのマネージド ID を使用することをお勧めします。この方法は安全であり、シークレットを管理する必要がなくなります。または、アクセストークンを使用してストレージアカウントで認証することもできます。アクセストークンを使用する場合、SAS トークンを含む Kubernetes シークレットを作成する必要があります。

IoT Operations ポータルで、[データフローエンドポイント] タブを選択します。
[新しいデータフローエンドポイントの作成] で、[Azure Data Lake Storage (第 2 世代)]>[新規] を選択します。

エンドポイントに関する次の設定を入力します。

設定	内容
Name	データフローエンドポイントの名前。
Host	`<account>.blob.core.windows.net` 形式の Azure Data Lake Storage Gen2 エンドポイントのホスト名。アカウントプレースホルダーをエンドポイントアカウント名に置き換えます。
認証方法	認証に使用する方式。 [システム割り当てマネージド ID]、[ユーザー割り当てマネージド ID]、または [アクセストークン] を選びます。
クライアント ID	ユーザー割り当てマネージド ID のクライアント ID "ユーザー割り当てマネージド ID" を使う場合に必要です。
テナント ID	ユーザー割り当てマネージド ID のテナント ID。 "ユーザー割り当てマネージド ID" を使う場合に必要です。
アクセストークンのシークレット名	SAS トークンを含む Kubernetes シークレットの名前。 "アクセストークン" を使う場合に必要です。

[適用] を選択してエンドポイントをプロビジョニングします。

次の内容を含む Bicep .bicep ファイルを作成します。

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'SystemAssignedManagedIdentity'
        systemAssignedManagedIdentitySettings: {}
      }
    }
  }
}

次に、Azure CLI を使用してデプロイします。

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

次の内容を含む Kubernetes マニフェスト .yaml ファイルを作成します。

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: SystemAssignedManagedIdentity
      systemAssignedManagedIdentitySettings: {}

次に、このマニフェストファイルを Kubernetes クラスターに適用します。

kubectl apply -f <FILE>.yaml

システム割り当てマネージド ID の対象ユーザーをオーバーライドする必要がある場合は、「システム割り当てマネージド ID」セクションを参照してください。

アクセストークン認証を使用する

「アクセストークン」セクションの手順に従って、ストレージアカウントの SAS トークンを取得し、それを Kubernetes シークレットに格納します。

次に DataflowEndpoint リソースを作成し、アクセストークン認証方法を指定します。ここで、<SAS_SECRET_NAME> を SAS トークンを含むシークレットの名前に置き換え、他のプレースホルダー値も置き換えます。

IoT Operations ポータルで、[データフローエンドポイント] タブを選択します。
[新しいデータフローエンドポイントの作成] で、[Azure Data Lake Storage (第 2 世代)]>[新規] を選択します。

エンドポイントに関する次の設定を入力します。

設定	内容
Name	データフローエンドポイントの名前。
Host	`<account>.blob.core.windows.net` 形式の Azure Data Lake Storage Gen2 エンドポイントのホスト名。アカウントプレースホルダーをエンドポイントアカウント名に置き換えます。
認証方法	認証に使用する方式。 [アクセストークン] を選びます。
同期されたシークレット名	ADLSv2 エンドポイントと同期される Kubernetes シークレットの名前。
アクセストークンのシークレット名	SAS トークンを含む Kubernetes シークレットの名前。

[適用] を選択してエンドポイントをプロビジョニングします。

次の内容を含む Bicep .bicep ファイルを作成します。

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

次に、Azure CLI を使用してデプロイします。

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

次の内容を含む Kubernetes マニフェスト .yaml ファイルを作成します。

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

次に、このマニフェストファイルを Kubernetes クラスターに適用します。

kubectl apply -f <FILE>.yaml

使用可能な認証方法

Azure Data Lake Storage Gen2 エンドポイントでは、次の認証方法を使用できます。

Azure Key Vault を構成し、ワークロード ID を有効にして、安全な設定を有効にする方法の詳細については、「Azure IoT Operations プレビューのデプロイでセキュリティで保護された設定を有効にする」を参照してください。

システム割り当てマネージド ID

Azure IoT Operations では、システム割り当てマネージド ID を使用する認証方法が推奨されます。 Azure IoT Operations により、マネージド ID が自動的に作成され、Azure Arc 対応 Kubernetes クラスターに割り当てられます。これにより、シークレット管理が不要になり、シームレスな認証が可能になります。

データフローエンドポイントを作成する前に、ストレージアカウントに対する書き込みアクセス許可を持つロールをマネージド ID に割り当てます。たとえば、"ストレージ BLOB データ共同作成者" ロールを割り当てることができます。 BLOB に対するロールを割り当てる方法の詳細については、「Microsoft Entra ID を使用して BLOB へのアクセスを認可する」を参照してください。

Azure portal で、Azure IoT Operations インスタンスに移動し、[概要] を選択します。
Azure IoT Operations Arc 拡張機能の後に一覧表示されている拡張機能の名前をコピーします。たとえば、azure-iot-operations-xxxx7 などです。
拡張機能の名前を使用して、Azure portal でマネージド ID を検索します。たとえば、azure-iot-operations-xxxx7 を検索します。
ストレージアカウントへの書き込みアクセス許可を付与するロール ("ストレージ BLOB データ共同作成者" など) を Azure IoT Operations ARC 拡張機能のマネージド ID に割り当てます。詳細については、「Microsoft Entra ID を使用して BLOB へのアクセスを承認する」をご覧ください。
DataflowEndpoint リソースを作成し、マネージド ID 認証方法を指定します。

操作エクスペリエンスのデータフローエンドポイント設定ページで、[基本] タブを選択し、[認証方法]>[システム割り当てマネージド ID] を選択します。

ほとんどの場合、サービス対象ユーザーを指定する必要はありません。対象ユーザーを指定しない場合、既定の対象ユーザーのスコープをストレージアカウントに設定したマネージド ID が作成されます。

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

システム割り当てマネージド ID の対象ユーザーをオーバーライドする必要がある場合は、audience 設定を指定できます。

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

アクセストークン

代替の認証方法として、アクセストークンを使用する方法があります。この方法を使用するには、SAS トークンを使用して Kubernetes シークレットを作成し、そのシークレットを DataflowEndpoint リソースで参照する必要があります。

Azure Data Lake Storage Gen2 (ADLSv2) アカウントの SAS トークンを取得します。たとえば、Azure portal を使用してストレージアカウントを参照します。左側のメニューで、[セキュリティとネットワーク]>[Shared Access Signature] の順に選択します。次の表を使用して、必要なアクセス許可を設定します。

パラメーター	有効な設定
使用できるサービス	BLOB
許可されるリソースの種類	オブジェクト、コンテナー
許可されるアクセス許可	読み取り、書き込み、削除、一覧表示、追加

セキュリティを強化し、最小限の特権の原則に従うために、特定のコンテナーの SAS トークンを生成できます。認証エラーを防ぐために、必ず SAS トークンで指定されたコンテナーを構成内のデータフローの宛先設定と一致させてください。

操作エクスペリエンスのデータフローエンドポイント設定ページで、[基本] タブを選択し、[認証方法]>[アクセストークン] を選びます。

[アクセストークンシークレット名] で作成したアクセストークンシークレット名を入力します。

シークレットの詳細については、Azure IoT Operations Preview でのシークレットの作成と管理に関する記事を参照してください。

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

SAS トークンを使用して Kubernetes シークレットを作成します。

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

ユーザー割り当てマネージド ID

認証にユーザーマネージド ID を使用するには、まず、セキュリティで保護された設定を有効にして Azure IoT Operations をデプロイする必要があります。詳細については、「Azure IoT Operations プレビューのデプロイでセキュリティで保護された設定を有効にする」を参照してください。

次に、ユーザー割り当てマネージド ID 認証方法をマネージド ID のクライアント ID、テナント ID、スコープと共に指定します。

Operations Experience のデータフローエンドポイント設定ページで、[基本] タブを選択し、[認証方法]>[ユーザー割り当てマネージド ID] を選択します。

該当するフィールドに、ユーザー割り当てマネージド ID のクライアント ID とテナント ID を入力します。

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      cliendId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

ここでは、スコープは省略可能であり、既定値は https://storage.azure.com/.default です。既定のスコープをオーバーライドする必要がある場合は、Bicep または Kubernetes マニフェストを使用して scope 設定を指定します。

詳細設定

バッチ処理の待機時間やメッセージ数など、Azure Data Lake Storage Gen2 エンドポイントの詳細設定を設定できます。

メッセージの最大数と、メッセージが宛先に送信されるまでの最大待機時間を構成するには、batching 設定を使用します。この設定は、ネットワーク帯域幅を最適化し、宛先への要求数を減らす場合に役立ちます。

フィールド	Description	必須
`latencySeconds`	メッセージを宛先に送信するまでの最大待機時間 (秒数)。既定値は 60 秒です。	いいえ
`maxMessages`	宛先に送信するメッセージの最大数。既定値は、100,000 メッセージです。	いいえ

たとえば、メッセージの最大数を 1,000 に構成し、最大待機時間を 100 秒に設定するには、次の設定を使用します。

Operations Experience で、データフローエンドポイントの [詳細設定] タブを選択します。

操作エクスペリエンスを使用して ADLS V2 の詳細設定を設定するスクリーンショット。

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

次のステップ

データフローの詳細については、データフローの作成に関するページを参照してください。

次の方法で共有

Azure Data Lake Storage Gen2 のデータフローエンドポイントを構成する

前提条件

Azure Data Lake Storage Gen2 データフローエンドポイントを作成する

アクセストークン認証を使用する

使用可能な認証方法

システム割り当てマネージド ID

アクセストークン

ユーザー割り当てマネージド ID

詳細設定

次のステップ

フィードバック

その他のリソース

次の方法で共有

Azure Data Lake Storage Gen2 のデータフロー エンドポイントを構成する

前提条件

Azure Data Lake Storage Gen2 データフロー エンドポイントを作成する

アクセス トークン認証を使用する

使用可能な認証方法

システム割り当てマネージド ID

アクセス トークン

ユーザー割り当てマネージド ID

詳細設定

次のステップ

フィードバック

その他のリソース

Azure Data Lake Storage Gen2 のデータフローエンドポイントを構成する

Azure Data Lake Storage Gen2 データフローエンドポイントを作成する

アクセストークン認証を使用する

アクセストークン