設定 Microsoft Fabric OneLake 的數據流端點

發行項
11/20/2024

重要

此頁面包含使用 Kubernetes 部署指令清單來管理 Azure IoT Operations 元件的指示，其處於預覽狀態。這項功能隨附數個限制，不應用於生產工作負載。

請參閱 Microsoft Azure 預覽版增補使用規定，以了解適用於 Azure 功能 (搶鮮版 (Beta)、預覽版，或尚未正式發行的版本) 的法律條款。

若要將數據傳送至 Azure IoT 作業中的 Microsoft Fabric OneLake，您可以設定資料流端點。此組態可讓您指定目的地端點、驗證方法、數據表和其他設定。

必要條件

Azure IoT 作業的實例
Microsoft Fabric OneLake。請參閱下列步驟來建立工作區和 Lakehouse。
- 建立工作區。不支援預設 的工作區 。
- 建立 Lakehouse。
- 如果顯示，請確定未核取 Lakehouse 架構（公開預覽）。
- 記下工作區和 Lakehouse 名稱。
請確定服務主體可以使用網狀架構 API。

將許可權指派給受控識別

若要為 Microsoft Fabric OneLake 設定數據流端點，建議您使用使用者指派或系統指派的受控識別。這種方法是安全的，而且不需要手動管理認證。

建立Microsoft Fabric OneLake 之後，您必須將角色指派給 Azure IoT Operations 受控識別，以授與寫入 Fabric Lakehouse 的許可權。

如果使用系統指派的受控識別，請在 Azure 入口網站中移至您的 Azure IoT 作業實例，然後選取 [概觀]。複製 Azure IoT Operations Arc 延伸模組之後 所列的延伸模組名稱。例如， azure-iot-operations-xxxx7。您可以使用 Azure IoT Operations Arc 延伸模組的相同名稱，找到系統指派的受控識別。

移至您所建立Microsoft網狀架構工作區，選取 [管理存取>權+ 新增人員或群組]。

搜尋針對雲端連線或系統指派的受控識別所設定的使用者指派受控識別名稱。例如， azure-iot-operations-xxxx7 。
選取 [參與者] 作為角色，然後選取 [新增]。這可讓受控識別具備寫入 Fabric Lakehouse 的必要許可權。若要深入瞭解，請參閱 Microsoft Fabric 工作區中的角色。

建立 Microsoft Fabric OneLake 的數據流端點

在作業體驗中，選取 [ 數據流端點] 索引標籤 。
在 [建立新的數據流端點] 下，選取 [Microsoft Fabric OneLake>New]。

輸入端點的下列設定：

設定	描述
Host	格式為 Microsoft Fabric OneLake 端點的 `onelake.dfs.fabric.microsoft.com`主機名。
Lakehouse 名稱	應該儲存數據之 Lakehouse 的名稱。
工作區名稱	與 Lakehouse 相關聯的工作區名稱。
OneLake 路徑類型	OneLake 中使用的路徑類型。選取 [檔案] 或 [數據表]。
驗證方法	用於驗證的方法。選擇 [系統指派的受控識別] 或 [使用者指派的受控識別]。
Client ID	使用者指派受控識別的用戶端標識碼。如果使用使用者指派的受控識別，則為必要專案。
租用戶識別碼	使用者指派受控識別的租用戶標識碼。如果使用使用者指派的受控識別，則為必要專案。

選取 [ 套用 ] 以布建端點。

使用下列內容建立 Bicep .bicep 檔案。

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

然後，透過 Azure CLI 進行部署。

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

使用下列內容建立 Kubernetes 指令清單 .yaml 檔案。

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

然後將指令清單檔案套用至 Kubernetes 叢集。

kubectl apply -f <FILE>.yaml

OneLake 路徑類型

設定 oneLakePathType 會決定要用於 OneLake 路徑的路徑類型。默認值為 Tables，這是最常見使用案例的建議路徑類型。 Tables路徑類型是 OneLake Lakehouse 中用來儲存數據的數據表。它也可以設定為 Files，這是 OneLake Lakehouse 中用來儲存資料的檔案。 Files當您想要以路徑類型不支援Tables的檔案格式儲存資料時，路徑類型會很有用。

OneLake 路徑類型是在數據流端點的 [基本] 索引標籤中設定。

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

可用的驗證方法

下列驗證方法適用於Microsoft Fabric OneLake 數據流端點。

系統指派的受控識別

設定數據流端點之前，請先將角色指派給 Azure IoT Operations 受控識別，以授與寫入 Fabric Lakehouse 的許可權：

在 Azure 入口網站中，移至您的 Azure IoT 作業實例，然後選取 [概觀]。
複製 Azure IoT Operations Arc 延伸模組之後 所列的延伸模組名稱。例如， azure-iot-operations-xxxx7。
移至 [Microsoft網狀架構工作區]，選取 [管理存取>權+ 新增人員或群組]。
搜尋系統指派的受控識別名稱。例如， azure-iot-operations-xxxx7 。
選取適當的角色，然後選取 [ 新增]。

然後，使用系統指派的受控識別設定來設定數據流端點。

在 [作業體驗數據流端點設定] 頁面中，選取 [基本] 索引標籤，然後選擇 [驗證方法>系統指派的受控識別]。

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

如果您需要覆寫系統指派的受控識別物件，您可以指定 audience 設定。

在大部分情況下，您不需要指定服務物件。未指定物件會建立受控識別，其預設物件範圍限定於您的記憶體帳戶。

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

使用者指派的受控識別

若要使用使用者指派的受控識別進行驗證，您必須先部署已啟用安全設定的 Azure IoT 作業。然後，您必須為雲端連線設定使用者指派的受控識別。若要深入瞭解，請參閱在 Azure IoT 作業部署中啟用安全設定。

設定數據流端點之前，請先將角色指派給使用者指派的受控識別，以授與寫入 Fabric Lakehouse 的許可權。

移至 [Microsoft網狀架構工作區]，選取 [管理存取>權+ 新增人員或群組]。
搜尋使用者指派的受控識別名稱。
選取適當的角色，然後選取 [ 新增]。

然後，使用使用者指派的受控識別設定來設定數據流端點。

在 [作業體驗數據流端點設定] 頁面中，選取 [基本] 索引標籤，然後選擇 [驗證方法>使用者指派的受控識別]。

在適當的欄位中輸入使用者指派的受控識別用戶端識別碼和租用戶標識碼。

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

若要使用使用者指派的受控識別，請指定 UserAssignedManagedIdentity 驗證方法，並提供 clientId 受控識別的和 tenantId 。

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

在這裡，範圍是選擇性的，預設為 https://storage.azure.com/.default。如果您需要覆寫預設範圍，請使用 Bicep 或 Kubernetes 指定 scope 設定。

進階設定

您可以設定 Fabric OneLake 端點的進階設定，例如批處理延遲和訊息計數。您可以在資料流端點 [進階 入口網站] 索引標籤或資料流端點自訂資源內設定這些設定。

批次處理

使用設定 batching 來設定訊息數目上限和訊息傳送至目的地之前的最大延遲。當您想要針對網路頻寬進行優化，並減少對目的地的要求數目時，此設定很有用。

欄位	描述	必要
`latencySeconds`	將訊息傳送至目的地之前要等候的最大秒數。預設值為 60 秒。	No
`maxMessages`	要傳送至目的地的訊息數目上限。預設值為 100000 訊息。	No

例如，若要將訊息數目上限設定為 1000，以及延遲上限為 100 秒，請使用下列設定：

在作業體驗中，選取數據流端點的 [ 進階 ] 索引標籤。

使用作業體驗來設定Microsoft網狀架構進階設定的螢幕快照。

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

下一步

若要深入了解數據流，請參閱建立數據流。

共用方式為