Konfigurowanie punktów końcowych przepływu danych dla usługi Microsoft Fabric OneLake

Ważne

Ta strona zawiera instrukcje dotyczące zarządzania składnikami operacji usługi Azure IoT przy użyciu manifestów wdrażania platformy Kubernetes, które są w wersji zapoznawczej. Ta funkcja jest udostępniana z kilkoma ograniczeniami i nie powinna być używana w przypadku obciążeń produkcyjnych.

Zobacz Dodatkowe warunki użytkowania wersji zapoznawczych platformy Microsoft Azure, aby zapoznać się z postanowieniami prawnymi dotyczącymi funkcji platformy Azure, które są w wersji beta lub wersji zapoznawczej albo w inny sposób nie zostały jeszcze wydane jako ogólnie dostępne.

Aby wysyłać dane do usługi Microsoft Fabric OneLake w operacjach usługi Azure IoT, możesz skonfigurować punkt końcowy przepływu danych. Ta konfiguracja umożliwia określenie docelowego punktu końcowego, metody uwierzytelniania, tabeli i innych ustawień.

Wymagania wstępne

• Wystąpienie operacji usługi Azure IoT
• Microsoft Fabric OneLake. Zapoznaj się z poniższymi krokami, aby utworzyć obszar roboczy i usługę Lakehouse.
  • Utwórz obszar roboczy. Domyślny obszar roboczy nie jest obsługiwany.
  • Utwórz jezioro.
  • Jeśli jest wyświetlany, upewnij się, że schematy usługi Lakehouse (publiczna wersja zapoznawcza) są niezaznaczone.
  • Zanotuj nazwy obszaru roboczego i lakehouse.
• Upewnij się, że jednostki usługi mogą używać interfejsów API sieci szkieletowej.

Przypisywanie uprawnień do tożsamości zarządzanej

Aby skonfigurować punkt końcowy przepływu danych dla usługi Microsoft Fabric OneLake, zalecamy użycie tożsamości zarządzanej przypisanej przez użytkownika lub przypisanej przez system. Takie podejście jest bezpieczne i eliminuje konieczność ręcznego zarządzania poświadczeniami.

Po utworzeniu usługi Microsoft Fabric OneLake należy przypisać rolę do tożsamości zarządzanej operacji usługi Azure IoT, która udziela uprawnień do zapisu w usłudze Fabric lakehouse.

Jeśli korzystasz z tożsamości zarządzanej przypisanej przez system, w witrynie Azure Portal przejdź do wystąpienia operacji usługi Azure IoT i wybierz pozycję Przegląd. Skopiuj nazwę rozszerzenia wymienionego po rozszerzeniu Usługi Azure IoT Operations Arc. Na przykład azure-iot-operations-xxxx7. Tożsamość zarządzana przypisana przez system można znaleźć przy użyciu tej samej nazwy rozszerzenia usługi Azure IoT Operations Arc.

Przejdź do utworzonego obszaru roboczego usługi Microsoft Fabric, wybierz pozycję Zarządzaj dostępem>+ Dodaj osoby lub grupy.

1. Wyszukaj nazwę tożsamości zarządzanej przypisanej przez użytkownika skonfigurowaną dla połączeń w chmurze lub tożsamości zarządzanej przypisanej przez system. Na przykład azure-iot-operations-xxxx7 .
2. Wybierz pozycję Współautor jako rolę, a następnie wybierz pozycję Dodaj. Daje to tożsamości zarządzanej niezbędne uprawnienia do zapisu w usłudze Fabric lakehouse. Aby dowiedzieć się więcej, zobacz Role w obszarach roboczych w usłudze Microsoft Fabric.

Tworzenie punktu końcowego przepływu danych dla usługi Microsoft Fabric OneLake

Portal

1. W środowisku operacji wybierz kartę Punkty końcowe przepływu danych.

2. W obszarze Tworzenie nowego punktu końcowego przepływu danych wybierz pozycję Microsoft Fabric OneLake>New.

   

3. Wprowadź następujące ustawienia punktu końcowego:

   Ustawienie	opis
   Host	Nazwa hosta punktu końcowego OneLake usługi Microsoft Fabric w formacie onelake.dfs.fabric.microsoft.com.
   Nazwa usługi Lakehouse	Nazwa jeziora, w którym powinny być przechowywane dane.
   Nazwa obszaru roboczego	Nazwa obszaru roboczego skojarzonego z lakehouse.
   Typ ścieżki OneLake	Typ ścieżki używanej w usłudze OneLake. Wybierz pozycję Pliki lub tabele.
   Metoda uwierzytelniania	Metoda używana do uwierzytelniania. Wybierz pozycję Tożsamość zarządzana przypisana przez system lub Tożsamość zarządzana przypisana przez użytkownika.
   Client ID	Identyfikator klienta tożsamości zarządzanej przypisanej przez użytkownika. Wymagane w przypadku korzystania z tożsamości zarządzanej przypisanej przez użytkownika.
   Identyfikator dzierżawy	Identyfikator dzierżawy tożsamości zarządzanej przypisanej przez użytkownika. Wymagane w przypadku korzystania z tożsamości zarządzanej przypisanej przez użytkownika.

4. Wybierz pozycję Zastosuj , aby aprowizować punkt końcowy.

Bicep

Utwórz plik Bicep .bicep z następującą zawartością.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Następnie wdróż za pomocą interfejsu wiersza polecenia platformy Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (wersja zapoznawcza)

Utwórz plik manifestu .yaml kubernetes z następującą zawartością.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Następnie zastosuj plik manifestu do klastra Kubernetes.

kubectl apply -f <FILE>.yaml

Typ ścieżki OneLake

Ustawienie oneLakePathType określa typ ścieżki do użycia w ścieżce OneLake. Wartość domyślna to Tables, która jest zalecanym typem ścieżki dla najbardziej typowych przypadków użycia. Typ Tables ścieżki to tabela w usłudze OneLake Lakehouse używana do przechowywania danych. Można go również ustawić jako Files, który jest plikiem w usłudze OneLake Lakehouse używanym do przechowywania danych. Typ Files ścieżki jest przydatny, gdy chcesz przechowywać dane w formacie pliku, który nie jest obsługiwany przez typ ścieżki Tables .

Portal

Typ ścieżki OneLake jest ustawiony na karcie Podstawowa dla punktu końcowego przepływu danych.

Bicep

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

Kubernetes (wersja zapoznawcza)

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Dostępne metody uwierzytelniania

Następujące metody uwierzytelniania są dostępne dla punktów końcowych przepływu danych OneLake w usłudze Microsoft Fabric.

Tożsamość zarządzana przypisana przez system

Przed skonfigurowaniem punktu końcowego przepływu danych przypisz rolę do tożsamości zarządzanej operacje usługi Azure IoT, która udziela uprawnień do zapisu w usłudze Fabric Lakehouse:

1. W witrynie Azure Portal przejdź do wystąpienia operacji usługi Azure IoT i wybierz pozycję Przegląd.
2. Skopiuj nazwę rozszerzenia wymienionego po rozszerzeniu Usługi Azure IoT Operations Arc. Na przykład azure-iot-operations-xxxx7.
3. Przejdź do obszaru roboczego usługi Microsoft Fabric, wybierz pozycję Zarządzaj dostępem>+ Dodaj osoby lub grupy.
4. Wyszukaj nazwę przypisanej przez system tożsamości zarządzanej. Na przykład azure-iot-operations-xxxx7 .
5. Wybierz odpowiednią rolę, a następnie wybierz pozycję Dodaj.

Następnie skonfiguruj punkt końcowy przepływu danych przy użyciu ustawień tożsamości zarządzanej przypisanej przez system.

Portal

Na stronie ustawienia punktu końcowego przepływu danych środowiska operacji wybierz kartę Podstawowa, a następnie wybierz pozycję Metoda>uwierzytelniania Przypisana tożsamość zarządzana przez system.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (wersja zapoznawcza)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Jeśli musisz zastąpić grupę odbiorców tożsamości zarządzanej przypisanej przez system, możesz określić audience ustawienie.

Portal

W większości przypadków nie trzeba określać odbiorców usług. Nieokreślij odbiorców tworzy tożsamość zarządzaną z domyślnym zakresem odbiorców na koncie magazynu.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

Kubernetes (wersja zapoznawcza)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Tożsamość zarządzana przypisana przez użytkownika

Aby użyć tożsamości zarządzanej przypisanej przez użytkownika do uwierzytelniania, należy najpierw wdrożyć operacje usługi Azure IoT z włączonymi bezpiecznymi ustawieniami. Następnie należy skonfigurować tożsamość zarządzaną przypisaną przez użytkownika dla połączeń w chmurze. Aby dowiedzieć się więcej, zobacz Włączanie bezpiecznych ustawień we wdrożeniu operacji usługi Azure IoT.

Przed skonfigurowaniem punktu końcowego przepływu danych przypisz rolę do tożsamości zarządzanej przypisanej przez użytkownika, która udziela uprawnień do zapisu w usłudze Fabric lakehouse.

1. Przejdź do obszaru roboczego usługi Microsoft Fabric, wybierz pozycję Zarządzaj dostępem>+ Dodaj osoby lub grupy.
2. Wyszukaj nazwę tożsamości zarządzanej przypisanej przez użytkownika.
3. Wybierz odpowiednią rolę, a następnie wybierz pozycję Dodaj.

Następnie skonfiguruj punkt końcowy przepływu danych przy użyciu ustawień tożsamości zarządzanej przypisanej przez użytkownika.

Portal

Na stronie ustawienia punktu końcowego przepływu danych środowiska operacji wybierz kartę Podstawowa, a następnie wybierz pozycję Metoda>uwierzytelniania Przypisana przez użytkownika tożsamość zarządzana.

Wprowadź identyfikator klienta tożsamości zarządzanej przypisanej przez użytkownika i identyfikator dzierżawy w odpowiednich polach.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Kubernetes (wersja zapoznawcza)

Aby użyć tożsamości zarządzanej przypisanej przez użytkownika, określ UserAssignedManagedIdentity metodę uwierzytelniania i podaj clientId tenantId i tożsamości zarządzanej.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

W tym miejscu zakres jest opcjonalny i domyślnie ma wartość https://storage.azure.com/.default. Jeśli musisz zastąpić zakres domyślny, określ scope ustawienie przy użyciu platformy Bicep lub Kubernetes.

Ustawienia zaawansowane

Dla punktu końcowego usługi Fabric OneLake można ustawić zaawansowane ustawienia, takie jak opóźnienie wsadowe i liczba komunikatów. Te ustawienia można ustawić na karcie Portal zaawansowany punktu końcowego przepływu danych lub w zasobie niestandardowym punktu końcowego przepływu danych.

Dzielenie na partie

batching Użyj ustawień, aby skonfigurować maksymalną liczbę komunikatów i maksymalne opóźnienie przed wysłaniem komunikatów do miejsca docelowego. To ustawienie jest przydatne, gdy chcesz zoptymalizować przepustowość sieci i zmniejszyć liczbę żądań do miejsca docelowego.

Pole	opis	Wymagania
latencySeconds	Maksymalna liczba sekund oczekiwania przed wysłaniem komunikatów do miejsca docelowego. Wartość domyślna to 60 sekund.	Nie.
maxMessages	Maksymalna liczba komunikatów do wysłania do miejsca docelowego. Wartość domyślna to 100000 komunikatów.	Nie.

Aby na przykład skonfigurować maksymalną liczbę komunikatów do 1000 i maksymalne opóźnienie do 100 sekund, użyj następujących ustawień:

Portal

W środowisku operacji wybierz kartę Zaawansowane dla punktu końcowego przepływu danych.

Bicep

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (wersja zapoznawcza)

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Następne kroki

Aby dowiedzieć się więcej na temat przepływów danych, zobacz Tworzenie przepływu danych.