Konfigurowanie punktów końcowych przepływu danych dla usługi Azure Data Lake Storage Gen2

Artykuł
11/20/2024

Ważne

Ta strona zawiera instrukcje dotyczące zarządzania składnikami operacji usługi Azure IoT przy użyciu manifestów wdrażania platformy Kubernetes, które są w wersji zapoznawczej. Ta funkcja jest udostępniana z kilkoma ograniczeniami i nie powinna być używana w przypadku obciążeń produkcyjnych.

Zobacz Dodatkowe warunki użytkowania wersji zapoznawczych platformy Microsoft Azure, aby zapoznać się z postanowieniami prawnymi dotyczącymi funkcji platformy Azure, które są w wersji beta lub wersji zapoznawczej albo w inny sposób nie zostały jeszcze wydane jako ogólnie dostępne.

Aby wysyłać dane do usługi Azure Data Lake Storage Gen2 w operacjach usługi Azure IoT, możesz skonfigurować punkt końcowy przepływu danych. Ta konfiguracja umożliwia określenie docelowego punktu końcowego, metody uwierzytelniania, tabeli i innych ustawień.

Wymagania wstępne

Wystąpienie operacji usługi Azure IoT
Konto usługi Azure Data Lake Storage Gen2
Wstępnie utworzony kontener magazynu na koncie magazynu

Przypisywanie uprawnień do tożsamości zarządzanej

Aby skonfigurować punkt końcowy przepływu danych dla usługi Azure Data Lake Storage Gen2, zalecamy użycie tożsamości zarządzanej przypisanej przez użytkownika lub przypisanej przez system. Takie podejście jest bezpieczne i eliminuje konieczność ręcznego zarządzania poświadczeniami.

Po utworzeniu usługi Azure Data Lake Storage Gen2 musisz przypisać rolę do tożsamości zarządzanej operacji usługi Azure IoT, która udziela uprawnień do zapisu na koncie magazynu.

Jeśli korzystasz z tożsamości zarządzanej przypisanej przez system, w witrynie Azure Portal przejdź do wystąpienia operacji usługi Azure IoT i wybierz pozycję Przegląd. Skopiuj nazwę rozszerzenia wymienionego po rozszerzeniu Usługi Azure IoT Operations Arc. Na przykład azure-iot-operations-xxxx7. Tożsamość zarządzana przypisana przez system można znaleźć przy użyciu tej samej nazwy rozszerzenia usługi Azure IoT Operations Arc.

Następnie przejdź do pozycji Kontrola dostępu do konta >usługi Azure Storage (IAM)>Dodaj przypisanie roli.

Na karcie Rola wybierz odpowiednią rolę, na przykład Storage Blob Data Contributor. Dzięki temu tożsamość zarządzana ma niezbędne uprawnienia do zapisu w kontenerach obiektów blob usługi Azure Storage. Aby dowiedzieć się więcej, zobacz Autoryzowanie dostępu do obiektów blob przy użyciu identyfikatora Entra firmy Microsoft.
Na karcie Członkowie:
1. W przypadku korzystania z tożsamości zarządzanej przypisanej przez system w polu Przypisz dostęp do wybierz opcję Użytkownik, grupa lub jednostka usługi , a następnie wybierz pozycję + Wybierz członków i wyszukaj nazwę rozszerzenia Azure IoT Operations Arc.
2. Jeśli używasz tożsamości zarządzanej przypisanej przez użytkownika, w obszarze Przypisz dostęp do wybierz opcję Tożsamość zarządzana, a następnie wybierz pozycję + Wybierz członków i wyszukaj tożsamość zarządzaną przypisaną przez użytkownika skonfigurowaną dla połączeń w chmurze.

Tworzenie punktu końcowego przepływu danych dla usługi Azure Data Lake Storage Gen2

W portalu operacje IoT wybierz kartę Punkty końcowe przepływu danych.
W obszarze Tworzenie nowego punktu końcowego przepływu danych wybierz pozycję Azure Data Lake Storage (druga generacja)>Nowy.

Wprowadź następujące ustawienia punktu końcowego:

Ustawienie	opis
Nazwa/nazwisko	Nazwa punktu końcowego przepływu danych.
Gospodarz	Nazwa hosta punktu końcowego usługi Azure Data Lake Storage Gen2 w formacie `<account>.blob.core.windows.net`. Zastąp symbol zastępczy konta nazwą konta punktu końcowego.
Metoda uwierzytelniania	Metoda używana do uwierzytelniania. Zalecamy wybranie tożsamości zarządzanej przypisanej przez system lub tożsamości zarządzanej przypisanej przez użytkownika.
Client ID	Identyfikator klienta tożsamości zarządzanej przypisanej przez użytkownika. Wymagane w przypadku korzystania z tożsamości zarządzanej przypisanej przez użytkownika.
Identyfikator dzierżawy	Identyfikator dzierżawy tożsamości zarządzanej przypisanej przez użytkownika. Wymagane w przypadku korzystania z tożsamości zarządzanej przypisanej przez użytkownika.
Nazwa wpisu tajnego tokenu dostępu	Nazwa wpisu tajnego kubernetes zawierającego token SAS. Wymagane w przypadku korzystania z tokenu dostępu.

Wybierz pozycję Zastosuj , aby aprowizować punkt końcowy.

Utwórz plik Bicep .bicep z następującą zawartością.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Następnie wdróż za pomocą interfejsu wiersza polecenia platformy Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Utwórz plik manifestu .yaml kubernetes z następującą zawartością.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Następnie zastosuj plik manifestu do klastra Kubernetes.

kubectl apply -f <FILE>.yaml

Korzystanie z uwierzytelniania tokenu dostępu

Wykonaj kroki opisane w sekcji Token dostępu, aby uzyskać token SAS dla konta magazynu i zapisać go w kluczu tajnym platformy Kubernetes.

Następnie utwórz zasób DataflowEndpoint i określ metodę uwierzytelniania tokenu dostępu. W tym miejscu zastąp <SAS_SECRET_NAME> ciąg nazwą wpisu tajnego zawierającego token SAS i inne wartości symboli zastępczych.

Zobacz sekcję tokenu dostępu, aby uzyskać instrukcje tworzenia wpisu tajnego w portalu środowiska operacji.

Utwórz plik Bicep .bicep z następującą zawartością.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Następnie wdróż za pomocą interfejsu wiersza polecenia platformy Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Utwórz plik manifestu .yaml kubernetes z następującą zawartością.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Następnie zastosuj plik manifestu do klastra Kubernetes.

kubectl apply -f <FILE>.yaml

Dostępne metody uwierzytelniania

Następujące metody uwierzytelniania są dostępne dla punktów końcowych usługi Azure Data Lake Storage Gen2.

Tożsamość zarządzana przypisana przez system

Przed skonfigurowaniem punktu końcowego przepływu danych przypisz rolę do tożsamości zarządzanej operacje usługi Azure IoT, która udziela uprawnień do zapisu na koncie magazynu:

W witrynie Azure Portal przejdź do wystąpienia operacji usługi Azure IoT i wybierz pozycję Przegląd.
Skopiuj nazwę rozszerzenia wymienionego po rozszerzeniu Usługi Azure IoT Operations Arc. Na przykład azure-iot-operations-xxxx7.
Przejdź do zasobu w chmurze, który musisz udzielić uprawnień. Na przykład przejdź do pozycji Kontrola dostępu do konta >usługi Azure Storage (IAM)>Dodawanie przypisania roli.
Na karcie Rola wybierz odpowiednią rolę.
Na karcie Członkowie w polu Przypisz dostęp do wybierz opcję Użytkownik, grupa lub jednostka usługi, a następnie wybierz pozycję + Wybierz członków i wyszukaj tożsamość zarządzaną operacji usługi Azure IoT Operations. Na przykład azure-iot-operations-xxxx7.

Następnie skonfiguruj punkt końcowy przepływu danych przy użyciu ustawień tożsamości zarządzanej przypisanej przez system.

Na stronie ustawienia punktu końcowego przepływu danych środowiska operacji wybierz kartę Podstawowa, a następnie wybierz pozycję Metoda>uwierzytelniania Przypisana tożsamość zarządzana przez system.

W większości przypadków nie trzeba określać odbiorców usług. Nieokreślij odbiorców tworzy tożsamość zarządzaną z domyślnym zakresem odbiorców na koncie magazynu.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Jeśli musisz zastąpić grupę odbiorców tożsamości zarządzanej przypisanej przez system, możesz określić audience ustawienie.

W większości przypadków nie trzeba określać odbiorców usług. Nieokreślij odbiorców tworzy tożsamość zarządzaną z domyślnym zakresem odbiorców na koncie magazynu.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Tożsamość zarządzana przypisana przez użytkownika

Aby użyć tożsamości zarządzanej przypisanej przez użytkownika do uwierzytelniania, należy najpierw wdrożyć operacje usługi Azure IoT z włączonymi bezpiecznymi ustawieniami. Następnie należy skonfigurować tożsamość zarządzaną przypisaną przez użytkownika dla połączeń w chmurze. Aby dowiedzieć się więcej, zobacz Włączanie bezpiecznych ustawień we wdrożeniu operacji usługi Azure IoT.

Przed skonfigurowaniem punktu końcowego przepływu danych przypisz rolę do tożsamości zarządzanej przypisanej przez użytkownika, która udziela uprawnień do zapisu na koncie magazynu:

W witrynie Azure Portal przejdź do zasobu w chmurze, który musisz udzielić uprawnień. Na przykład przejdź do pozycji Kontrola dostępu do konta >usługi Azure Storage (IAM)>Dodawanie przypisania roli.
Na karcie Rola wybierz odpowiednią rolę.
Na karcie Członkowie w polu Przypisz dostęp do wybierz opcję Tożsamość zarządzana, a następnie wybierz pozycję + Wybierz członków i wyszukaj tożsamość zarządzaną przypisaną przez użytkownika.

Następnie skonfiguruj punkt końcowy przepływu danych przy użyciu ustawień tożsamości zarządzanej przypisanej przez użytkownika.

Wprowadź identyfikator klienta tożsamości zarządzanej przypisanej przez użytkownika i identyfikator dzierżawy w odpowiednich polach.

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

W tym miejscu zakres jest opcjonalny i domyślnie ma wartość https://storage.azure.com/.default. Jeśli musisz zastąpić zakres domyślny, określ scope ustawienie za pośrednictwem manifestu Bicep lub Kubernetes.

Token dostępu

Użycie tokenu dostępu jest alternatywną metodą uwierzytelniania. Ta metoda wymaga utworzenia wpisu tajnego kubernetes z tokenem SAS i odwołania się do wpisu tajnego w zasobie DataflowEndpoint .

Uzyskaj token SAS dla konta usługi Azure Data Lake Storage Gen2 (ADLSv2). Na przykład użyj witryny Azure Portal, aby przejść do konta magazynu. W menu po lewej stronie wybierz pozycję Zabezpieczenia i sieć>Sygnatura dostępu współdzielonego. Użyj poniższej tabeli, aby ustawić wymagane uprawnienia.

Parametr	Włączone ustawienie
Dozwolone usługi	Obiekt blob
Dozwolone typy zasobów	Obiekt, kontener
Dozwolone uprawnienia	Odczyt, zapis, usuwanie, lista, tworzenie

Aby zwiększyć bezpieczeństwo i postępować zgodnie z zasadą najniższych uprawnień, możesz wygenerować token SAS dla określonego kontenera. Aby zapobiec błędom uwierzytelniania, upewnij się, że kontener określony w tokenie SAS jest zgodny z ustawieniem docelowym przepływu danych w konfiguracji.

Ważne

Aby można było zarządzać wpisami tajnymi za pomocą portalu obsługi operacji, najpierw należy włączyć operacje usługi Azure IoT z bezpiecznymi ustawieniami, konfigurując usługę Azure Key Vault i włączając tożsamości obciążeń. Aby dowiedzieć się więcej, zobacz Włączanie bezpiecznych ustawień we wdrożeniu operacji usługi Azure IoT.

Na stronie ustawienia punktu końcowego przepływu danych środowiska operacji wybierz kartę Podstawowa, a następnie wybierz pozycję Token dostępu metody>uwierzytelniania.

W tym miejscu w obszarze Zsynchronizowana nazwa wpisu tajnego wprowadź nazwę wpisu tajnego. Ta nazwa służy do odwołowania się do wpisu tajnego w ustawieniach punktu końcowego przepływu danych i jest nazwą wpisu tajnego przechowywanego w klastrze Kubernetes.

Następnie w obszarze Nazwa wpisu tajnego tokenu dostępu wybierz pozycję Dodaj odwołanie , aby dodać wpis tajny z usługi Azure Key Vault. Na następnej stronie wybierz wpis tajny z usługi Azure Key Vault z pozycją Dodaj z usługi Azure Key Vault lub Utwórz nowy wpis tajny.

W przypadku wybrania pozycji Utwórz nowy wprowadź następujące ustawienia:

Ustawienie	opis
Nazwa wpisu tajnego	Nazwa wpisu tajnego w usłudze Azure Key Vault. Wybierz nazwę, która jest łatwa do zapamiętania, aby wybrać wpis tajny później z listy.
Wartość wpisu tajnego	Token SAS w formacie `'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'`.
Ustawianie daty aktywacji	Jeśli jest włączona, data, gdy wpis tajny stanie się aktywny.
Ustawianie daty wygaśnięcia	Jeśli jest włączona, data wygaśnięcia wpisu tajnego.

Aby dowiedzieć się więcej na temat wpisów tajnych, zobacz Tworzenie wpisów tajnych i zarządzanie nimi w operacjach usługi Azure IoT.

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Utwórz wpis tajny kubernetes z tokenem SAS.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Ustawienia zaawansowane

Możesz ustawić zaawansowane ustawienia punktu końcowego usługi Azure Data Lake Storage Gen2, takie jak opóźnienie wsadowe i liczba komunikatów.

batching Użyj ustawień, aby skonfigurować maksymalną liczbę komunikatów i maksymalne opóźnienie przed wysłaniem komunikatów do miejsca docelowego. To ustawienie jest przydatne, gdy chcesz zoptymalizować przepustowość sieci i zmniejszyć liczbę żądań do miejsca docelowego.

Pole	opis	Wymagania
`latencySeconds`	Maksymalna liczba sekund oczekiwania przed wysłaniem komunikatów do miejsca docelowego. Wartość domyślna to 60 sekund.	Nie.
`maxMessages`	Maksymalna liczba komunikatów do wysłania do miejsca docelowego. Wartość domyślna to 100000 komunikatów.	Nie.

Aby na przykład skonfigurować maksymalną liczbę komunikatów do 1000 i maksymalne opóźnienie do 100 sekund, użyj następujących ustawień:

W środowisku operacji wybierz kartę Zaawansowane dla punktu końcowego przepływu danych.

Zrzut ekranu przedstawiający używanie środowiska operacji do ustawiania ustawień zaawansowanych usługi ADLS w wersji 2.

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Następne kroki

Aby dowiedzieć się więcej na temat przepływów danych, zobacz Tworzenie przepływu danych.
Aby zapoznać się z samouczkiem dotyczącym używania przepływu danych do wysyłania danych do usługi Azure Data Lake Storage Gen2, zobacz Samouczek: wysyłanie danych do usługi Azure Data Lake Storage Gen2.

Udostępnij za pośrednictwem