Gegevensstroomeindpunten configureren voor Azure Data Lake Storage Gen2

Artikel
11/20/2024

Belangrijk

Deze pagina bevat instructies voor het beheren van Azure IoT Operations-onderdelen met behulp van Kubernetes-implementatiemanifesten, die in preview zijn. Deze functie is voorzien van verschillende beperkingen en mag niet worden gebruikt voor productieworkloads.

Raadpleeg de Aanvullende voorwaarden voor Microsoft Azure-previews voor juridische voorwaarden die van toepassing zijn op Azure-functies die in bèta of preview zijn of die anders nog niet algemeen beschikbaar zijn.

Als u gegevens wilt verzenden naar Azure Data Lake Storage Gen2 in Azure IoT Operations, kunt u een gegevensstroomeindpunt configureren. Met deze configuratie kunt u het doeleindpunt, de verificatiemethode, de tabel en andere instellingen opgeven.

Vereisten

Een exemplaar van Azure IoT-bewerkingen
Een Azure Data Lake Storage Gen2-account
Een vooraf gemaakte opslagcontainer in het opslagaccount

Machtiging toewijzen aan beheerde identiteit

Als u een gegevensstroomeindpunt wilt configureren voor Azure Data Lake Storage Gen2, raden we u aan een door de gebruiker toegewezen of door het systeem toegewezen beheerde identiteit te gebruiken. Deze methode is veilig en elimineert de noodzaak om referenties handmatig te beheren.

Nadat De Azure Data Lake Storage Gen2 is gemaakt, moet u een rol toewijzen aan de beheerde identiteit van Azure IoT Operations die machtigingen verleent om naar het opslagaccount te schrijven.

Als u een door het systeem toegewezen beheerde identiteit gebruikt, gaat u in Azure Portal naar uw Azure IoT Operations-exemplaar en selecteert u Overzicht. Kopieer de naam van de extensie die wordt vermeld na de Azure IoT Operations Arc-extensie. Bijvoorbeeld azure-iot-operations-xxxx7. Uw door het systeem toegewezen beheerde identiteit vindt u met dezelfde naam van de Azure IoT Operations Arc-extensie.

Ga vervolgens naar het Toegangsbeheer voor Azure Storage-accounts >(IAM)>Roltoewijzing toevoegen.

Selecteer op het tabblad Rol een geschikte rol, zoals Storage Blob Data Contributor. Hiermee krijgt de beheerde identiteit de benodigde machtigingen om naar de Azure Storage-blobcontainers te schrijven. Zie Toegang tot blobs autoriseren met behulp van Microsoft Entra-id voor meer informatie.
Op het tabblad Leden :
1. Als u een door het systeem toegewezen beheerde identiteit gebruikt, selecteert u voor Toegang toewijzen aan, selecteert u de optie Gebruiker, groep of service-principal, selecteert u + Leden selecteren en zoekt u naar de naam van de Azure IoT Operations Arc-extensie.
2. Als u een door de gebruiker toegewezen beheerde identiteit gebruikt, selecteert u de optie Beheerde identiteit toewijzen, selecteert u +Leden selecteren en zoekt u naar uw door de gebruiker toegewezen beheerde identiteit die is ingesteld voor cloudverbindingen.

Een gegevensstroomeindpunt maken voor Azure Data Lake Storage Gen2

Selecteer in de IoT Operations-portal het tabblad Gegevensstroomeindpunten .
Selecteer onder Nieuw gegevensstroomeindpunt maken de optie Azure Data Lake Storage (tweede generatie)>Nieuw.

Voer de volgende instellingen in voor het eindpunt:

Instelling	Omschrijving
Naam	De naam van het gegevensstroomeindpunt.
Host	De hostnaam van het Azure Data Lake Storage Gen2-eindpunt in de indeling `<account>.blob.core.windows.net`. Vervang de tijdelijke aanduiding voor het account door de naam van het eindpuntaccount.
Verificatiemethode	De methode die wordt gebruikt voor verificatie. U wordt aangeraden door het systeem toegewezen beheerde identiteit of door de gebruiker toegewezen beheerde identiteit te kiezen.
Client ID	De client-id van de door de gebruiker toegewezen beheerde identiteit. Vereist als u door de gebruiker toegewezen beheerde identiteit gebruikt.
Tenant-id	De tenant-id van de door de gebruiker toegewezen beheerde identiteit. Vereist als u door de gebruiker toegewezen beheerde identiteit gebruikt.
Naam van toegangstokengeheim	De naam van het Kubernetes-geheim met het SAS-token. Vereist als u toegangstoken gebruikt.

Selecteer Toepassen om het eindpunt in te richten.

Maak een Bicep-bestand .bicep met de volgende inhoud.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Implementeer vervolgens via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Maak een Kubernetes-manifestbestand .yaml met de volgende inhoud.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Pas vervolgens het manifestbestand toe op het Kubernetes-cluster.

kubectl apply -f <FILE>.yaml

Toegangstokenverificatie gebruiken

Volg de stappen in de sectie toegangstoken om een SAS-token voor het opslagaccount op te halen en op te slaan in een Kubernetes-geheim.

Maak vervolgens de DataflowEndpoint-resource en geef de verificatiemethode voor toegangstokens op. <SAS_SECRET_NAME> Vervang hier de naam van het geheim met het SAS-token en andere tijdelijke aanduidingen.

Zie de sectie toegangstoken voor stappen voor het maken van een geheim in de operations experience-portal.

Maak een Bicep-bestand .bicep met de volgende inhoud.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Implementeer vervolgens via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Maak een Kubernetes-manifestbestand .yaml met de volgende inhoud.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Pas vervolgens het manifestbestand toe op het Kubernetes-cluster.

kubectl apply -f <FILE>.yaml

Beschikbare verificatiemethoden

De volgende verificatiemethoden zijn beschikbaar voor Azure Data Lake Storage Gen2-eindpunten.

Door het systeem toegewezen beheerde identiteit

Voordat u het eindpunt voor de gegevensstroom configureert, wijst u een rol toe aan de beheerde identiteit van Azure IoT Operations die machtigingen verleent voor het schrijven naar het opslagaccount:

Ga in Azure Portal naar uw Azure IoT Operations-exemplaar en selecteer Overzicht.
Kopieer de naam van de extensie die wordt vermeld na de Azure IoT Operations Arc-extensie. Bijvoorbeeld azure-iot-operations-xxxx7.
Ga naar de cloudresource die u machtigingen moet verlenen. Ga bijvoorbeeld naar toegangsbeheer voor Azure Storage-accounts >(IAM)>Roltoewijzing toevoegen.
Selecteer op het tabblad Rol een geschikte rol.
Selecteer op het tabblad Leden voor Toegang toewijzen aan, selecteer de optie Gebruiker, groep of service-principal en selecteer vervolgens + Leden selecteren en zoek naar de beheerde identiteit van Azure IoT Operations. Bijvoorbeeld azure-iot-operations-xxxx7.

Configureer vervolgens het gegevensstroomeindpunt met door het systeem toegewezen beheerde identiteitsinstellingen.

Selecteer op de pagina eindpuntinstellingen voor gegevensstroombewerkingen het tabblad Basis en kies vervolgens de door het systeem toegewezen beheerde identiteit van de verificatiemethode>.

In de meeste gevallen hoeft u geen servicedoelgroep op te geven. Als u geen doelgroep opgeeft, wordt er een beheerde identiteit gemaakt met de standaarddoelgroep die is afgestemd op uw opslagaccount.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Als u de door het systeem toegewezen beheerde identiteit wilt overschrijven, kunt u de audience instelling opgeven.

In de meeste gevallen hoeft u geen servicedoelgroep op te geven. Als u geen doelgroep opgeeft, wordt er een beheerde identiteit gemaakt met de standaarddoelgroep die is afgestemd op uw opslagaccount.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Door de gebruiker toegewezen beheerde identiteit

Als u door de gebruiker toegewezen beheerde identiteit wilt gebruiken voor verificatie, moet u Eerst Azure IoT Operations implementeren met beveiligde instellingen ingeschakeld. Vervolgens moet u een door de gebruiker toegewezen beheerde identiteit instellen voor cloudverbindingen. Zie Beveiligde instellingen inschakelen in azure IoT Operations-implementatie voor meer informatie.

Voordat u het gegevensstroomeindpunt configureert, wijst u een rol toe aan de door de gebruiker toegewezen beheerde identiteit die machtigingen verleent voor het schrijven naar het opslagaccount:

Ga in Azure Portal naar de cloudresource die u moet verlenen. Ga bijvoorbeeld naar toegangsbeheer voor Azure Storage-accounts >(IAM)>Roltoewijzing toevoegen.
Selecteer op het tabblad Rol een geschikte rol.
Selecteer op het tabblad Leden, voor Toegang toewijzen, de optie Beheerde identiteit toewijzen, selecteer vervolgens + Leden selecteren en zoek naar uw door de gebruiker toegewezen beheerde identiteit.

Configureer vervolgens het gegevensstroomeindpunt met door de gebruiker toegewezen beheerde identiteitsinstellingen.

Selecteer op de pagina eindpuntinstellingen voor gegevensstroombewerkingen het tabblad Basic en kies vervolgens verificatiemethode>door de gebruiker toegewezen beheerde identiteit.

Voer de door de gebruiker toegewezen client-id en tenant-id in de juiste velden in.

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Hier is het bereik optioneel en wordt standaard ingesteld op https://storage.azure.com/.default. Als u het standaardbereik wilt overschrijven, geeft u de scope instelling op via het Bicep- of Kubernetes-manifest.

Toegangstoken

Het gebruik van een toegangstoken is een alternatieve verificatiemethode. Voor deze methode moet u een Kubernetes-geheim maken met het SAS-token en naar het geheim verwijzen in de DataflowEndpoint-resource .

Haal een SAS-token op voor een ADLSv2-account (Azure Data Lake Storage Gen2). Gebruik bijvoorbeeld Azure Portal om naar uw opslagaccount te bladeren. Kies in het linkermenu De handtekening voor gedeelde toegang voor Beveiliging en netwerken>. Gebruik de volgende tabel om de vereiste machtigingen in te stellen.

Parameter	Instelling ingeschakeld
Toegestane services	Blob
Toegestane brontypen	Object, Container
Toegestane machtigingen	Lezen, schrijven, verwijderen, lijst, maken

Als u de beveiliging wilt verbeteren en het principe van minimale bevoegdheden wilt volgen, kunt u een SAS-token genereren voor een specifieke container. Om verificatiefouten te voorkomen, moet u ervoor zorgen dat de container die is opgegeven in het SAS-token overeenkomt met de doelinstelling voor de gegevensstroom in de configuratie.

Belangrijk

Als u de portal voor bewerkingservaring wilt gebruiken om geheimen te beheren, moet Azure IoT Operations eerst worden ingeschakeld met beveiligde instellingen door een Azure Key Vault te configureren en workloadidentiteiten in te schakelen. Zie Beveiligde instellingen inschakelen in azure IoT Operations-implementatie voor meer informatie.

Selecteer op de pagina eindpuntinstellingen voor gegevensstroombewerkingen het tabblad Basis en kies vervolgens het toegangstoken voor verificatiemethode>.

Voer hier onder Gesynchroniseerde geheime naam een naam in voor het geheim. Deze naam wordt gebruikt om te verwijzen naar het geheim in de instellingen voor het gegevensstroomeindpunt en is de naam van het geheim dat is opgeslagen in het Kubernetes-cluster.

Selecteer vervolgens onder De naam van het toegangstokengeheim verwijzing toevoegen om het geheim toe te voegen vanuit Azure Key Vault. Selecteer op de volgende pagina het geheim uit Azure Key Vault met Toevoegen uit Azure Key Vault of Maak een nieuw geheim.

Als u Nieuwe maken selecteert, voert u de volgende instellingen in:

Instelling	Beschrijving
Geheime naam	De naam van het geheim in Azure Key Vault. Kies een naam die u gemakkelijk kunt onthouden om het geheim later in de lijst te selecteren.
Geheime waarde	Het SAS-token in de indeling van `'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'`.
Activeringsdatum instellen	Als dit is ingeschakeld, wordt de datum waarop het geheim actief wordt.
Vervaldatum instellen	Als dit is ingeschakeld, wordt de datum waarop het geheim verloopt.

Zie Geheimen maken en beheren in Azure IoT Operations voor meer informatie over geheimen.

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Maak een Kubernetes-geheim met het SAS-token.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Geavanceerde instellingen

U kunt geavanceerde instellingen instellen voor het Azure Data Lake Storage Gen2-eindpunt, zoals de batchlatentie en het aantal berichten.

Gebruik de batching instellingen om het maximum aantal berichten en de maximale latentie te configureren voordat de berichten naar het doel worden verzonden. Deze instelling is handig als u wilt optimaliseren voor netwerkbandbreedte en het aantal aanvragen naar de bestemming wilt verminderen.

Veld	Beschrijving	Vereist
`latencySeconds`	Het maximum aantal seconden dat moet worden gewacht voordat de berichten naar de bestemming worden verzonden. De standaardwaarde is 60 seconden.	Nee
`maxMessages`	Het maximum aantal berichten dat naar de bestemming moet worden verzonden. De standaardwaarde is 100000 berichten.	Nee

Als u bijvoorbeeld het maximum aantal berichten wilt configureren op 1000 en de maximale latentie tot 100 seconden, gebruikt u de volgende instellingen:

Selecteer in de bewerkingservaring het tabblad Geavanceerd voor het gegevensstroomeindpunt.

Schermopname van de bewerkingservaring voor het instellen van geavanceerde ADLS V2-instellingen.

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Volgende stappen

Zie Een gegevensstroom maken voor meer informatie over gegevensstromen.
Voor een zelfstudie over het gebruik van een gegevensstroom voor het verzenden van gegevens naar Azure Data Lake Storage Gen2 raadpleegt u zelfstudie: Gegevens verzenden naar Azure Data Lake Storage Gen2.

Delen via