Konfigurera dataflödesslutpunkter för Azure Data Lake Storage Gen2

Artikel
11/20/2024

Viktigt!

Den här sidan innehåller instruktioner för att hantera Azure IoT Operations-komponenter med hjälp av Kubernetes-distributionsmanifest, som finns i förhandsversion. Den här funktionen har flera begränsningar och bör inte användas för produktionsarbetsbelastningar.

Juridiska villkor för Azure-funktioner i betaversion, förhandsversion eller som av någon annan anledning inte har gjorts allmänt tillgängliga ännu finns i kompletterande användningsvillkor för Microsoft Azure-förhandsversioner.

Om du vill skicka data till Azure Data Lake Storage Gen2 i Azure IoT Operations kan du konfigurera en dataflödesslutpunkt. Med den här konfigurationen kan du ange målslutpunkt, autentiseringsmetod, tabell och andra inställningar.

Förutsättningar

En instans av Azure IoT Operations
Ett Azure Data Lake Storage Gen2-konto
En fördefinierad lagringscontainer i lagringskontot

Tilldela behörighet till hanterad identitet

För att konfigurera en dataflödesslutpunkt för Azure Data Lake Storage Gen2 rekommenderar vi att du använder antingen en användartilldelad eller systemtilldelad hanterad identitet. Den här metoden är säker och eliminerar behovet av att hantera autentiseringsuppgifter manuellt.

När Azure Data Lake Storage Gen2 har skapats måste du tilldela en roll till den hanterade Azure IoT Operations-identiteten som ger behörighet att skriva till lagringskontot.

Om du använder systemtilldelad hanterad identitet går du till din Azure IoT Operations-instans i Azure Portal och väljer Översikt. Kopiera namnet på tillägget som visas efter Azure IoT Operations Arc-tillägget. Till exempel azure-iot-operations-xxxx7. Du hittar din systemtilldelade hanterade identitet med samma namn som Azure IoT Operations Arc-tillägget.

Gå sedan till Azure Storage-kontot >Åtkomstkontroll (IAM)>Lägg till rolltilldelning.

På fliken Roll väljer du en lämplig roll som Storage Blob Data Contributor. Detta ger den hanterade identiteten de behörigheter som krävs för att skriva till Azure Storage-blobcontainrarna. Mer information finns i Auktorisera åtkomst till blobar med hjälp av Microsoft Entra-ID.
På fliken Medlemmar :
1. Om du använder systemtilldelad hanterad identitet för Tilldela åtkomst till väljer du Alternativet Användare, grupp eller tjänstens huvudnamn . Välj sedan + Välj medlemmar och sök efter namnet på Azure IoT Operations Arc-tillägget.
2. Om du använder användartilldelad hanterad identitet för Tilldela åtkomst till väljer du alternativet Hanterad identitet och väljer sedan + Välj medlemmar och söker efter din användartilldelade hanterade identitet som konfigurerats för molnanslutningar.

Skapa dataflödesslutpunkt för Azure Data Lake Storage Gen2

I IoT Operations-portalen väljer du fliken Dataflödesslutpunkter .
Under Skapa ny dataflödesslutpunkt väljer du Azure Data Lake Storage (andra generationen)>Ny.

Ange följande inställningar för slutpunkten:

Inställning	Description
Name	Namnet på dataflödesslutpunkten.
Host	Värdnamnet för Azure Data Lake Storage Gen2-slutpunkten i formatet `<account>.blob.core.windows.net`. Ersätt platshållaren för kontot med namnet på slutpunktens konto.
Autentiseringsmetod	Den metod som används för autentisering. Vi rekommenderar att du väljer Systemtilldelad hanterad identitet eller Användartilldelad hanterad identitet.
Client ID	Klient-ID för den användartilldelade hanterade identiteten. Krävs om du använder Användartilldelad hanterad identitet.
Klientorganisations-ID	Klientorganisations-ID för den användartilldelade hanterade identiteten. Krävs om du använder Användartilldelad hanterad identitet.
Namn på åtkomsttokenshemlighet	Namnet på Kubernetes-hemligheten som innehåller SAS-token. Krävs om du använder åtkomsttoken.

Välj Använd för att etablera slutpunkten.

Skapa en Bicep-fil .bicep med följande innehåll.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Distribuera sedan via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Skapa en Kubernetes-manifestfil .yaml med följande innehåll.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Tillämpa sedan manifestfilen på Kubernetes-klustret.

kubectl apply -f <FILE>.yaml

Använda autentisering med åtkomsttoken

Följ stegen i avsnittet åtkomsttoken för att hämta en SAS-token för lagringskontot och lagra den i en Kubernetes-hemlighet.

Skapa sedan resursen DataflowEndpoint och ange autentiseringsmetoden för åtkomsttoken. <SAS_SECRET_NAME> Ersätt här med namnet på hemligheten som innehåller SAS-token och andra platshållarvärden.

Se avsnittet åtkomsttoken för steg för att skapa en hemlighet i portalen för driftupplevelse.

Skapa en Bicep-fil .bicep med följande innehåll.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Distribuera sedan via Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Skapa en Kubernetes-manifestfil .yaml med följande innehåll.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Tillämpa sedan manifestfilen på Kubernetes-klustret.

kubectl apply -f <FILE>.yaml

Tillgängliga autentiseringsmetoder

Följande autentiseringsmetoder är tillgängliga för Azure Data Lake Storage Gen2-slutpunkter.

Systemtilldelad hanterad identitet

Innan du konfigurerar dataflödesslutpunkten tilldelar du en roll till den hanterade Azure IoT Operations-identiteten som ger behörighet att skriva till lagringskontot:

I Azure Portal går du till din Azure IoT Operations-instans och väljer Översikt.
Kopiera namnet på tillägget som visas efter Azure IoT Operations Arc-tillägget. Till exempel azure-iot-operations-xxxx7.
Gå till den molnresurs som du behöver för att bevilja behörigheter. Gå till exempel till Azure Storage-kontot >Åtkomstkontroll (IAM)>Lägg till rolltilldelning.
På fliken Roll väljer du en lämplig roll.
På fliken Medlemmar för Tilldela åtkomst till väljer du Alternativet Användare, grupp eller tjänstens huvudnamn och väljer sedan + Välj medlemmar och söker efter den hanterade Identiteten för Azure IoT Operations. Till exempel azure-iot-operations-xxxx7.

Konfigurera sedan dataflödesslutpunkten med systemtilldelade inställningar för hanterad identitet.

På sidan Inställningar för dataflödesslutpunkt för driftupplevelse väljer du fliken Grundläggande och väljer sedan Autentiseringsmetod>Systemtilldelad hanterad identitet.

I de flesta fall behöver du inte ange en tjänstpublik. Om du inte anger en målgrupp skapas en hanterad identitet med standardpubliken begränsad till ditt lagringskonto.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Om du behöver åsidosätta den systemtilldelade hanterade identitetspubliken kan du ange inställningen audience .

I de flesta fall behöver du inte ange en tjänstpublik. Om du inte anger en målgrupp skapas en hanterad identitet med standardpubliken begränsad till ditt lagringskonto.

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Användartilldelad hanterad identitet

Om du vill använda användartilldelad hanterad identitet för autentisering måste du först distribuera Azure IoT-åtgärder med säkra inställningar aktiverade. Sedan måste du konfigurera en användartilldelad hanterad identitet för molnanslutningar. Mer information finns i Aktivera säkra inställningar i Azure IoT Operations-distribution.

Innan du konfigurerar dataflödesslutpunkten tilldelar du en roll till den användartilldelade hanterade identiteten som ger behörighet att skriva till lagringskontot:

I Azure Portal går du till den molnresurs som du behöver för att bevilja behörigheter. Gå till exempel till Azure Storage-kontot >Åtkomstkontroll (IAM)>Lägg till rolltilldelning.
På fliken Roll väljer du en lämplig roll.
På fliken Medlemmar för Tilldela åtkomst till väljer du alternativet Hanterad identitet och väljer sedan + Välj medlemmar och söker efter din användartilldelade hanterade identitet.

Konfigurera sedan dataflödesslutpunkten med användartilldelade hanterade identitetsinställningar.

På sidan inställningar för dataflödesslutpunkt för driftupplevelse väljer du fliken Grundläggande och väljer sedan Autentiseringsmetod>Användartilldelad hanterad identitet.

Ange användartilldelat klient-ID för hanterad identitet och klient-ID i lämpliga fält.

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Här är omfånget valfritt och standardvärdet är https://storage.azure.com/.default. Om du behöver åsidosätta standardomfånget scope anger du inställningen via Bicep- eller Kubernetes-manifestet.

Åtkomsttoken

Att använda en åtkomsttoken är en alternativ autentiseringsmetod. Den här metoden kräver att du skapar en Kubernetes-hemlighet med SAS-token och refererar till hemligheten i DataflowEndpoint-resursen.

Hämta en SAS-token för ett Azure Data Lake Storage Gen2-konto (ADLSv2). Använd till exempel Azure Portal för att bläddra till ditt lagringskonto. Välj Säkerhet + nätverkssignatur> för delad åtkomst på den vänstra menyn. Använd följande tabell för att ange de behörigheter som krävs.

Parameter	Aktiverad inställning
Tillåtna tjänster	Blob
Tillåtna resurstyper	Objekt, container
Tillåtna behörigheter	Läsa, skriva, ta bort, lista, skapa

För att förbättra säkerheten och följa principen om minsta behörighet kan du generera en SAS-token för en specifik container. Om du vill förhindra autentiseringsfel kontrollerar du att containern som anges i SAS-token matchar dataflödesmålinställningen i konfigurationen.

Viktigt!

Om du vill använda operations experience-portalen för att hantera hemligheter måste Azure IoT Operations först aktiveras med säkra inställningar genom att konfigurera ett Azure Key Vault och aktivera arbetsbelastningsidentiteter. Mer information finns i Aktivera säkra inställningar i Azure IoT Operations-distribution.

På sidan inställningar för dataflödesslutpunkt för driftupplevelse väljer du fliken Grundläggande och väljer sedan Åtkomsttoken för autentiseringsmetod>.

Här, under Synkroniserat hemligt namn, anger du ett namn för hemligheten. Det här namnet används för att referera till hemligheten i inställningarna för dataflödesslutpunkten och är namnet på hemligheten som lagras i Kubernetes-klustret.

Under Åtkomsttokens hemliga namn väljer du Sedan Lägg till referens för att lägga till hemligheten från Azure Key Vault. På nästa sida väljer du hemligheten från Azure Key Vault med Lägg till från Azure Key Vault eller Skapa ny hemlighet.

Om du väljer Skapa ny anger du följande inställningar:

Inställning	beskrivning
Hemligt namn	Namnet på hemligheten i Azure Key Vault. Välj ett namn som är lätt att komma ihåg för att välja hemligheten senare i listan.
Hemligt värde	SAS-token i formatet `'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'`.
Ange aktiveringsdatum	Om den är aktiverad blir det datum då hemligheten aktiveras.
Ange förfallodatum	Om den är aktiverad upphör det datum då hemligheten upphör att gälla.

Mer information om hemligheter finns i Skapa och hantera hemligheter i Azure IoT Operations.

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Skapa en Kubernetes-hemlighet med SAS-token.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Avancerade inställningar

Du kan ange avancerade inställningar för Azure Data Lake Storage Gen2-slutpunkten, till exempel batchfördröjning och antal meddelanden.

batching Använd inställningarna för att konfigurera det maximala antalet meddelanden och den maximala svarstiden innan meddelandena skickas till målet. Den här inställningen är användbar när du vill optimera för nätverksbandbredd och minska antalet begäranden till målet.

Fält	beskrivning	Obligatoriskt
`latencySeconds`	Det maximala antalet sekunder att vänta innan meddelanden skickas till målet. Standardvärdet är 60 sekunder.	Nej
`maxMessages`	Det maximala antalet meddelanden som ska skickas till målet. Standardvärdet är 100000 meddelanden.	Nej

Om du till exempel vill konfigurera det maximala antalet meddelanden till 1 000 och den maximala svarstiden till 100 sekunder använder du följande inställningar:

I driftupplevelsen väljer du fliken Avancerat för dataflödesslutpunkten.

Skärmbild som använder driftsupplevelsen för att ange avancerade ADLS V2-inställningar.

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Nästa steg

Mer information om dataflöden finns i Skapa ett dataflöde.
En självstudiekurs om hur du använder ett dataflöde för att skicka data till Azure Data Lake Storage Gen2 finns i Självstudie: Skicka data till Azure Data Lake Storage Gen2.

Dela via