Configurare gli endpoint del flusso di dati per Azure Data Lake Storage Gen2

Importante

Questa pagina include istruzioni per la gestione dei componenti di Operazioni IoT di Azure usando i manifesti di distribuzione kubernetes, disponibile in anteprima. Questa funzionalità viene fornita con diverse limitazioni e non deve essere usata per i carichi di lavoro di produzione.

Vedere le condizioni per l'utilizzo supplementari per le anteprime di Microsoft Azure per termini legali aggiuntivi che si applicano a funzionalità di Azure in versione beta, in anteprima o in altro modo non ancora disponibili a livello generale.

Per inviare dati ad Azure Data Lake Storage Gen2 in Operazioni IoT di Azure, è possibile configurare un endpoint del flusso di dati. Questa configurazione consente di specificare l'endpoint di destinazione, il metodo di autenticazione, la tabella e altre impostazioni.

Prerequisiti

• Istanza delle operazioni di Azure IoT
• Un account Azure Data Lake Storage Gen2
• Contenitore di archiviazione creato in modo predefinito nell'account di archiviazione

Assegnare l'autorizzazione all'identità gestita

Per configurare un endpoint del flusso di dati per Azure Data Lake Storage Gen2, è consigliabile usare un'identità gestita assegnata dall'utente o assegnata dal sistema. Questo approccio è sicuro ed elimina la necessità di gestire manualmente le credenziali.

Dopo aver creato Azure Data Lake Storage Gen2, è necessario assegnare un ruolo all'identità gestita di Operazioni IoT di Azure che concede l'autorizzazione per la scrittura nell'account di archiviazione.

Se si usa l'identità gestita assegnata dal sistema, in portale di Azure passare all'istanza di Operazioni IoT di Azure e selezionare Panoramica. Copiare il nome dell'estensione elencata dopo l'estensione Azure IoT Operations Arc. Ad esempio, azure-iot-operations-xxxx7. L'identità gestita assegnata dal sistema è disponibile usando lo stesso nome dell'estensione Azure IoT Operations Arc.

Passare quindi alla Archiviazione di Azure controllo di accesso dell'account >(IAM)>Aggiungi assegnazione di ruolo.

1. Nella scheda Ruolo selezionare un ruolo appropriato, ad esempio Storage Blob Data Contributor. In questo modo, l'identità gestita ha le autorizzazioni necessarie per scrivere nei contenitori BLOB Archiviazione di Azure. Per altre informazioni, vedere Autorizzare l'accesso ai BLOB usando Microsoft Entra ID.
2. Nella scheda Membri :
   1. Se si usa l'identità gestita assegnata dal sistema, per Assegna accesso a, selezionare l'opzione Utente, gruppo o entità servizio, quindi selezionare + Seleziona membri e cercare il nome dell'estensione Azure IoT Operations Arc.
   2. Se si usa l'identità gestita assegnata dall'utente, per Assegna accesso a, selezionare l'opzione Identità gestita, quindi selezionare + Seleziona membri e cercare l'identità gestita assegnata dall'utente configurata per le connessioni cloud.

Creare un endpoint del flusso di dati per Azure Data Lake Storage Gen2

Portale

1. Nel portale operazioni IoT selezionare la scheda Endpoint flusso di dati.

2. In Crea nuovo endpoint del flusso di dati selezionare Azure Data Lake Storage (seconda generazione)>Nuovo.

   

3. Immettere le impostazioni seguenti per l'endpoint:

   Impostazione	Description
   Name	Nome dell'endpoint del flusso di dati.
   Host	Nome host dell'endpoint di Azure Data Lake Storage Gen2 nel formato <account>.blob.core.windows.net. Sostituire il segnaposto dell'account con il nome dell'account endpoint.
   Metodo di autenticazione	Metodo utilizzato per l'autenticazione. È consigliabile scegliere Identità gestita assegnata dal sistema o Identità gestita assegnata dall'utente.
   ID client	ID client dell'identità gestita assegnata dall'utente. Obbligatorio se si usa l'identità gestita assegnata dall'utente.
   ID tenant	ID tenant dell'identità gestita assegnata dall'utente. Obbligatorio se si usa l'identità gestita assegnata dall'utente.
   Nome del segreto del token di accesso	Nome del segreto Kubernetes contenente il token di firma di accesso condiviso. Obbligatorio se si usa il token di accesso.

4. Selezionare Applica per effettuare il provisioning dell'endpoint.

Bicep

Creare un file Bicep .bicep con il contenuto seguente.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Distribuire quindi tramite l'interfaccia della riga di comando di Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (anteprima)

Creare un file manifesto .yaml Kubernetes con il contenuto seguente.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Applicare quindi il file manifesto al cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Usare l'autenticazione del token di accesso

Seguire la procedura descritta nella sezione token di accesso per ottenere un token di firma di accesso condiviso per l'account di archiviazione e archiviarlo in un segreto Kubernetes.

Creare quindi la risorsa DataflowEndpoint e specificare il metodo di autenticazione del token di accesso. In questo caso <SAS_SECRET_NAME> sostituire con il nome del segreto contenente il token di firma di accesso condiviso e altri valori segnaposto.

Portale

Vedere la sezione token di accesso per la procedura per creare un segreto nel portale dell'esperienza operativa.

Bicep

Creare un file Bicep .bicep con il contenuto seguente.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Distribuire quindi tramite l'interfaccia della riga di comando di Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (anteprima)

Creare un file manifesto .yaml Kubernetes con il contenuto seguente.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Applicare quindi il file manifesto al cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Metodi di autenticazione disponibili

Per gli endpoint di Azure Data Lake Storage Gen2 sono disponibili i metodi di autenticazione seguenti.

Identità gestita assegnata dal sistema

Prima di configurare l'endpoint del flusso di dati, assegnare un ruolo all'identità gestita di Operazioni IoT di Azure che concede l'autorizzazione per la scrittura nell'account di archiviazione:

1. In portale di Azure passare all'istanza di Operazioni IoT di Azure e selezionare Panoramica.
2. Copiare il nome dell'estensione elencata dopo l'estensione Azure IoT Operations Arc. Ad esempio, azure-iot-operations-xxxx7.
3. Passare alla risorsa cloud necessaria per concedere le autorizzazioni. Ad esempio, passare alla Archiviazione di Azure account >Controllo di accesso (IAM)>Aggiungi assegnazione di ruolo.
4. Nella scheda Ruolo selezionare un ruolo appropriato.
5. Nella scheda Membri , per Assegna accesso a, selezionare l'opzione Utente, gruppo o entità servizio, quindi selezionare + Seleziona membri e cercare l'identità gestita di Operazioni IoT di Azure. Ad esempio, azure-iot-operations-xxxx7.

Configurare quindi l'endpoint del flusso di dati con le impostazioni di identità gestite assegnate dal sistema.

Portale

Nella pagina Delle impostazioni dell'endpoint del flusso di dati dell'esperienza operativa selezionare la scheda Basic e quindi scegliere Metodo di>autenticazione Identità gestita assegnata dal sistema.

Nella maggior parte dei casi, non è necessario specificare un gruppo di destinatari del servizio. Se non si specifica un gruppo di destinatari, viene creata un'identità gestita con l'ambito del gruppo di destinatari predefinito con l'account di archiviazione.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (anteprima)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Se è necessario eseguire l'override del gruppo di destinatari dell'identità gestita assegnata dal sistema, è possibile specificare l'impostazione audience .

Portale

Nella maggior parte dei casi, non è necessario specificare un gruppo di destinatari del servizio. Se non si specifica un gruppo di destinatari, viene creata un'identità gestita con l'ambito del gruppo di destinatari predefinito con l'account di archiviazione.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

Kubernetes (anteprima)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Identità gestita assegnata dall'utente

Per usare l'identità gestita assegnata dall'utente per l'autenticazione, è prima necessario distribuire le operazioni IoT di Azure con impostazioni sicure abilitate. È quindi necessario configurare un'identità gestita assegnata dall'utente per le connessioni cloud. Per altre informazioni, vedere Abilitare le impostazioni sicure nella distribuzione di Operazioni IoT di Azure.

Prima di configurare l'endpoint del flusso di dati, assegnare un ruolo all'identità gestita assegnata dall'utente che concede l'autorizzazione per la scrittura nell'account di archiviazione:

1. In portale di Azure passare alla risorsa cloud necessaria per concedere le autorizzazioni. Ad esempio, passare alla Archiviazione di Azure account >Controllo di accesso (IAM)>Aggiungi assegnazione di ruolo.
2. Nella scheda Ruolo selezionare un ruolo appropriato.
3. Nella scheda Membri selezionare l'opzione Identità gestita per Assegnare l'accesso, quindi selezionare + Seleziona membri e cercare l'identità gestita assegnata dall'utente.

Configurare quindi l'endpoint del flusso di dati con le impostazioni di identità gestite assegnate dall'utente.

Portale

Nella pagina Delle impostazioni dell'endpoint del flusso di dati dell'esperienza operativa selezionare la scheda Basic e quindi scegliere Metodo di autenticazione>Identità gestita assegnata dall'utente.

Immettere l'ID client dell'identità gestita assegnata dall'utente e l'ID tenant nei campi appropriati.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

Kubernetes (anteprima)

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

In questo caso, l'ambito è facoltativo e l'impostazione predefinita è https://storage.azure.com/.default. Se è necessario eseguire l'override dell'ambito predefinito, specificare l'impostazione scope tramite il manifesto Bicep o Kubernetes.

Token di accesso

L'uso di un token di accesso è un metodo di autenticazione alternativo. Questo metodo richiede di creare un segreto Kubernetes con il token di firma di accesso condiviso e fare riferimento al segreto nella risorsa DataflowEndpoint .

Ottenere un token di firma di accesso condiviso per un account Azure Data Lake Storage Gen2 (ADLSv2). Ad esempio, usare il portale di Azure per passare all'account di archiviazione. Nel menu a sinistra scegliere Sicurezza e rete>Firma di accesso condiviso. Usare la tabella seguente per impostare le autorizzazioni necessarie.

Parametro	Impostazione abilitata
Servizi consentiti	BLOB
Tipi di risorse consentiti	Oggetto, contenitore
Autorizzazioni consentite	Lettura, scrittura, eliminazione, elenco, creazione

Per migliorare la sicurezza e seguire il principio dei privilegi minimi, è possibile generare un token di firma di accesso condiviso per un contenitore specifico. Per evitare errori di autenticazione, assicurarsi che il contenitore specificato nel token di firma di accesso condiviso corrisponda all'impostazione di destinazione del flusso di dati nella configurazione.

Portale

Importante

Per usare il portale dell'esperienza operativa per gestire i segreti, le operazioni IoT di Azure devono prima essere abilitate con impostazioni sicure configurando un insieme di credenziali delle chiavi di Azure e abilitando le identità del carico di lavoro. Per altre informazioni, vedere Abilitare le impostazioni sicure nella distribuzione di Operazioni IoT di Azure.

Nella pagina Delle impostazioni dell'endpoint del flusso di dati dell'esperienza operativa selezionare la scheda Basic e quindi scegliere Authentication method Access token (Token di accesso al metodo>di autenticazione).

In Nome segreto sincronizzato immettere un nome per il segreto. Questo nome viene usato per fare riferimento al segreto nelle impostazioni dell'endpoint del flusso di dati e è il nome del segreto archiviato nel cluster Kubernetes.

Quindi, in Nome segreto token di accesso selezionare Aggiungi riferimento per aggiungere il segreto da Azure Key Vault. Nella pagina successiva selezionare il segreto da Azure Key Vault con Aggiungi da Azure Key Vault o Crea nuovo segreto.

Se si seleziona Crea nuovo, immettere le impostazioni seguenti:

Impostazione	Descrizione
Nome segreto	Nome del segreto in Azure Key Vault. Selezionare un nome facile da ricordare per selezionare il segreto in un secondo momento dall'elenco.
Valore segreto	Token di firma di accesso condiviso nel formato .'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'
Impostare la data di attivazione	Se attivata, data in cui il segreto diventa attivo.
Impostare la data di scadenza	Se attivata, data di scadenza del segreto.

Per altre informazioni sui segreti, vedere Creare e gestire segreti nelle operazioni IoT di Azure.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Kubernetes (anteprima)

Creare un segreto Kubernetes con il token di firma di accesso condiviso.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Impostazioni avanzate

È possibile impostare impostazioni avanzate per l'endpoint di Azure Data Lake Storage Gen2, ad esempio la latenza di invio in batch e il numero di messaggi.

Usare le batching impostazioni per configurare il numero massimo di messaggi e la latenza massima prima che i messaggi vengano inviati alla destinazione. Questa impostazione è utile quando si vuole ottimizzare la larghezza di banda di rete e ridurre il numero di richieste alla destinazione.

Campo	Descrizione	Richiesto
latencySeconds	Numero massimo di secondi di attesa prima dell'invio dei messaggi alla destinazione. Il valore predefinito è 60 secondi.	No
maxMessages	Numero massimo di messaggi da inviare alla destinazione. Il valore predefinito è 100000 messaggi.	No

Ad esempio, per configurare il numero massimo di messaggi su 1000 e la latenza massima a 100 secondi, usare le impostazioni seguenti:

Portale

Nell'esperienza operativa selezionare la scheda Avanzate per l'endpoint del flusso di dati.

Bicep

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (anteprima)

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Passaggi successivi

• Per altre informazioni sui flussi di dati, vedere Creare un flusso di dati.
• Per un'esercitazione su come usare un flusso di dati per inviare dati ad Azure Data Lake Storage Gen2, vedere Esercitazione: Inviare dati ad Azure Data Lake Storage Gen2.