Konfigurace koncových bodů toku dat pro Azure Data Lake Storage Gen2

Důležité

Tato stránka obsahuje pokyny ke správě komponent operací Azure IoT pomocí manifestů nasazení Kubernetes, které jsou ve verzi Preview. Tato funkce je poskytována s několika omezeními a neměla by se používat pro produkční úlohy.

Právní podmínky, které platí pro funkce Azure, které jsou ve verzi beta, verzi Preview nebo které zatím nejsou veřejně dostupné, najdete v Dodatečných podmínkách použití pro Microsoft Azure verze Preview.

Pokud chcete odesílat data do Azure Data Lake Storage Gen2 v operacích Azure IoT, můžete nakonfigurovat koncový bod toku dat. Tato konfigurace umožňuje zadat cílový koncový bod, metodu ověřování, tabulku a další nastavení.

Požadavky

• Instance operací Azure IoT
• Účet Azure Data Lake Storage Gen2
• Předem vytvořený kontejner úložiště v účtu úložiště

Přiřazení oprávnění ke spravované identitě

Pokud chcete nakonfigurovat koncový bod toku dat pro Azure Data Lake Storage Gen2, doporučujeme použít spravovanou identitu přiřazenou uživatelem nebo systémem. Tento přístup je zabezpečený a eliminuje potřebu správy přihlašovacích údajů ručně.

Po vytvoření Azure Data Lake Storage Gen2 musíte přiřadit roli spravované identitě Azure IoT Operations, která uděluje oprávnění k zápisu do účtu úložiště.

Pokud používáte spravovanou identitu přiřazenou systémem, přejděte na webu Azure Portal do instance operací Azure IoT a vyberte Přehled. Zkopírujte název rozšíření uvedené za rozšířením Azure IoT Operations Arc. Například azure-iot-operations-xxxx7. Spravovanou identitu přiřazenou systémem najdete pomocí stejného názvu rozšíření Azure IoT Operations Arc.

Pak přejděte do řízení přístupu k účtu >Azure Storage (IAM)>Přidat přiřazení role.

1. Na kartě Role vyberte odpovídající roli, například Storage Blob Data Contributor. Díky tomu má spravovaná identita potřebná oprávnění k zápisu do kontejnerů objektů blob služby Azure Storage. Další informace najdete v tématu Autorizace přístupu k objektům blob pomocí ID Microsoft Entra.
2. Na kartě Členové:
   1. Pokud používáte spravovanou identitu přiřazenou systémem, pro přiřazení přístupu, vyberte možnost Uživatel, skupina nebo instanční objekt , pak vyberte a vyberte členy a vyhledejte název rozšíření Azure IoT Operations Arc.
   2. Pokud používáte spravovanou identitu přiřazenou uživatelem, jako možnost Přiřadit přístup, vyberte možnost Spravovaná identita a pak vyberte a vyberte členy a vyhledejte spravovanou identitu přiřazenou uživatelem nastavenou pro cloudová připojení.

Vytvoření koncového bodu toku dat pro Azure Data Lake Storage Gen2

Azure Portal

1. Na portálu IoT Operations Portal vyberte kartu Koncové body toku dat.

2. V části Vytvořit nový koncový bod toku dat vyberte Azure Data Lake Storage (2. generace)> Nový.

   

3. Zadejte následující nastavení pro koncový bod:

   Nastavení	Description
   Name	Název koncového bodu toku dat.
   Hostitelský počítač	Název hostitele koncového bodu Azure Data Lake Storage Gen2 ve formátu <account>.blob.core.windows.net. Zástupný symbol účtu nahraďte názvem účtu koncového bodu.
   Metoda ověřování	Metoda použitá k ověřování. Doporučujeme zvolit spravovanou identitu přiřazenou systémem nebo spravovanou identitu přiřazenou uživatelem.
   Client ID	ID klienta spravované identity přiřazené uživatelem. Vyžaduje se, pokud používáte spravovanou identitu přiřazenou uživatelem.
   ID tenanta	ID tenanta spravované identity přiřazené uživatelem. Vyžaduje se, pokud používáte spravovanou identitu přiřazenou uživatelem.
   Název tajného kódu přístupového tokenu	Název tajného kódu Kubernetes obsahujícího token SAS. Vyžaduje se, pokud používáte přístupový token.

4. Vyberte Použít pro zřízení koncového bodu.

Bicep

Vytvořte soubor Bicep .bicep s následujícím obsahem.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Pak nasaďte pomocí Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (Preview)

Vytvořte soubor manifestu .yaml Kubernetes s následujícím obsahem.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Pak použijte soubor manifestu na cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Použití ověřování přístupového tokenu

Postupujte podle kroků v části přístupového tokenu a získejte token SAS pro účet úložiště a uložte ho do tajného kódu Kubernetes.

Pak vytvořte prostředek DataflowEndpoint a zadejte metodu ověřování přístupového tokenu. Tady nahraďte <SAS_SECRET_NAME> názvem tajného kódu obsahujícího token SAS a další zástupné hodnoty.

Azure Portal

Postup vytvoření tajného kódu na portálu provozního prostředí najdete v části přístupového tokenu.

Bicep

Vytvořte soubor Bicep .bicep s následujícím obsahem.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Pak nasaďte pomocí Azure CLI.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (Preview)

Vytvořte soubor manifestu .yaml Kubernetes s následujícím obsahem.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Pak použijte soubor manifestu na cluster Kubernetes.

kubectl apply -f <FILE>.yaml

Dostupné metody ověřování

Pro koncové body Azure Data Lake Storage Gen2 jsou k dispozici následující metody ověřování.

Spravovaná identita přiřazená systémem

Před konfigurací koncového bodu toku dat přiřaďte roli spravované identitě azure IoT Operations, která uděluje oprávnění k zápisu do účtu úložiště:

1. Na webu Azure Portal přejděte do instance operace Azure IoT a vyberte Přehled.
2. Zkopírujte název rozšíření uvedené za rozšířením Azure IoT Operations Arc. Například azure-iot-operations-xxxx7.
3. Přejděte do cloudového prostředku, který potřebujete udělit oprávnění. Přejděte například do řízení přístupu k účtu >Azure Storage (IAM)>Přidání přiřazení role.
4. Na kartě Role vyberte příslušnou roli.
5. Na kartě Členové vyberte možnost Přiřadit přístup, vyberte Možnost Uživatel, skupina nebo instanční objekt a pak vyberte a vyberte členy a vyhledejte spravovanou identitu operací Azure IoT. Například azure-iot-operations-xxxx7.

Pak nakonfigurujte koncový bod toku dat s nastavením spravované identity přiřazené systémem.

Azure Portal

Na stránce nastavení koncového bodu toku dat v provozním prostředí vyberte kartu Základní a pak zvolte spravovanou identitu přiřazenou systémem ověřování>.

Ve většině případů nemusíte zadávat cílovou skupinu služeb. Nezadání cílové skupiny vytvoří spravovanou identitu s výchozí cílovou skupinou vymezenou na váš účet úložiště.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (Preview)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Pokud potřebujete přepsat cílovou skupinu spravované identity přiřazené systémem, můžete zadat audience nastavení.

Azure Portal

Ve většině případů nemusíte zadávat cílovou skupinu služeb. Nezadání cílové skupiny vytvoří spravovanou identitu s výchozí cílovou skupinou vymezenou na váš účet úložiště.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

Kubernetes (Preview)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Spravovaná identita přiřazená uživatelem

Pokud chcete pro ověřování použít spravovanou identitu přiřazenou uživatelem, musíte nejprve nasadit operace Azure IoT s povoleným zabezpečeným nastavením. Pak musíte nastavit spravovanou identitu přiřazenou uživatelem pro cloudová připojení. Další informace najdete v tématu Povolení nastavení zabezpečení v nasazení operací Azure IoT.

Před konfigurací koncového bodu toku dat přiřaďte spravované identitě přiřazené uživatelem roli, která uděluje oprávnění k zápisu do účtu úložiště:

1. Na webu Azure Portal přejděte do cloudového prostředku, který potřebujete udělit oprávnění. Přejděte například do řízení přístupu k účtu >Azure Storage (IAM)>Přidání přiřazení role.
2. Na kartě Role vyberte příslušnou roli.
3. Na kartě Členové vyberte možnost Přiřadit přístup, vyberte možnost Spravovaná identita a pak vyberte a vyberte členy a vyhledejte spravovanou identitu přiřazenou uživatelem.

Pak nakonfigurujte koncový bod toku dat s nastavením spravované identity přiřazené uživatelem.

Azure Portal

Na stránce nastavení koncového bodu toku dat v provozním prostředí vyberte kartu Základní a pak zvolte Spravovaná identita přiřazená metodou>ověřování.

Do příslušných polí zadejte ID klienta spravované identity přiřazené uživatelem a ID tenanta.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

Kubernetes (Preview)

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

V této části je obor volitelný a výchozí hodnota https://storage.azure.com/.defaultje . Pokud potřebujete přepsat výchozí obor, zadejte scope nastavení prostřednictvím manifestu Bicep nebo Kubernetes.

Token přístupu

Použití přístupového tokenu je alternativní metoda ověřování. Tato metoda vyžaduje vytvoření tajného kódu Kubernetes s tokenem SAS a odkazování na tajný klíč v prostředku DataflowEndpoint .

Získejte token SAS pro účet Azure Data Lake Storage Gen2 (ADLSv2). Například pomocí webu Azure Portal přejděte ke svému účtu úložiště. V nabídce vlevo zvolte Zabezpečení a síťový>sdílený přístupový podpis. K nastavení požadovaných oprávnění použijte následující tabulku.

Parametr	Povolené nastavení
Povolené služby	Objekt blob
Povolené typy prostředků	Objekt, kontejner
Povolená oprávnění	Čtení, zápis, odstranění, výpis, vytvoření

Pokud chcete zvýšit zabezpečení a postupovat podle principu nejnižších oprávnění, můžete vygenerovat token SAS pro konkrétní kontejner. Pokud chcete zabránit chybám ověřování, ujistěte se, že kontejner zadaný v tokenu SAS odpovídá nastavení cíle toku dat v konfiguraci.

Azure Portal

Důležité

Pokud chcete ke správě tajných kódů použít portál provozního prostředí, musí být operace Azure IoT nejprve povoleny se zabezpečeným nastavením konfigurací služby Azure Key Vault a povolením identit úloh. Další informace najdete v tématu Povolení nastavení zabezpečení v nasazení operací Azure IoT.

Na stránce nastavení koncového bodu toku dat v provozním prostředí vyberte kartu Základní a pak zvolte Přístupový token metody>ověřování.

V části Název synchronizovaného tajného kódu zadejte název tajného kódu. Tento název se používá k odkazování na tajný klíč v nastavení koncového bodu toku dat a je to název tajného kódu, který je uložený v clusteru Kubernetes.

Potom v části Název tajného kódu přístupového tokenu vyberte Přidat odkaz pro přidání tajného kódu ze služby Azure Key Vault. Na další stránce vyberte tajný klíč ze služby Azure Key Vault a přidejte ho ze služby Azure Key Vault nebo vytvořte nový tajný klíč.

Pokud vyberete Vytvořit nový, zadejte následující nastavení:

Nastavení	Popis
Název tajného klíče	Název tajného kódu ve službě Azure Key Vault. Vyberte název, který si můžete snadno zapamatovat, abyste ho později ze seznamu vybrali.
Hodnota tajného klíče	Token SAS ve formátu 'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'.
Nastavení data aktivace	Pokud je zapnuté, datum, kdy se tajný klíč aktivuje.
Nastavení data vypršení platnosti	Pokud je tato možnost zapnutá, datum vypršení platnosti tajného kódu.

Další informace o tajných kódech najdete v tématu Vytváření a správa tajných kódů v operacích Azure IoT.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Kubernetes (Preview)

Vytvořte tajný klíč Kubernetes pomocí tokenu SAS.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Rozšířené nastavení

Můžete nastavit upřesňující nastavení pro koncový bod Azure Data Lake Storage Gen2, například latenci dávkování a počet zpráv.

batching Pomocí nastavení můžete nakonfigurovat maximální počet zpráv a maximální latenci před odesláním zpráv do cíle. Toto nastavení je užitečné, když chcete optimalizovat šířku pásma sítě a snížit počet požadavků na cíl.

Pole	Popis	Povinní účastníci
latencySeconds	Maximální počet sekund čekání před odesláním zpráv do cíle. Výchozí hodnota je 60 sekund.	No
maxMessages	Maximální počet zpráv, které se mají odeslat do cíle. Výchozí hodnota je 1 00000 zpráv.	No

Pokud chcete například nakonfigurovat maximální počet zpráv na 1 000 a maximální latenci na 100 sekund, použijte následující nastavení:

Azure Portal

V provozním prostředí vyberte kartu Upřesnit pro koncový bod toku dat.

Bicep

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (Preview)

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Další kroky

• Další informace o tocích dat najdete v tématu Vytvoření toku dat.
• Pokud se chcete podívat na kurz použití toku dat k odesílání dat do Azure Data Lake Storage Gen2, přečtěte si kurz : Odeslání dat do Azure Data Lake Storage Gen2.