Configurar pontos de extremidade de fluxo de dados para o Azure Data Lake Storage Gen2

Importante

Esta página inclui instruções para gerenciar componentes do Azure IoT Operations usando manifestos de implantação do Kubernetes, que está em visualização. Esse recurso é fornecido com várias limitações e não deve ser usado para cargas de trabalho de produção.

Veja Termos de Utilização Complementares da Pré-visualizações do Microsoft Azure para obter os termos legais que se aplicam às funcionalidades do Azure que estão na versão beta, na pré-visualização ou que ainda não foram lançadas para disponibilidade geral.

Para enviar dados para o Azure Data Lake Storage Gen2 no Azure IoT Operations, você pode configurar um ponto de extremidade de fluxo de dados. Essa configuração permite especificar o ponto de extremidade de destino, o método de autenticação, a tabela e outras configurações.

Pré-requisitos

• Uma instância do Azure IoT Operations
• Uma conta do Azure Data Lake Storage Gen2
• Um contêiner de armazenamento pré-criado na conta de armazenamento

Atribuir permissão à identidade gerenciada

Para configurar um ponto de extremidade de fluxo de dados para o Azure Data Lake Storage Gen2, recomendamos usar uma identidade gerenciada atribuída pelo usuário ou pelo sistema. Essa abordagem é segura e elimina a necessidade de gerenciar credenciais manualmente.

Depois que o Azure Data Lake Storage Gen2 for criado, você precisará atribuir uma função à identidade gerenciada do Azure IoT Operations que conceda permissão para gravar na conta de armazenamento.

Se estiver usando a identidade gerenciada atribuída ao sistema, no portal do Azure, vá para sua instância de Operações IoT do Azure e selecione Visão geral. Copie o nome da extensão listada após a extensão Azure IoT Operations Arc. Por exemplo, azure-iot-operations-xxxx7. Sua identidade gerenciada atribuída ao sistema pode ser encontrada usando o mesmo nome da extensão Azure IoT Operations Arc.

Em seguida, vá para o controle de acesso (IAM)>Adicionar atribuição de função da conta >de armazenamento do Azure.

1. Na guia Função, selecione uma função apropriada, como Storage Blob Data Contributor. Isso dá à identidade gerenciada as permissões necessárias para gravar nos contêineres de blob de Armazenamento do Azure. Para saber mais, consulte Autorizar acesso a blobs usando a ID do Microsoft Entra.
2. No separador Membros:
   1. Se estiver usando a identidade gerenciada atribuída pelo sistema, para Atribuir acesso a, selecione a opção Usuário, grupo ou entidade de serviço, selecione + Selecionar membros e procure o nome da extensão do Azure IoT Operations Arc.
   2. Se estiver usando a identidade gerenciada atribuída pelo usuário, para Atribuir acesso a, selecione a opção Identidade gerenciada e, em seguida, selecione + Selecionar membros e procure sua identidade gerenciada atribuída pelo usuário configurada para conexões de nuvem.

Criar ponto de extremidade de fluxo de dados para o Azure Data Lake Storage Gen2

Portal

1. No portal de Operações IoT, selecione a guia Pontos de extremidade de fluxo de dados .

2. Em Criar novo ponto de extremidade de fluxo de dados, selecione Armazenamento Azure Data Lake (2ª geração)>Novo.

   

3. Insira as seguintes configurações para o ponto de extremidade:

   Definição	Description
   Name	O nome do ponto de extremidade do fluxo de dados.
   Host	O nome do host do ponto de extremidade do Azure Data Lake Storage Gen2 no formato <account>.blob.core.windows.net. Substitua o espaço reservado da conta pelo nome da conta do ponto final.
   Método de autenticação	O método usado para autenticação. Recomendamos que você escolha Identidade gerenciada atribuída ao sistema ou Identidade gerenciada atribuída pelo usuário.
   ID de Cliente	A ID do cliente da identidade gerenciada atribuída pelo usuário. Obrigatório se estiver usando a identidade gerenciada atribuída ao usuário.
   ID de Inquilino do	A ID do locatário da identidade gerenciada atribuída pelo usuário. Obrigatório se estiver usando a identidade gerenciada atribuída ao usuário.
   Nome secreto do token de acesso	O nome do segredo do Kubernetes que contém o token SAS. Obrigatório se estiver usando o token de acesso.

4. Selecione Aplicar para provisionar o ponto de extremidade.

Bicep

Crie um arquivo Bicep .bicep com o seguinte conteúdo.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
    }
  }
}

Em seguida, implante por meio da CLI do Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (visualização)

Crie um arquivo de manifesto .yaml do Kubernetes com o seguinte conteúdo.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>

Em seguida, aplique o arquivo de manifesto ao cluster do Kubernetes.

kubectl apply -f <FILE>.yaml

Usar autenticação de token de acesso

Siga as etapas na seção de token de acesso para obter um token SAS para a conta de armazenamento e armazená-lo em um segredo do Kubernetes.

Em seguida, crie o recurso DataflowEndpoint e especifique o método de autenticação do token de acesso. Aqui, substitua <SAS_SECRET_NAME> pelo nome do segredo que contém o token SAS e outros valores de espaço reservado.

Portal

Consulte a seção de token de acesso para conhecer as etapas para criar um segredo no portal de experiência de operações.

Bicep

Crie um arquivo Bicep .bicep com o seguinte conteúdo.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Em seguida, implante por meio da CLI do Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (visualização)

Crie um arquivo de manifesto .yaml do Kubernetes com o seguinte conteúdo.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Em seguida, aplique o arquivo de manifesto ao cluster do Kubernetes.

kubectl apply -f <FILE>.yaml

Métodos de autenticação disponíveis

Os seguintes métodos de autenticação estão disponíveis para pontos de extremidade do Azure Data Lake Storage Gen2.

Identidade gerida atribuída pelo sistema

Antes de configurar o ponto de extremidade de fluxo de dados, atribua uma função à identidade gerenciada do Azure IoT Operations que conceda permissão para gravar na conta de armazenamento:

1. No portal do Azure, vá para sua instância de Operações do Azure IoT e selecione Visão geral.
2. Copie o nome da extensão listada após a extensão Azure IoT Operations Arc. Por exemplo, azure-iot-operations-xxxx7.
3. Vá para o recurso de nuvem que você precisa para conceder permissões. Por exemplo, vá para o controle de acesso (IAM) da conta >de armazenamento do Azure)>Adicionar atribuição de função.
4. Na guia Função, selecione uma função apropriada.
5. Na guia Membros, para Atribuir acesso a, selecione a opção Usuário, grupo ou entidade de serviço e, em seguida, selecione + Selecionar membros e procure a identidade gerenciada das Operações IoT do Azure. Por exemplo, azure-iot-operations-xxxx7.

Em seguida, configure o ponto de extremidade de fluxo de dados com as configurações de identidade gerenciada atribuídas pelo sistema.

Portal

Na página Configurações do ponto de extremidade do fluxo de dados da experiência de operações, selecione a guia Básico e escolha Método de autenticação>Identidade gerenciada atribuída ao sistema.

Na maioria dos casos, não é necessário especificar um público de serviço. Não especificar uma audiência cria uma identidade gerenciada com o público padrão definido para sua conta de armazenamento.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (visualização)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Se você precisar substituir o público de identidade gerenciado atribuído ao sistema, poderá especificar a audience configuração.

Portal

Na maioria dos casos, não é necessário especificar um público de serviço. Não especificar uma audiência cria uma identidade gerenciada com o público padrão definido para sua conta de armazenamento.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

Kubernetes (visualização)

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Identidade gerida atribuída pelo utilizador

Para usar a identidade gerenciada atribuída pelo usuário para autenticação, você deve primeiro implantar as Operações do Azure IoT com configurações seguras habilitadas. Em seguida, você precisa configurar uma identidade gerenciada atribuída pelo usuário para conexões na nuvem. Para saber mais, consulte Habilitar configurações seguras na implantação do Azure IoT Operations.

Antes de configurar o ponto de extremidade de fluxo de dados, atribua uma função à identidade gerenciada atribuída pelo usuário que conceda permissão para gravar na conta de armazenamento:

1. No portal do Azure, vá para o recurso de nuvem que você precisa para conceder permissões. Por exemplo, vá para o controle de acesso (IAM) da conta >de armazenamento do Azure)>Adicionar atribuição de função.
2. Na guia Função, selecione uma função apropriada.
3. Na guia Membros, para Atribuir acesso a, selecione a opção Identidade gerenciada e, em seguida, selecione + Selecionar membros e procure sua identidade gerenciada atribuída pelo usuário.

Em seguida, configure o ponto de extremidade de fluxo de dados com as configurações de identidade gerenciada atribuídas pelo usuário.

Portal

Na página Configurações do ponto de extremidade do fluxo de dados da experiência de operações, selecione a guia Básico e escolha Método de autenticação>Identidade gerenciada atribuída pelo usuário.

Insira o ID do cliente de identidade gerenciada atribuído ao usuário e o ID do locatário nos campos apropriados.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

Kubernetes (visualização)

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Aqui, o escopo é opcional e o padrão é .https://storage.azure.com/.default Se você precisar substituir o escopo padrão, especifique a scope configuração por meio do manifesto Bicep ou Kubernetes.

Token de acesso

Usar um token de acesso é um método de autenticação alternativo. Esse método requer que você crie um segredo do Kubernetes com o token SAS e faça referência ao segredo no recurso DataflowEndpoint .

Obtenha um token SAS para uma conta do Azure Data Lake Storage Gen2 (ADLSv2). Por exemplo, use o portal do Azure para navegar até sua conta de armazenamento. No menu à esquerda, escolha Segurança + rede>Assinatura de acesso compartilhado. Use a tabela a seguir para definir as permissões necessárias.

Parâmetro	Configuração ativada
Serviços permitidos	Blob
Tipos de recursos permitidos	Objeto, Contêiner
Permissões concedidas	Ler, Escrever, Eliminar, Listar, Criar

Para melhorar a segurança e seguir o princípio de menor privilégio, você pode gerar um token SAS para um contêiner específico. Para evitar erros de autenticação, verifique se o contêiner especificado no token SAS corresponde à configuração de destino do fluxo de dados na configuração.

Portal

Importante

Para usar o portal de experiência de operações para gerenciar segredos, as Operações do Azure IoT devem primeiro ser habilitadas com configurações seguras, configurando um Cofre de Chaves do Azure e habilitando identidades de carga de trabalho. Para saber mais, consulte Habilitar configurações seguras na implantação do Azure IoT Operations.

Na página Configurações do ponto de extremidade do fluxo de dados da experiência de operações, selecione a guia Básico e escolha Método de autenticação>Token de acesso.

Aqui, em Nome secreto sincronizado, insira um nome para o segredo. Esse nome é usado para fazer referência ao segredo nas configurações do ponto de extremidade do fluxo de dados e é o nome do segredo conforme armazenado no cluster do Kubernetes.

Em seguida, em Nome secreto do token de acesso, selecione Adicionar referência para adicionar o segredo do Cofre de Chaves do Azure. Na página seguinte, selecione o segredo do Cofre da Chave do Azure com Adicionar do Cofre da Chave do Azure ou Criar novo segredo.

Se você selecionar Criar novo, insira as seguintes configurações:

Definição	Descrição
Nome do segredo	O nome do segredo no Cofre da Chave do Azure. Escolha um nome que seja fácil de lembrar para selecionar o segredo mais tarde na lista.
Valor secreto	O token SAS no formato de 'sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'.
Definir data de ativação	Se ativado, a data em que o segredo se torna ativo.
Definir data de validade	Se ativado, a data em que o segredo expira.

Para saber mais sobre segredos, consulte Criar e gerenciar segredos nas Operações do Azure IoT.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Kubernetes (visualização)

Crie um segredo do Kubernetes com o token SAS.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Definições avançadas

Você pode definir configurações avançadas para o ponto de extremidade do Azure Data Lake Storage Gen2, como a latência em lote e a contagem de mensagens.

Use as batching configurações para configurar o número máximo de mensagens e a latência máxima antes que as mensagens sejam enviadas para o destino. Essa configuração é útil quando você deseja otimizar a largura de banda da rede e reduzir o número de solicitações para o destino.

Campo	Descrição	Obrigatório
latencySeconds	O número máximo de segundos de espera antes de enviar as mensagens para o destino. O valor padrão é 60 segundos.	Não
maxMessages	O número máximo de mensagens a enviar para o destino. O valor padrão é 100000 mensagens.	Não

Por exemplo, para configurar o número máximo de mensagens para 1000 e a latência máxima para 100 segundos, use as seguintes configurações:

Portal

Na experiência de operações, selecione a guia Avançado para o ponto de extremidade de fluxo de dados.

Bicep

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (visualização)

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Próximos passos

• Para saber mais sobre fluxos de dados, consulte Criar um fluxo de dados.
• Para ver um tutorial sobre como usar um fluxo de dados para enviar dados para o Azure Data Lake Storage Gen2, consulte Tutorial: Enviar dados para o Azure Data Lake Storage Gen2.