Configurar pontos de extremidade de fluxo de dados para o Azure Data Lake Storage Gen2

Importante

A Versão Prévia das Operações da Internet das Coisas do Azure – habilitadas pelo Azure Arc – está atualmente em versão prévia. Você não deve usar esse software em versão prévia em ambientes de produção.

Você precisará implantar uma nova instalação das Operações do Azure IoT quando uma versão estiver disponibilidade geral. Você não poderá atualizar uma instalação de versão prévia.

Para os termos legais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral, confira os Termos de Uso Complementares para Versões Prévias do Microsoft Azure.

Para enviar dados para o Azure Data Lake Storage Gen2 no Azure IoT Operations Preview, você pode configurar um ponto de extremidade de fluxo de dados. Essa configuração permite que você especifique o ponto de extremidade de destino, o método de autenticação, a tabela e outras configurações.

Pré-requisitos

• Uma instância da Versão prévia de Operações do Azure IoT
• Um perfil de fluxo de dados configurado
• Uma conta do Azure Data Lake Storage Gen2
• Um contêiner de armazenamento pré-criado na conta de armazenamento

Criar um ponto de extremidade de fluxo de dados do Azure Data Lake Storage Gen2

Para configurar um ponto de extremidade de fluxo de dados para o Azure Data Lake Storage Gen2, sugerimos usar a identidade gerenciada do cluster Kubernetes habilitado para Azure Arc. Essa abordagem é segura e elimina a necessidade de gerenciamento secreto. Como alternativa, você pode se autenticar na conta de armazenamento usando um token de acesso. Ao usar um token de acesso, você precisará criar um segredo do Kubernetes contendo o token SAS.

Portal

1. No portal de Operações de IoT, selecione a guia Pontos de extremidade de fluxo de dados.

2. Em Criar ponto de extremidade de fluxo de dados, selecione Azure Data Lake Storage (2ª geração)>Novo.

   

3. Insira as configurações a seguir para o ponto de extremidade:

   Configuração	Descrição
   Nome	O nome do ponto de extremidade do fluxo de dados.
   Host	O nome do host do ponto de extremidade do Azure Data Lake Storage Gen2 no formato <account>.blob.core.windows.net. Substitua o espaço reservado da conta pelo nome da conta do ponto de extremidade.
   Método de autenticação	O método usado para autenticação. Selecione Identidade gerenciada atribuída pelo sistema, Identidade gerenciada atribuída pelo usuário ou Token de acesso.
   ID do Cliente	A ID do cliente da identidade gerenciada atribuída pelo usuário. Necessário se estiver usando a Identidade gerenciada atribuída pelo usuário.
   ID do locatário	A ID do locatário de uma identidade gerenciada atribuída pelo usuário. Necessário se estiver usando a Identidade gerenciada atribuída pelo usuário.
   Nome do segredo do token de acesso	O nome do segredo do Kubernetes que contém o token SAS. Necessário se estiver usando o Token de acesso.

4. Selecione Aplicar para provisionar o ponto de extremidade.

Bicep

Crie um arquivo Bicep .bicep com o seguinte conteúdo.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'SystemAssignedManagedIdentity'
        systemAssignedManagedIdentitySettings: {}
      }
    }
  }
}

Em seguida, implante via CLI do Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes

Crie um arquivo manifesto do Kubernetes .yaml com o seguinte conteúdo.

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: SystemAssignedManagedIdentity
      systemAssignedManagedIdentitySettings: {}

Em seguida, aplique o arquivo manifesto ao cluster do Kubernetes.

kubectl apply -f <FILE>.yaml

Se você precisar substituir o público de identidade gerenciada atribuída pelo sistema, veja a seção Identidade gerenciada atribuída pelo sistema.

Usar autenticação de token de acesso

Siga as etapas na seção token de acesso para obter um token SAS para a conta de armazenamento e armazená-lo em um segredo do Kubernetes.

Em seguida, crie o recurso DataflowEndpoint e especifique o método de autenticação do token de acesso. Aqui, substitua <SAS_SECRET_NAME> pelo nome do segredo que contém o token SAS, bem como outros valores de espaço reservado.

Portal

1. No portal de Operações de IoT, selecione a guia Pontos de extremidade de fluxo de dados.

2. Em Criar ponto de extremidade de fluxo de dados, selecione Azure Data Lake Storage (2ª geração)>Novo.

3. Insira as configurações a seguir para o ponto de extremidade:

   Configuração	Descrição
   Nome	O nome do ponto de extremidade do fluxo de dados.
   Host	O nome do host do ponto de extremidade do Azure Data Lake Storage Gen2 no formato <account>.blob.core.windows.net. Substitua o espaço reservado da conta pelo nome da conta do ponto de extremidade.
   Método de autenticação	O método usado para autenticação. Escolha Token de acesso.
   Nome do segredo sincronizado	O nome do segredo do Kubernetes que é sincronizado com o ponto de extremidade ADLSv2.
   Nome do segredo do token de acesso	O nome do segredo do Kubernetes que contém o token SAS.

4. Selecione Aplicar para provisionar o ponto de extremidade.

Bicep

Crie um arquivo Bicep .bicep com o seguinte conteúdo.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param host string = 'https://<ACCOUNT>.blob.core.windows.net'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-09-15-preview' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource adlsGen2Endpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-09-15-preview' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'DataLakeStorage'
    dataLakeStorageSettings: {
      host: host
      authentication: {
        method: 'AccessToken'
        accessTokenSettings: {
          secretRef: '<SAS_SECRET_NAME>'
        }
      }
    }
  }
}

Em seguida, implante via CLI do Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes

Crie um arquivo manifesto do Kubernetes .yaml com o seguinte conteúdo.

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: DataLakeStorage
  dataLakeStorageSettings:
    host: https://<ACCOUNT>.blob.core.windows.net
    authentication:
      method: AccessToken
      accessTokenSettings:
        secretRef: <SAS_SECRET_NAME>

Em seguida, aplique o arquivo manifesto ao cluster do Kubernetes.

kubectl apply -f <FILE>.yaml

Métodos de autenticação disponíveis

Os seguintes métodos de autenticação estão disponíveis para pontos de extremidade do Azure Data Lake Storage Gen2.

Para obter mais informações sobre como habilitar configurações seguras configurando um Azure Key Vault e habilitando identidades de carga de trabalho, veja Habilitar configurações seguras na implantação de visualização do Azure IoT Operations.

Identidade gerenciada atribuída pelo sistema

Usar a identidade gerenciada atribuída pelo sistema é o método de autenticação recomendado para Operações do Azure IoT. O Operações do Azure IoT cria automaticamente a identidade gerenciada e a atribui ao cluster Kubernetes habilitado para Azure Arc. Ele elimina a necessidade de gerenciamento secreto e permite autenticação perfeita.

Antes de criar o ponto de extremidade do fluxo de dados, atribua uma função à identidade gerenciada que tenha permissão de gravação na conta de armazenamento. Por exemplo, você pode atribuir a função Contribuidor de Dados do Blob de Armazenamento. Para saber mais sobre como atribuir funções a blobs, veja Autorizar acesso a blobs usando o Microsoft Entra ID.

1. No portal do Azure, acesse sua instância do Azure IoT Operations e selecione Visão geral.
2. Copie o nome da extensão listada após Extensão do Azure IoT Operations Arc. Por exemplo, azure-iot-operations-xxxx7.
3. Procure a identidade gerenciada no portal do Azure usando o nome da extensão. Por exemplo, pesquise por azure-iot-operations-xxxx7.
4. Atribua uma função à identidade gerenciada da extensão Azure IoT Operations Arc que conceda permissão para gravar na conta de armazenamento, como Storage Blob Data Contributor. Para saber mais, confira Autorizar o acesso a blobs usando o Microsoft Entra ID.
5. Crie o recurso DataflowEndpoint e especifique o método de autenticação de identidade gerenciada.

Portal

Na página de configurações do ponto de extremidade do fluxo de dados da experiência de operações, selecione a guia Básico e escolha Método de autenticação>Identidade gerenciada atribuída pelo sistema.

Na maioria dos casos, você não precisa especificar um público-alvo do serviço. Não especificar um público cria uma identidade gerenciada com o público padrão limitado à sua conta de armazenamento.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings: {}

Se precisar substituir o público de identidade gerenciada atribuído pelo sistema, você pode especificar a configuração audience.

Portal

Na maioria dos casos, você não precisa especificar um público-alvo do serviço. Não especificar um público cria uma identidade gerenciada com o público padrão limitado à sua conta de armazenamento.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
        audience: 'https://<ACCOUNT>.blob.core.windows.net'
    }
  }
}

Kubernetes

dataLakeStorageSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.blob.core.windows.net

Token de acesso

Usar um token de acesso é um método de autenticação alternativo. Este método exige que você crie um segredo do Kubernetes com o token SAS e faça referência ao segredo no recurso DataflowEndpoint.

Obtenha um token SAS para uma conta do Azure Data Lake Storage Gen2 (ADLSv2). Por exemplo, use o portal do Azure para navegar até sua conta de armazenamento. No menu à esquerda, escolha Segurança + rede>Assinatura de acesso compartilhado. Use a tabela a seguir para definir as permissões necessárias.

Parâmetro	Configuração habilitada
Serviços permitidos	Blob
Tipos de recursos permitidos	Objeto, Contêiner
Permissões aceitas	Ler, Gravar, Excluir, Listar, Criar

Para aumentar a segurança e seguir o princípio do menor privilégio, você pode gerar um token SAS para um contêiner específico. Para evitar erros de autenticação, certifique-se de que o contêiner especificado no token SAS corresponda à configuração de destino do fluxo de dados.

Portal

Na página de configurações do ponto de extremidade do fluxo de dados da experiência de operações, selecione a guia Básico e escolha Método de autenticação>Token de acesso.

Insira o nome do segredo do token de acesso que você criou no Nome do segredo do token de acesso.

Para saber mais sobre segredos, veja Criar e gerenciar segredos no Azure IoT Operations Preview.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'AccessToken'
    accessTokenSettings: {
      secretRef: '<SAS_SECRET_NAME>'
    }
  }
}

Kubernetes

Crie um segredo do Kubernetes com o token SAS.

kubectl create secret generic <SAS_SECRET_NAME> -n azure-iot-operations \
--from-literal=accessToken='sv=2022-11-02&ss=b&srt=c&sp=rwdlax&se=2023-07-22T05:47:40Z&st=2023-07-21T21:47:40Z&spr=https&sig=<signature>'

dataLakeStorageSettings:
  authentication:
    method: AccessToken
    accessTokenSettings:
      secretRef: <SAS_SECRET_NAME>

Identidade gerenciada atribuída pelo usuário

Para usar a identidade gerenciada pelo usuário para autenticação, primeiro você deve implantar as Operações do Azure IoT com configurações seguras habilitadas. Para saber mais, consulte Habilitar configurações seguras na implantação da Visualização das Operações do Azure IoT.

Em seguida, especifique o método de autenticação de identidade gerenciada atribuída pelo usuário, juntamente com a ID do cliente, a ID do locatário e o escopo da identidade gerenciada.

Portal

Na página de configurações do ponto de extremidade do fluxo de dados da experiência de operações, selecione a guia Básico e escolha Método de autenticação>Identidade gerenciada atribuída pelo usuário.

Insira a ID do cliente de identidade gerenciada atribuída pelo usuário e a ID do locatário nos campos apropriados.

Bicep

dataLakeStorageSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      cliendId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>'
    }
  }
}

Kubernetes

dataLakeStorageSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Aqui, o escopo é opcional e o padrão é https://storage.azure.com/.default. Se você precisar substituir o escopo padrão, especifique a configuração scope por meio do manifesto do Bicep ou Kubernetes.

Configurações avançadas

Você pode definir configurações avançadas para o ponto de extremidade do Azure Data Lake Storage Gen2, como latência de lote e contagem de mensagens.

Use as configurações batching para configurar o número máximo de mensagens e a latência máxima antes que as mensagens sejam enviadas ao destino. Essa configuração é útil quando você deseja otimizar a largura de banda da rede e reduzir o número de solicitações ao destino.

Campo	Descrição	Obrigatório
latencySeconds	O número máximo de segundos para aguardar antes de enviar as mensagens ao destino. O valor padrão é 60 segundos.	Não
maxMessages	O número máximo de mensagens para enviar ao destino. O valor padrão é de 100.000 mensagens.	Não

Por exemplo, para configurar o número máximo de mensagens para 1.000 e a latência máxima para 100 segundos, use as seguintes configurações:

Portal

Na experiência de operações, selecione a guia Avançado do ponto de extremidade do fluxo de dados.

Bicep

dataLakeStorageSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes

dataLakeStorageSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Próximas etapas

Para saber mais sobre fluxos de dados, confira Criar um fluxo de dados.