Configurar pontos de extremidade de fluxo de dados para o Microsoft Fabric OneLake

Importante

Esta página inclui instruções para gerenciar componentes do Azure IoT Operations usando manifestos de implantação do Kubernetes, que está em visualização. Esse recurso é fornecido com várias limitações e não deve ser usado para cargas de trabalho de produção.

Veja Termos de Utilização Complementares da Pré-visualizações do Microsoft Azure para obter os termos legais que se aplicam às funcionalidades do Azure que estão na versão beta, na pré-visualização ou que ainda não foram lançadas para disponibilidade geral.

Para enviar dados para o Microsoft Fabric OneLake nas Operações IoT do Azure, você pode configurar um ponto de extremidade de fluxo de dados. Essa configuração permite especificar o ponto de extremidade de destino, o método de autenticação, a tabela e outras configurações.

Pré-requisitos

• Uma instância do Azure IoT Operations
• Microsoft Fabric OneLake. Veja as etapas a seguir para criar um espaço de trabalho e uma casa de lago.
  • Crie um espaço de trabalho. O padrão meu espaço de trabalho não é suportado.
  • Crie uma casa no lago.
  • Se for mostrado, verifique se os esquemas do Lakehouse (Visualização pública) estão desmarcados.
  • Anote os nomes do espaço de trabalho e da casa do lago.
• Certifique-se de que as entidades de serviço possam usar APIs de malha.

Atribuir permissão à identidade gerenciada

Para configurar um ponto de extremidade de fluxo de dados para o Microsoft Fabric OneLake, recomendamos o uso de uma identidade gerenciada atribuída pelo usuário ou pelo sistema. Essa abordagem é segura e elimina a necessidade de gerenciar credenciais manualmente.

Depois que o Microsoft Fabric OneLake for criado, você precisará atribuir uma função à identidade gerenciada do Azure IoT Operations que conceda permissão para gravar no Fabric lakehouse.

Se estiver usando a identidade gerenciada atribuída ao sistema, no portal do Azure, vá para sua instância de Operações IoT do Azure e selecione Visão geral. Copie o nome da extensão listada após a extensão Azure IoT Operations Arc. Por exemplo, azure-iot-operations-xxxx7. Sua identidade gerenciada atribuída ao sistema pode ser encontrada usando o mesmo nome da extensão Azure IoT Operations Arc.

Vá para o espaço de trabalho do Microsoft Fabric que você criou, selecione Gerenciar acesso>+ Adicionar pessoas ou grupos.

1. Procure o nome da sua identidade gerenciada atribuída pelo usuário configurada para conexões na nuvem ou a identidade gerenciada atribuída ao sistema. Por exemplo, azure-iot-operations-xxxx7 .
2. Selecione Colaborador como a função e, em seguida, selecione Adicionar. Isso dá à identidade gerenciada as permissões necessárias para gravar no Fabric lakehouse. Para saber mais, consulte Funções em espaços de trabalho no Microsoft Fabric.

Criar ponto de extremidade de fluxo de dados para o Microsoft Fabric OneLake

Portal

1. Na experiência de operações, selecione a guia Pontos de extremidade de fluxo de dados.

2. Em Criar novo ponto de extremidade de fluxo de dados, selecione Microsoft Fabric OneLake>New.

   

3. Insira as seguintes configurações para o ponto de extremidade:

   Definição	Descrição
   Host	O nome do host do ponto de extremidade OneLake do Microsoft Fabric no formato onelake.dfs.fabric.microsoft.com.
   Nome Lakehouse	O nome da casa do lago onde os dados devem ser armazenados.
   Nome da área de trabalho	O nome do espaço de trabalho associado à casa do lago.
   Tipo de caminho OneLake	O tipo de caminho usado no OneLake. Selecione Arquivos ou Tabelas.
   Método de autenticação	O método usado para autenticação. Escolha Identidade gerenciada atribuída ao sistema ou Identidade gerenciada atribuída ao usuário.
   ID de Cliente	A ID do cliente da identidade gerenciada atribuída pelo usuário. Obrigatório se estiver usando a identidade gerenciada atribuída ao usuário.
   ID de Inquilino do	A ID do locatário da identidade gerenciada atribuída pelo usuário. Obrigatório se estiver usando a identidade gerenciada atribuída ao usuário.

4. Selecione Aplicar para provisionar o ponto de extremidade.

Bicep

Crie um arquivo Bicep .bicep com o seguinte conteúdo.

param aioInstanceName string = '<AIO_INSTANCE_NAME>'
param customLocationName string = '<CUSTOM_LOCATION_NAME>'
param endpointName string = '<ENDPOINT_NAME>'
param workspaceName string = '<WORKSPACE_NAME>'
param lakehouseName string = '<LAKEHOUSE_NAME>'

resource aioInstance 'Microsoft.IoTOperations/instances@2024-11-01' existing = {
  name: aioInstanceName
}
resource customLocation 'Microsoft.ExtendedLocation/customLocations@2021-08-31-preview' existing = {
  name: customLocationName
}
resource oneLakeEndpoint 'Microsoft.IoTOperations/instances/dataflowEndpoints@2024-11-01' = {
  parent: aioInstance
  name: endpointName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    endpointType: 'FabricOneLake'
    fabricOneLakeSettings: {
      // The default Fabric OneLake host URL in most cases
      host: 'https://onelake.dfs.fabric.microsoft.com'
      authentication: {
        // See available authentication methods section for method types
        // method: <METHOD_TYPE>
      }
      oneLakePathType: 'Tables'
      names: {
        workspaceName: workspaceName
        lakehouseName: lakehouseName
      }
    }
  }
}

Em seguida, implante por meio da CLI do Azure.

az deployment group create --resource-group <RESOURCE_GROUP> --template-file <FILE>.bicep

Kubernetes (visualização)

Crie um arquivo de manifesto .yaml do Kubernetes com o seguinte conteúdo.

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowEndpoint
metadata:
  name: <ENDPOINT_NAME>
  namespace: azure-iot-operations
spec:
  endpointType: FabricOneLake
  fabricOneLakeSettings:
    # The default Fabric OneLake host URL in most cases
    host: https://onelake.dfs.fabric.microsoft.com
    authentication:
      # See available authentication methods section for method types
      # method: <METHOD_TYPE>
    oneLakePathType: Tables
    names:
      workspaceName: <WORKSPACE_NAME>
      lakehouseName: <LAKEHOUSE_NAME>

Em seguida, aplique o arquivo de manifesto ao cluster do Kubernetes.

kubectl apply -f <FILE>.yaml

Tipo de caminho OneLake

A oneLakePathType configuração determina o tipo de caminho a ser usado no caminho OneLake. O valor padrão é Tables, que é o tipo de caminho recomendado para os casos de uso mais comuns. O Tables tipo de caminho é uma tabela no lago OneLake que é usada para armazenar os dados. Ele também pode ser definido como Files, que é um arquivo no lago OneLake que é usado para armazenar os dados. O Files tipo de caminho é útil quando você deseja armazenar os dados em um formato de arquivo que não é suportado Tables pelo tipo de caminho.

Portal

O tipo de caminho OneLake é definido na guia Básico para o ponto de extremidade de fluxo de dados.

Bicep

fabricOneLakeSettings: {
  oneLakePathType: 'Tables' // Or 'Files'
}

Kubernetes (visualização)

fabricOneLakeSettings:
  oneLakePathType: Tables # Or Files

Métodos de autenticação disponíveis

Os seguintes métodos de autenticação estão disponíveis para pontos de extremidade de fluxo de dados do Microsoft Fabric OneLake.

Identidade gerida atribuída pelo sistema

Antes de configurar o ponto de extremidade de fluxo de dados, atribua uma função à identidade gerenciada do Azure IoT Operations que conceda permissão para gravar no lago Fabric:

1. No portal do Azure, vá para sua instância de Operações do Azure IoT e selecione Visão geral.
2. Copie o nome da extensão listada após a extensão Azure IoT Operations Arc. Por exemplo, azure-iot-operations-xxxx7.
3. Vá para o espaço de trabalho Microsoft Fabric, selecione Gerenciar acesso>+ Adicionar pessoas ou grupos.
4. Procure o nome da identidade gerenciada atribuída ao sistema. Por exemplo, azure-iot-operations-xxxx7 .
5. Selecione uma função apropriada e, em seguida, selecione Adicionar.

Em seguida, configure o ponto de extremidade de fluxo de dados com as configurações de identidade gerenciada atribuídas pelo sistema.

Portal

Na página Configurações do ponto de extremidade do fluxo de dados da experiência de operações, selecione a guia Básico e escolha Método de autenticação>Identidade gerenciada atribuída ao sistema.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {}
  }
}

Kubernetes (visualização)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      {}

Se você precisar substituir o público de identidade gerenciado atribuído ao sistema, poderá especificar a audience configuração.

Portal

Na maioria dos casos, não é necessário especificar um público de serviço. Não especificar uma audiência cria uma identidade gerenciada com o público padrão definido para sua conta de armazenamento.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'SystemAssignedManagedIdentity'
    systemAssignedManagedIdentitySettings: {
      audience: 'https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com'
    }
  }
}

Kubernetes (visualização)

fabricOneLakeSettings:
  authentication:
    method: SystemAssignedManagedIdentity
    systemAssignedManagedIdentitySettings:
      audience: https://<ACCOUNT>.onelake.dfs.fabric.microsoft.com

Identidade gerida atribuída pelo utilizador

Para usar a identidade gerenciada atribuída pelo usuário para autenticação, você deve primeiro implantar as Operações do Azure IoT com configurações seguras habilitadas. Em seguida, você precisa configurar uma identidade gerenciada atribuída pelo usuário para conexões na nuvem. Para saber mais, consulte Habilitar configurações seguras na implantação do Azure IoT Operations.

Antes de configurar o ponto de extremidade de fluxo de dados, atribua uma função à identidade gerenciada atribuída pelo usuário que conceda permissão para gravar na casa do lago da malha.:

1. Vá para o espaço de trabalho Microsoft Fabric, selecione Gerenciar acesso>+ Adicionar pessoas ou grupos.
2. Procure o nome da sua identidade gerenciada atribuída pelo usuário.
3. Selecione uma função apropriada e, em seguida, selecione Adicionar.

Em seguida, configure o ponto de extremidade de fluxo de dados com as configurações de identidade gerenciada atribuídas pelo usuário.

Portal

Na página Configurações do ponto de extremidade do fluxo de dados da experiência de operações, selecione a guia Básico e escolha Método de autenticação>Identidade gerenciada atribuída pelo usuário.

Insira o ID do cliente de identidade gerenciada atribuído ao usuário e o ID do locatário nos campos apropriados.

Bicep

fabricOneLakeSettings: {
  authentication: {
    method: 'UserAssignedManagedIdentity'
    userAssignedManagedIdentitySettings: {
      clientId: '<ID>'
      tenantId: '<ID>'
      // Optional, defaults to 'https://storage.azure.com/.default'
      // scope: 'https://<SCOPE_URL>' 
    }
  }
}

Kubernetes (visualização)

Para usar uma identidade gerenciada atribuída pelo usuário, especifique o UserAssignedManagedIdentity método de autenticação e forneça o clientId e tenantId da identidade gerenciada.

fabricOneLakeSettings:
  authentication:
    method: UserAssignedManagedIdentity
    userAssignedManagedIdentitySettings:
      clientId: <ID>
      tenantId: <ID>
      # Optional, defaults to 'https://storage.azure.com/.default'
      # scope: https://<SCOPE_URL>

Aqui, o escopo é opcional e o padrão é .https://storage.azure.com/.default Se você precisar substituir o escopo padrão, especifique a scope configuração usando Bicep ou Kubernetes.

Definições avançadas

Você pode definir configurações avançadas para o ponto de extremidade Fabric OneLake, como latência de lote e contagem de mensagens. Você pode definir essas configurações na guia Portal avançado do ponto de extremidade do fluxo de dados ou no recurso personalizado do ponto de extremidade do fluxo de dados.

Criação de batches

Use as batching configurações para configurar o número máximo de mensagens e a latência máxima antes que as mensagens sejam enviadas para o destino. Essa configuração é útil quando você deseja otimizar a largura de banda da rede e reduzir o número de solicitações para o destino.

Campo	Descrição	Obrigatório
latencySeconds	O número máximo de segundos de espera antes de enviar as mensagens para o destino. O valor padrão é 60 segundos.	Não
maxMessages	O número máximo de mensagens a enviar para o destino. O valor padrão é 100000 mensagens.	Não

Por exemplo, para configurar o número máximo de mensagens para 1000 e a latência máxima para 100 segundos, use as seguintes configurações:

Portal

Na experiência de operações, selecione a guia Avançado para o ponto de extremidade de fluxo de dados.

Bicep

fabricOneLakeSettings: {
  batching: {
    latencySeconds: 100
    maxMessages: 1000
  }
}

Kubernetes (visualização)

fabricOneLakeSettings:
  batching:
    latencySeconds: 100
    maxMessages: 1000

Próximos passos

Para saber mais sobre fluxos de dados, consulte Criar fluxo de dados.