Como ingerir dados no Fabric usando a atividade Copy do Azure Data Factory
O conector do Microsoft Fabric Lakehouse no Azure Data Factory (ADF) e no Azure Synapse Analytics permite operações de leitura e gravação no Microsoft Fabric Lakehouse (tanto para tabelas quanto para arquivos). Esse conector oferece a capacidade de usar seus pipelines do ADF e do Synapse existentes e fluxos de dados de mapeamento para interagir com Fabric Lakehouses. Este artigo ajuda a configurar o Microsoft Fabric para permitir a autenticação da entidade de serviço e, em seguida, demonstra o conector do Lakehouse para leitura e gravação no Fabric Lakehouse.
Para obter mais informações sobre Microsoft Fabric Lakehouse, consulte O que é um lakehouse?
Conector do Azure Data Factory Lakehouse
Um novo conector de serviço vinculado ao Lakehouse e dois novos conjuntos de dados agora estão disponíveis para clientes que desejam começar a ler e gravar no Microsoft Fabric Lakehouse. Para obter um guia completo sobre o conector do Lakehouse, consulte Copiar e transformar dados em arquivos do Microsoft Fabric Lakehouse (Preview).
Autenticação
Serviço vinculado ao Azure Data Factory
O conector do Microsoft Fabric Lakehouse requer um registro de SPN (entidade de serviço) ou de aplicativo para autenticação. Para começar, você deve criar uma nova SPN ou usar uma existente. O Microsoft Fabric permite acesso do SPN a grupos de segurança específicos ou para toda a organização. Se um grupo de segurança específico for a opção usada pela sua organização, o SPN usado no conector do Lakehouse deverá pertencer a um grupo de segurança adicionado à lista de permissões.
Observação
As permissões da API do Power BI (delegadas) não são necessárias
Acesso a APIs do Power BI
No portal de administração do Power BI, o administrador do locatário do Power BI deve habilitar Permitir que as entidades de serviço usem as APIs do Power BI. O grupo de segurança deve ser especificado na configuração Permitir que as entidades de serviço usem as APIs do Power BI ou você pode habilitar para toda a organização.
Para obter um guia completo, consulte Inserir conteúdo do Power BI em um aplicativo de análise integrada usando uma entidade de serviço e um segredo do aplicativo.
Observação
Ao atribuir o Grupo de Segurança ao Workspace, pode haver um atraso para que a entidade de serviço tenha acesso ao Workspace devido ao cache de permissões no Azure. Se você precisar de acesso imediato, poderá usar o PowerShell para forçar uma atualização das permissões do usuário. Para fazer isso, abra o Windows PowerShell como administrador e execute os comandos a seguir:
Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace
Acesso ao workspace
Depois que o Grupo de segurança for adicionado, o Grupo de segurança ou a entidade de serviço também deverá ser adicionado a cada Workspace como Membro, Colaborador ou Administrador. Consulte Conceder aos usuários acesso a workspaces para obter mais detalhes.
Demonstração: Configurar a autenticação
Entidade de serviço de registro de aplicativo
Criar ou usar uma entidade de serviço (SPN) de registro de aplicativo existente. Siga as etapas em Registrar um aplicativo no Microsoft Entra ID e criar uma entidade de serviço.
Observação
Não é preciso atribuir um URI de redirecionamento.
Grupo de segurança
Crie um novo Grupo de Segurança do Microsoft Entra ou use um existente e adicione o SPN a ele. Siga as etapas em Criar um grupo básico e adicionar membros para criar um Grupo de segurança do Microsoft Entra.
Portal de administração do Power BI
No portal de administração do Power BI, navegue até Configurações do desenvolvedor e selecione a opção Permitir que entidades de serviço usem APIs do Power BI e habilite-a. Em seguida, adicione o Grupo de segurança da etapa anterior. Para obter mais informações sobre as configurações de locatário do portal de administração do Power BI, consulte Configurações do locatário.
Observação
Cetifique-se de que a configuração Os usuários podem acessar os dados armazenados no OneLake com aplicativos externos ao Fabric esteja habilitada. Consulte Permitir que aplicativos em execução fora do Fabric acessem dados por meio do OneLake.
Workspace
Adicione o SPN ou o grupo de serviços ao workspace com acesso de Membro, Colaborador ou Administrador.
Azure Data Factory: Serviço vinculado
No Azure Data Factory, crie um novo serviço vinculado do Microsoft Fabric Lakehouse.
Observação
Para localizar o workspace e os IDs do Lakehouse, navegue até o Fabric Lakehouse e identifique-o a partir da URL. Por exemplo: https://.../groups/<Workspace ID>>/lakehouses/<Lakehouse ID>
Azure Data Factory: Conjunto de dados
Crie um conjunto de dados que faça referência ao serviço vinculado do Microsoft Fabric Lakehouse.
Observação
Selecione Nenhum para a opção Importar esquema se a tabela ainda não existir e você estiver especificando manualmente um novo nome de tabela.
Demonstração: gravar em uma tabela do Fabric Lakehouse com um pipeline do ADF
Origem
Crie um novo pipeline e adicione uma atividade Copy à tela do pipeline. Na guia Origem da atividade Copy, selecione um conjunto de dados de origem que você deseja mover para uma tabela do Lakehouse. Neste exemplo, estamos fazendo referência a um arquivo .csv de uma conta do Azure Data Lake Storage (ADLS) Gen2.
Coletor
Navegue até a guia Coletor da atividade Copy e selecione o conjunto de dados do Fabric Lakehouse criado anteriormente.
Executar o pipeline
Execute o pipeline para mover os dados .csv para a tabela do Fabric Lakehouse.
Demonstração: ler a partir de uma tabela do Fabric Lakehouse com um pipeline do ADF
Na seção acima, demonstramos como usar o ADF para gravar em uma tabela do Fabric Lakehouse. Agora, vamos ler de uma tabela do Fabric Lakehouse e gravar em um arquivo Parquet no Azure Data Lake Storage (ADLS) Gen2 com um pipeline semelhante.
Origem
Crie um novo pipeline e adicione uma atividade Copy à tela do pipeline. Na guia Origem da atividade Copy, selecione o conjunto de dados do Fabric Lakehouse criado anteriormente.
Coletor
Navegue até a guia Coletor da atividade Copy e selecione o conjunto de dados de destino. Neste exemplo, o destino é o Azure Data Lake Storage (Gen2) como um arquivo Parquet.
Executar o pipeline
Execute o pipeline para mover os dados da tabela do Fabric Lakehouse para o arquivo Parquet no ADLS Gen2.
Inspecionar o arquivo Parquet no ADLS Gen2
Os dados da tabela do Fabric Lakehouse agora estão disponíveis no ADLS Gen2 como um arquivo Parquet.
Resumo
Nesta seção, exploramos os requisitos para o conector do Lakehouse usando a autenticação de entidade de serviço para um Microsoft Fabric Lakehouse e, em seguida, veremos um exemplo para leitura e gravação no Lakehouse a partir de um pipeline do Azure Data Factory. Esse conector e os recursos também estão disponíveis nos fluxos de dados de mapeamento do Azure Data Factory, no Azure Synapse Analytics e nos fluxos de dados de mapeamento do Azure Synapse Analytics.