Como ingerir dados no Fabric usando a atividade de Cópia do Azure Data Factory
O conector Microsoft Fabric Lakehouse no Azure Data Factory (ADF) e no Azure Synapse Analytics permite operações de leitura e gravação no Microsoft Fabric Lakehouse (para tabelas e arquivos). Esse conector oferece a capacidade de usar seus pipelines ADF e Synapse existentes e mapear fluxos de dados para interagir com o Fabric Lakehouses. Este artigo ajuda você a configurar o Microsoft Fabric para permitir a autenticação da entidade de serviço e, em seguida, demonstra o Lakehouse Connector para leitura e gravação no Fabric Lakehouse.
Para obter mais informações sobre o Microsoft Fabric Lakehouse, consulte O que é uma lakehouse?
Azure Data Factory Lakehouse Connector
Um novo conector de serviço vinculado Lakehouse e dois novos conjuntos de dados agora estão disponíveis para clientes que desejam começar a ler e gravar no Microsoft Fabric Lakehouse. Para obter um guia completo sobre o Lakehouse Connector, consulte Copiar e transformar dados no Microsoft Fabric Lakehouse Files (Preview).
Autenticação
Serviço vinculado do Azure Data Factory
O conector do Microsoft Fabric Lakehouse requer um registro de entidade de serviço (SPN)/aplicativo para autenticação. Para começar, você deve criar um novo SPN ou usar um existente. O Microsoft Fabric permite o acesso do SPN a grupos de segurança específicos ou para toda a organização. Se um grupo de segurança específico for a opção usada pela sua organização, o SPN usado no conector Lakehouse deverá pertencer a um grupo de segurança adicionado à lista de permissões.
Nota
As permissões da API do Power BI (delegadas) não são necessárias
Acesso às APIs do Power BI
No portal de administração do Power BI, o administrador de locatário do Power BI deve habilitar Permitir que as entidades de serviço usem APIs do Power BI. O grupo de segurança deve ser especificado na configuração Permitir que entidades de serviço usem APIs do Power BI ou você pode habilitar para toda a organização.
Para obter um guia completo, consulte Incorporar conteúdo do Power BI em um aplicativo de análise incorporado com entidade de serviço e um segredo de aplicativo.
Nota
Ao atribuir o Grupo de Segurança ao Espaço de Trabalho, pode haver um atraso para que a entidade de serviço receba acesso ao Espaço de Trabalho devido ao cache de permissões no Azure. Se você precisar de acesso imediato, poderá usar o PowerShell para forçar uma atualização das permissões do usuário. Para fazer isso, abra o PowerShell como administrador e execute os seguintes comandos:
Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace
Acesso à área de trabalho
Depois que o Grupo de Segurança for adicionado, o Grupo de Segurança ou a entidade de serviço também deverá ser adicionado a cada Espaço de Trabalho como Membro, Colaborador ou Administrador. Consulte Conceder aos usuários acesso a espaços de trabalho para obter mais detalhes.
Demonstração: Configurar a autenticação
Principal do serviço de registo de aplicações
Crie ou use uma entidade de serviço de registro de aplicativo (SPN) existente. Siga as etapas em Registrar um aplicativo com o Microsoft Entra ID e crie uma entidade de serviço.
Nota
Não é necessário atribuir um URI de redirecionamento.
Grupo de segurança
Crie um novo Grupo de Segurança do Microsoft Entra ou use um existente e adicione o SPN a ele. Siga as etapas em Criar um grupo básico e adicionar membros para criar um Grupo de Segurança do Microsoft Entra.
Portal de administração do Power BI
No portal de administração do Power BI, navegue até Configurações do desenvolvedor, selecione Permitir que as entidades de serviço usem APIs do Power BI e habilite-o. Em seguida, adicione o Grupo de Segurança da etapa anterior. Para obter mais informações sobre as configurações de locatário do portal de administração do Power BI, consulte Configurações do locatário.
Nota
Certifique-se de que a configuração Usuários podem acessar dados armazenados no OneLake com aplicativos externos ao Fabric esteja habilitada. Consulte Permitir que aplicativos executados fora da malha acessem dados por meio do OneLake.
Área de trabalho
Adicione o SPN ou o grupo de serviços ao espaço de trabalho com acesso de Membro, Colaborador ou Administrador .
Azure Data Factory: Serviço vinculado
No Azure Data Factory, crie um novo serviço vinculado do Microsoft Fabric Lakehouse .
Nota
Para encontrar o espaço de trabalho e os IDs do Lakehouse, navegue até o Fabric Lakehouse e identifique-o a partir do URL. Por exemplo: https://.../groups/<Workspace ID>>/lakehouses/<Lakehouse ID>
Azure Data Factory: Conjunto de dados
Crie um Dataset que faça referência ao serviço vinculado do Microsoft Fabric Lakehouse.
Nota
Selecione Nenhum para a opção Importar esquema se a tabela ainda não existir e você estiver especificando manualmente um novo nome de tabela.
Demonstração: Escreva em uma mesa Fabric Lakehouse com um pipeline do ADF
Source
Crie um novo pipeline e adicione uma atividade Copy à tela do pipeline. Na guia Origem da atividade Copiar, selecione um conjunto de dados de origem que você deseja mover para uma tabela do Lakehouse. Neste exemplo, estamos fazendo referência a um arquivo .csv de uma conta Gen2 do Azure Data Lake Storage (ADLS).
Sink
Navegue até a guia Coletor da atividade Copiar e selecione o conjunto de dados Fabric Lakehouse criado anteriormente.
Executar o pipeline
Execute o pipeline para mover os dados .csv para a tabela Fabric Lakehouse.
Demonstração: Leia a partir de uma tabela Fabric Lakehouse com um pipeline ADF
Na seção acima, demonstramos como usar o ADF para escrever em uma tabela Fabric Lakehouse. Agora, vamos ler a partir de uma tabela Fabric Lakehouse e gravar em um arquivo Parquet no Azure Data Lake Storage (ADLS) Gen2 com um pipeline semelhante.
Source
Crie um novo pipeline e adicione uma atividade Copy à tela do pipeline. Na guia Origem da atividade Copiar, selecione o conjunto de dados Fabric Lakehouse criado anteriormente.
Sink
Navegue até a guia Coletor da atividade de cópia e selecione o conjunto de dados de destino. Neste exemplo, o destino é o Azure Data Lake Storage (Gen2), como um arquivo Parquet.
Executar o pipeline
Execute o pipeline para mover os dados da tabela Fabric Lakehouse para o arquivo Parquet no ADLS Gen2.
Inspecione o arquivo Parquet no ADLS Gen2
Os dados da tabela Fabric Lakehouse estão agora disponíveis no ADLS Gen2 como um arquivo Parquet.
Resumo
Nesta seção, exploramos os requisitos para o Lakehouse Connector usando a autenticação da entidade de serviço em um Microsoft Fabric Lakehouse e, em seguida, percorremos um exemplo para ler e gravar no Lakehouse a partir de um pipeline do Azure Data Factory. Esse conector e esses recursos também estão disponíveis em Fluxos de Dados de Mapeamento do Azure Data Factory, Azure Synapse Analytics e Fluxos de Dados de Mapeamento do Azure Synapse Analytics.