Ingerir dados no Warehouse usando pipeline de dados
Aplica-se a:✅Warehouse no Microsoft Fabric
Os pipelines de dados oferecem uma alternativa ao uso do comando COPY por meio de uma interface gráfica do usuário. Um pipeline de dados é um agrupamento lógico de atividades que juntas executam uma tarefa de ingestão de dados. Os pipelines permitem que você gerencie atividades ETL (extrair, transformar e carregar) em vez de gerenciar cada uma individualmente.
Nesse tutorial, você criará um novo pipeline que carrega dados de exemplo em um Warehouse no Microsoft Fabric.
Observação
Alguns recursos do Azure Data Factory não estão disponíveis no Microsoft Fabric, mas os conceitos são intercambiáveis. Você pode saber mais sobre Azure Data Factory e Pipelines em Pipelines e atividades no Azure Data Factory e Azure Synapse Analytics. Para um início rápido, visite Início Rápido: Criar seu primeiro pipeline para copiar dados.
Criar um pipeline de dados
Para criar um pipeline, navegue até o workspace, selecione o botão +Novo e selecione Pipeline de dados.
Para criar um pipeline, navegue até o workspace, selecione o botão +Novo item e selecione Pipeline de dados.
- Em seu workspace, selecione + Novo Item e procure o cartão Pipeline de dados na seção Obter dados.
- Ou selecione Criar no painel de navegação. Procure pelo cartão Pipeline de dados na seção Data Factory.
Na caixa de diálogo Novo pipeline, forneça um nome para o novo pipeline e selecione Criar.
Você chegará à área da tela do pipeline, onde verá opções para começar.
Escolha a opção Assistente de cópia de dados para iniciar o Assistente de cópia.
A primeira página do assistente de Cópia de dados ajuda você a escolher seus próprios dados de várias fontes de dados ou selecionar um dos exemplos fornecidos para começar. Selecione Dados de exemplo na barra de menus desta página. Para este tutorial, usaremos o exemplo do Data Lake da COVID-19 . Selecione esta opção e selecione Avançar.
Na próxima página, você pode selecionar um conjunto de dados, o formato do arquivo de origem e visualizar o conjunto de dados selecionado. Selecione COVID-19 do Bing, o formato CSV e selecione Avançar.
A próxima página, Destinos de dados, permite que você configure o tipo de espaço de trabalho de destino. Carregaremos dados em um warehouse em nosso workspace. Selecione o warehouse desejado na lista suspensa e selecione Avançar.
A última etapa para configurar o destino é fornecer um nome para a tabela de destino e configurar os mapeamentos de coluna. Aqui você pode optar por carregar os dados em uma nova tabela ou em uma existente, fornecer um esquema e nomes de tabela, alterar nomes de colunas, remover colunas ou alterar seus mapeamentos. Você pode aceitar os padrões ou ajustar as configurações à sua preferência.
Quando terminar de revisar as opções, selecione Avançar.
A próxima página oferece a opção de usar o preparo ou fornecer opções avançadas para a operação de cópia de dados (que usa o comando T-SQL COPY). Examine as opções sem alterá-las e selecione Próximo.
A última página no assistente oferece um resumo da atividade de cópia. Selecione a opção Iniciar transferência de dados imediatamente e selecione Salvar + Executar.
Você é direcionado para a área de tela do pipeline, em que uma nova atividade Copiar Dados já está configurada para você. O pipeline começa a ser executado automaticamente. Você pode monitorar o status do pipeline no painel Saída:
Após alguns segundos, o pipeline será concluído com sucesso. Navegando de volta para o warehouse, você pode selecionar sua tabela para visualizar os dados e confirmar que a operação de cópia foi concluída.
Para obter mais informações sobre ingestão de dados em seu Warehouse no Microsoft Fabric, visite:
- Ingerir dados no warehouse
- Ingerir dados em seu Warehouse usando a instrução COPY
- Ingerir dados no Warehouse usando Transact-SQL