Exercício - Use a atividade de cópia de fábrica de dados

  • 8 minutos

Quando a criação da instância do Data Factory estiver concluída, você poderá ir para o recurso onde poderá começar a criar seus pipelines de dados clicando no botão Author & Monitor . Isso abrirá a seguinte tela:

Authoring in Azure Data Factory

A primeira etapa em seu pipeline é criar uma Atividade de cópia que copia dados entre a origem e o destino usando as etapas a seguir.

  1. Abra a tela de criação clicando no ícone de lápis na barra lateral esquerda ou no botão criar pipeline para abrir a tela de criação.

    Screenshot that shows the Create pipeline option highlighted.

  2. Criar o pipeline. Clique no + botão no painel Recursos de fábrica e selecione Pipeline.

    Screenshot that shows Factory Resources under the Data Factory tab. The plus symbol is selected, exposing Pipeline, both are highlighted.

  3. Adicione uma atividade de cópia. No painel Atividades, abra o acordeão Mover e Transformar e arraste a atividade Copiar Dados para a tela do pipeline.

    Using the Copy Activity

Com a Atividade de cópia adicionada, você começa a definir os dados de origem

  1. Na guia Fonte das configurações de Copiar atividade, clique em + Novo para selecionar uma fonte de dados.

    Creating as data source

  2. Por exemplo, na lista de armazenamento de dados, selecione o bloco do Amazon S3 e clique em continuar

    Select Amazon S3 as a data source

  3. Na lista de formatos de arquivo, selecione o bloco Formato DelimitedText e clique em continuar

    Screenshot that shows Delimited Text selected in the Select format list.

  4. Na janela Definir Propriedades, dê ao seu conjunto de dados um nome compreensível e clique no menu suspenso Serviço Vinculado. Se você não criou o Serviço Vinculado do S3, selecione Novo.

    Screenshot that shows the Set Properties window, with filter highlighted under Linked service.

  5. Específico para o painel de configuração do Serviço Vinculado do S3, especifique a chave de acesso e a chave secreta do S3. O serviço Data Factory criptografa credenciais com certificados gerenciados pela Microsoft. Para obter mais informações, consulte Considerações sobre segurança de movimentação de dados. Para verificar se suas credenciais são válidas, clique em Testar Conexão. Clique em Criar quando terminar.

    Setting data source access with keys

  6. Depois de criar e selecionar o serviço vinculado, especifique o restante das configurações do conjunto de dados. Essas configurações especificam como e onde na sua conexão você deseja extrair os dados. Clique em Concluir depois de concluído.

    Finishing up data source settings

  7. Para verificar se o conjunto de dados está configurado corretamente, clique em Visualizar Dados na guia Origem da Atividade de Cópia para obter um pequeno instantâneo dos dados.

    Previewing data

Com os dados de origem definidos, você definirá o coletor no qual os dados serão carregados. Neste exemplo, o coletor será o Azure Data Lake Storage Gen2 executando as seguintes etapas:

  1. Na guia Coletor, clique em + Novo

    Defining a data sink in the Copy Activity

  2. Selecione o bloco Azure Data lake Storage Gen2 e clique em continuar

    Defining the dataset

  3. Em Definir navegação lateral Propriedades, dê ao conjunto de dados um nome compreensível e clique na lista suspensa Serviço vinculado. Se você não criou seu Serviço Vinculado ADLS, selecione Novo.

    Setting the dataset properties

  4. No painel de configuração do serviço vinculado ADLS, selecione seu método de autenticação e insira suas credenciais. No exemplo abaixo, uma chave de conta e selecionou minha conta de armazenamento na lista suspensa.

    Finalizing the dataset properties

  5. Depois de configurar o serviço vinculado, insira a configuração do conjunto de dados ADLS. Clique em Concluir depois de concluído.

    Finish the dataset properties

Neste ponto, você configurou totalmente sua atividade de cópia.

  1. Para testá-lo, clique no botão Depurar na parte superior da tela do pipeline. Isso iniciará uma execução de depuração de pipeline.

    Testing the Copy Activity

  2. Para monitorar o progresso de uma execução de depuração de pipeline, clique na guia Saída do pipeline

    Monitoring the Copy Activity

  3. Para visualizar uma descrição mais detalhada da saída da atividade, clique no ícone de óculos. Isso abrirá a tela de monitoramento de cópias, que fornece métricas úteis, como dados lidos/gravados, taxa de transferência e estatísticas detalhadas de duração.

    Viewing the Copy Activity Results

Para verificar se a cópia funcionou conforme o esperado, abra sua conta de armazenamento ADLS gen2 e verifique se o arquivo foi escrito conforme o esperado