Ingerir dados num conjunto de SQL dedicado

Neste artigo, irá aprender a ingerir dados de uma conta de armazenamento do Azure Data Lake Gen2 num conjunto de SQL dedicado no Azure Synapse Analytics.

Pré-requisitos

• Subscrição do Azure: se não tiver uma subscrição do Azure, crie uma conta gratuita do Azure antes de começar.
• Conta de armazenamento do Azure: utiliza o Azure Data Lake Storage Gen2 como arquivo de dados de origem. Se não tiver uma conta de armazenamento, veja Criar uma conta de Armazenamento do Azure para obter os passos para criar uma.
• Azure Synapse Analytics: utiliza um conjunto de SQL dedicado como um arquivo de dados sink.
  • Se não tiver uma área de trabalho do Synapse existente, veja Criar uma área de trabalho do Synapse
  • Se não tiver um conjunto de SQL dedicado existente. veja Criar um conjunto de SQL dedicado.

Criar serviços ligados

No Azure Synapse Analytics, um serviço ligado é onde define as suas informações de ligação a outros serviços. Nesta secção, irá adicionar uma Azure Synapse Analytics e Azure Data Lake Storage Gen2 serviço ligado.

1. Abra a Azure Synapse Analytics UX e aceda ao separador Gerir.
2. Em Ligações externas, selecione Serviços ligados.
3. Para adicionar um serviço ligado, selecione Novo.
4. Selecione o mosaico Azure Data Lake Storage Gen2 na lista e selecione Continuar.
5. Introduza as credenciais de autenticação. A chave de conta, o principal de serviço e a identidade gerida são atualmente tipos de autenticação suportados. Selecione Testar ligação para verificar se as credenciais estão corretas. Quando terminar, selecione Criar.
6. Repita os passos 3 a 5, mas em vez de Azure Data Lake Storage Gen2, selecione o mosaico Azure Synapse Analytics e introduza as credenciais de ligação correspondentes. Para o Azure Synapse Analytics, a autenticação SQL, a identidade gerida e o principal de serviço são atualmente suportados.

Criar pipeline

Um pipeline contém o fluxo lógico para uma execução de um conjunto de atividades. Nesta secção, irá criar um pipeline que contém uma atividade de cópia que ingere dados do ADLS Gen2 num conjunto de SQL dedicado.

1. Aceda ao separador Integrar . Selecione no ícone de adição junto ao cabeçalho pipelines e selecione Pipeline.
2. Em Mover e Transformar no painel de atividades, arraste Copiar dados para a tela do pipeline.
3. Selecione na atividade de cópia e aceda ao separador Origem . Selecione Novo para criar um novo conjunto de dados de origem.
4. Selecione Azure Data Lake Storage gen2 como arquivo de dados e selecione Continuar.
5. Selecione Texto Delimitado como formato e selecione Continuar.
6. No painel definir propriedades, selecione o serviço ligado do ADLS que criou. Especifique o caminho do ficheiro dos dados de origem e especifique se a primeira linha tem um cabeçalho. Pode importar o esquema do arquivo de ficheiros ou de um ficheiro de exemplo. Selecione OK quando terminar.
7. Aceda ao separador Sink . Selecione Novo para criar um novo conjunto de dados de sink.
8. Selecione Azure Synapse Analytics como arquivo de dados e selecione Continuar.
9. No painel definir propriedades, selecione o serviço ligado Azure Synapse Analytics que criou. Se estiver a escrever numa tabela existente, selecione-a na lista pendente. Caso contrário, selecione Editar e introduza o nome da nova tabela. Selecione OK quando terminar
10. Se estiver a criar uma tabela, ative a opção Criar tabela automaticamente no campo de opção tabela.

Depurar e publicar pipeline

Depois de concluir a configuração do pipeline, pode executar uma execução de depuração antes de publicar os artefactos para verificar se está tudo correto.

1. Para depurar o pipeline, selecione Depurar na barra de ferramentas. Verá o estado da execução do pipeline no separador Saída, na parte inferior da janela.
2. Assim que o pipeline puder ser executado com êxito, na barra de ferramentas superior, selecione Publicar Tudo. Esta ação publica entidades (conjuntos de dados e pipelines) que criou no serviço Synapse Analytics.
3. Aguarde até ver a mensagem Publicação com êxito. Para ver mensagens de notificação, selecione o botão de campainha no canto superior direito.

Acionar e monitorizar o pipeline

Neste passo, vai acionar manualmente o pipeline publicado no passo anterior.

1. Selecione Adicionar Acionador na barra de ferramentas e, em seguida, selecione Acionar Agora. Na página Executar Pipeline, selecione Concluir.
2. Aceda ao separador Monitor localizado na barra lateral esquerda. Verá uma execução de pipeline que é acionada por um acionador manual. Pode utilizar ligações na coluna Ações para ver os detalhes da atividade e voltar a executar o pipeline.
3. Para ver as execuções de atividade associadas à execução do pipeline, selecione a ligação Ver Execuções de Atividade na coluna Ações. Neste exemplo, existe apenas uma atividade, pelo que verá apenas uma entrada na lista. Para ver os detalhes da operação de cópia, selecione a ligação Detalhes (ícone de óculos), na coluna Ações. Selecione Execuções de Pipeline na parte superior para voltar à vista Execuções de Pipeline. Para atualizar a vista, selecione Atualizar.
4. Verifique se os dados estão escritos corretamente no conjunto de SQL dedicado.

Passos seguintes

Para obter mais informações sobre a integração de dados do Azure Synapse Analytics, veja o artigo Ingerir dados no Azure Data Lake Storage Gen2.