Carregar dados no Azure Synapse Analytics usando o Azure Data Factory ou um pipeline Synapse

Artigo
05/15/2024

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!

O Azure Synapse Analytics é um banco de dados escalável baseado em nuvem capaz de processar grandes volumes de dados, relacionais e não relacionais. O Azure Synapse Analytics baseia-se na arquitetura de processamento paralelo maciço (MPP) otimizada para cargas de trabalho de armazém de dados empresariais. Ele oferece elasticidade na nuvem com a flexibilidade de dimensionar o armazenamento e a computação de forma independente.

Começar a usar o Azure Synapse Analytics agora é mais fácil do que nunca. O Azure Data Factory e a funcionalidade de pipelines equivalente no próprio Azure Synapse proporcionam um serviço de integração de dados totalmente gerido com base na cloud. Pode utilizar o serviço para preencher um Azure Synapse Analytics com dados do sistema existente e poupar tempo ao criar as soluções de análise.

O Azure Data Factory e os pipelines Synapse oferecem os seguintes benefícios para carregar dados no Azure Synapse Analytics:

Fácil de configurar: Um assistente intuitivo de 5 passos sem necessidade de scripts.
Suporte avançado a armazenamento de dados: suporte integrado para um conjunto avançado de armazenamentos de dados locais e baseados em nuvem. Para obter uma lista detalhada, consulte a tabela de Armazenamentos de dados suportados.
Seguro e compatível: os dados são transferidos por HTTPS ou ExpressRoute. A presença do serviço global garante que seus dados nunca saiam do limite geográfico.
Desempenho incomparável usando PolyBase: o Polybase é a maneira mais eficiente de mover dados para o Azure Synapse Analytics. Use o recurso de blob de preparo para obter altas velocidades de carregamento de todos os tipos de armazenamentos de dados, incluindo o armazenamento de Blob do Azure e o Repositório Data Lake. (O Polybase dá suporte ao armazenamento de Blob do Azure e ao Repositório Azure Data Lake por padrão.) Para obter detalhes, consulte Copiar desempenho da atividade.

Este artigo mostra como usar a ferramenta Copiar Dados para carregar dados do Banco de Dados SQL do Azure no Azure Synapse Analytics. Você pode seguir etapas semelhantes para copiar dados de outros tipos de armazenamentos de dados.

Nota

Para obter mais informações, consulte Copiar dados de ou para o Azure Synapse Analytics.

Pré-requisitos

Assinatura do Azure: se você não tiver uma assinatura do Azure, crie uma conta gratuita antes de começar.
Azure Synapse Analytics: o armazém de dados contém os dados copiados da base de dados SQL. Se você não tiver um Azure Synapse Analytics, consulte as instruções em Criar um Azure Synapse Analytics.
Banco de Dados SQL do Azure: este tutorial copia dados do conjunto de dados de exemplo do Adventure Works LT no Banco de Dados SQL do Azure. Você pode criar esse banco de dados de exemplo no Banco de Dados SQL seguindo as instruções em Criar um banco de dados de exemplo no Banco de Dados SQL do Azure.
Conta de armazenamento do Azure: o Armazenamento do Azure é usado como o blob de preparo na operação de cópia em massa. Se não tem uma conta de armazenamento do Azure, veja as instruções apresentadas em Criar uma conta de armazenamento.

Criar uma fábrica de dados

Se você ainda não criou sua fábrica de dados, siga as etapas em Guia de início rápido: criar uma fábrica de dados usando o portal do Azure e o Azure Data Factory Studio para criar uma. Depois de criá-lo, navegue até o data factory no portal do Azure.
Selecione Abrir no bloco Abrir o Azure Data Factory Studio para iniciar o aplicativo Integração de Dados em uma guia separada.

Carregar dados para o Azure Synapse Analytics

Na home page do Azure Data Factory ou do espaço de trabalho Azure Synapse, selecione o bloco Ingest para iniciar a ferramenta Copiar Dados. Em seguida, escolha a tarefa Cópia interna.
Na página Propriedades, escolha Tarefa de cópia interna em Tipo de tarefa e selecione Avançar.
Na página Armazenamento de dados de origem, conclua as seguintes etapas:

Gorjeta

Neste tutorial, você usa a autenticação SQL como o tipo de autenticação para seu armazenamento de dados de origem, mas pode escolher outros métodos de autenticação suportados:Service Principal e Managed Identity , se necessário. Consulte as seções correspondentes neste artigo para obter detalhes. Para armazenar segredos para armazenamentos de dados com segurança, também é recomendável usar um Cofre de Chaves do Azure. Consulte este artigo para obter ilustrações detalhadas.
1. Selecione + Nova ligação.
2. Selecione Banco de Dados SQL do Azure na galeria e selecione Continuar. Você pode digitar "SQL" na caixa de pesquisa para filtrar os conectores.
3. Na página Nova conexão (Banco de Dados SQL do Azure), selecione o nome do servidor e o nome do banco de dados na lista suspensa e especifique o nome de usuário e a senha. Selecione Testar conexão para validar as configurações e, em seguida, selecione Criar.
4. Na página Armazenamento de dados de origem, selecione a conexão recém-criada como fonte na seção Conexão.
5. Na seção Tabelas de origem, insira SalesLT para filtrar as tabelas. Escolha a caixa (Selecionar tudo) para usar todas as tabelas para a cópia e, em seguida, selecione Avançar.
Na página Aplicar filtro, especifique suas configurações ou selecione Avançar. Você pode visualizar dados e visualizar o esquema dos dados de entrada selecionando o botão Visualizar dados nesta página.
Na página Armazenamento de dados de destino, conclua as seguintes etapas:

Gorjeta

Neste tutorial, você usa a autenticação SQL como o tipo de autenticação para seu armazenamento de dados de destino, mas pode escolher outros métodos de autenticação suportados:Service Principal e Managed Identity , se necessário. Consulte as seções correspondentes neste artigo para obter detalhes. Para armazenar segredos para armazenamentos de dados com segurança, também é recomendável usar um Cofre de Chaves do Azure. Consulte este artigo para obter ilustrações detalhadas.
1. Selecione + Nova conexão para adicionar uma conexão.
2. Selecione Azure Synapse Analytics na galeria e selecione Continuar.
3. Na página Nova conexão (Azure Synapse Analytics), selecione o nome do servidor e o nome do banco de dados na lista suspensa e especifique o nome de usuário e a senha. Selecione Testar conexão para validar as configurações e, em seguida, selecione Criar.
4. Na página Armazenamento de dados de destino, selecione a conexão recém-criada como coletor na seção Conexão.
Na seção Mapeamento de tabela , revise o conteúdo e selecione Avançar. Um mapeamento de tabela inteligente é exibido. As tabelas de origem são mapeadas para as tabelas de destino com base nos nomes das tabelas. Se uma tabela de origem não existir no destino, o serviço criará uma tabela de destino com o mesmo nome por padrão. Você também pode mapear uma tabela de origem para uma tabela de destino existente.
Na página Mapeamento de colunas, revise o conteúdo e selecione Avançar. O mapeamento inteligente da tabela é baseado no nome da coluna. Se você permitir que o serviço crie automaticamente as tabelas, a conversão de tipo de dados poderá ocorrer quando houver incompatibilidades entre os armazenamentos de origem e de destino. Se houver uma conversão de tipo de dados sem suporte entre a coluna de origem e de destino, você verá uma mensagem de erro ao lado da tabela correspondente.
Na página Configurações, conclua as seguintes etapas:
1. Especifique CopyFromSQLToSQLDW para o campo Nome da tarefa .
2. Na seção Configurações de preparo, selecione + Novo para um novo armazenamento de preparo. O armazenamento é usado para preparar os dados antes de serem carregados no Azure Synapse Analytics usando o PolyBase. Após a conclusão da cópia, os dados provisórios no Armazenamento de Blobs do Azure são limpos automaticamente.
3. Na página Novo serviço vinculado, selecione sua conta de armazenamento e selecione Criar para implantar o serviço vinculado.
4. Desmarque a opção Usar tipo padrão e selecione Avançar.
Na página Resumo, revise as configurações e selecione Avançar.
Na Página de implementação, selecione Monitorizar para monitorizar o pipeline (tarefa).
Tenha em atenção que o separador Monitorização à esquerda é selecionado automaticamente. Quando a execução do pipeline for concluída com êxito, selecione o link CopyFromSQLToSQLDW na coluna Nome do pipeline para exibir os detalhes da execução da atividade ou executar novamente o pipeline.
- Fábrica de Dados do Azure
- Azure Synapse

Para voltar para a exibição de execuções de pipeline, selecione o link Todas as execuções de pipeline na parte superior. Selecione Atualizar para atualizar a lista.
Para monitorar os detalhes de execução de cada atividade de cópia, selecione o link Detalhes (ícone de óculos) em Nome da atividade na exibição de execução da atividade. Você pode monitorar detalhes como o volume de dados copiados da origem para o coletor, taxa de transferência de dados, etapas de execução com duração correspondente e configurações usadas.