O que é o trabalho de cópia (visualização) no Data Factory para Microsoft Fabric
O Data Factory in Fabric permite que os usuários integrem perfeitamente dados de mais de 100 conectores integrados - fontes e destinos - por meio de uma interface visualmente intuitiva. A atividade Copiar, trabalhando dentro de pipelines de dados, facilita a ingestão de dados. Enquanto isso, o Dataflow Gen2 suporta transformações de dados e os pipelines orquestram o fluxo de integração.
Vantagens do trabalho de cópia
Embora a atividade de cópia dentro de pipelines de dados lide com a ingestão de dados com operações em massa/lote, a criação de pipelines de dados no Data Factory ainda é um desafio para muitos usuários que são novos no campo, com uma curva de aprendizado mais íngreme. Por isso, estamos entusiasmados em apresentar o trabalho de cópia, elevando a experiência de ingestão de dados para um processo mais simplificado e fácil de usar, de qualquer origem para qualquer destino. Agora, copiar seus dados é mais fácil do que nunca. Além disso, o trabalho de cópia suporta vários estilos de entrega de dados, incluindo cópia em lote e cópia incremental, oferecendo flexibilidade para atender às suas necessidades específicas.
Algumas vantagens do trabalho de cópia em relação a outros métodos de movimentação de dados incluem:
- Experiência intuitiva: experimente a cópia de dados sem interrupções sem compromissos, tornando-a mais fácil do que nunca.
- Eficiência: Permita cópias incrementais sem esforço, reduzindo a intervenção manual. Essa eficiência se traduz em menor utilização de recursos e durações de cópia mais rápidas.
- Flexibilidade: Ao mesmo tempo que aprecia a simplicidade, também tem a flexibilidade de controlar o movimento dos seus dados. Escolha quais tabelas e colunas copiar, mapeie os dados, defina o comportamento de leitura/gravação e defina agendas que atendam às suas necessidades, seja para uma tarefa única ou uma operação recorrente.
- Desempenho robusto: Uma configuração sem servidor que permite a transferência de dados com paralelismo em grande escala, maximizando a taxa de transferência de movimentação de dados para o seu sistema.
Conectores suportados
Atualmente, você pode usar o trabalho Copiar para transferência de dados na nuvem ou copiar dados de um armazenamento de dados local via gateway. O trabalho Copiar suporta os seguintes armazenamentos de dados como origem e destino:
- BD SQL do Azure
- SQL Server local
- Armazém de Tecidos
- Tecido Lakehouse
- Amazon S3
- Armazenamento do Azure Data Lake Ger2
- Armazenamento de Blobs do Azure
- Amazon RDS para SQL Server
A equipe de produto está explorando mais suporte ao conector, portanto , fique atento às atualizações.
Comportamento de cópia
Você pode escolher entre os seguintes estilos de entrega de dados.
- Modo de cópia completa: cada tarefa de cópia executada copia todos os dados da origem para o destino de uma só vez.
- Modo de cópia incremental: a execução inicial do trabalho copia todos os dados e a execução do trabalho subsequente copia apenas as alterações desde a última execução. Os dados alterados são anexados ao seu repositório de destino.
Você também pode escolher como os dados são gravados no armazenamento de destino.
Por padrão, Copiar trabalho acrescenta dados ao seu destino, para que você não perca nenhum histórico de alterações. Mas, você também pode ajustar o comportamento de gravação para upsert ou overwrite.
- Quando copiar dados para armazenamento de armazenamento: Novas linhas das tabelas ou arquivos são copiadas para novos arquivos no destino. Se um arquivo com o mesmo nome já existir no armazenamento de destino, ele será substituído.
- Ao copiar dados para o banco de dados: novas linhas das tabelas ou arquivos são acrescentadas às tabelas de destino. Você pode alterar o comportamento de gravação para upsert (no SQL DB ou SQL Server) ou overwrite (em tabelas Fabric Lakehouse).
Coluna incremental
No modo de cópia incremental, você precisará selecionar uma coluna incremental para cada tabela para identificar alterações. Copy Job usa essa coluna como uma marca d'água, comparando seu valor com o mesmo da última execução para copiar apenas os dados novos ou atualizados. A coluna incremental tem de ser um carimbo de data/hora ou um INT crescente.
Disponibilidade da região
O trabalho Copiar tem a mesma disponibilidade regional que o pipeline.
Preços
O trabalho Copiar usa o mesmo medidor de faturamento: Movimentação de dados, com uma taxa de consumo idêntica.