Listar os métodos de ingestão do data factory
O Azure Data Factory pode acomodar as organizações que estão embarcando em projetos de integração de dados de um ponto de partida diferente. É raro que um projeto de migração de dados seja um projeto de greenfield. Normalmente, muitos fluxos de trabalho de integração de dados devem considerar os pipelines que foram criados em projetos anteriores, com diferentes dependências e usando tecnologias diferentes. Para esse fim, vários métodos de ingestão podem ser usados para extrair dados de uma variedade de fontes.
Ingestão de dados usando a atividade Copy
Use este método para criar pipelines de ingestão de dados livres de código que não exigem nenhuma transformação durante a extração dos dados. A atividade Copy tem suporte para mais de cem conectores nativos. Esse método pode se adaptar a projetos de greenfield que têm um método simples de extração para um armazenamento de dados intermediário. Um exemplo de ingestão de dados usando a Atividade de Cópia pode incluir a extração de dados de vários sistemas de banco de dados de origem e a saída dos dados para arquivos em um armazenamento de data lake. O benefício desse método de ingestão é que ele é simples de criar, mas não consegue lidar com transformações nem lógica empresarial sofisticadas.
Como ingerir dados usando recursos de computação
Azure Data Factory pode chamar em recursos de computação para processar dados por um serviço de plataforma de dados que pode ser mais adequado para o trabalho. Um ótimo exemplo disso é que Azure Data Factory pode criar um pipeline para uma plataforma de dados analíticos, como pools do Spark em uma instância do Azure Synapse Analytics para executar um cálculo complexo, que gera dados. Esses dados então são ingeridos no pipeline para um processamento mais longo downstream. Há uma ampla gama de recursos de computação e as atividades associadas que eles podem executar, conforme mostra a seguinte tabela:
| Ambiente de computação | atividades |
|---|---|
| Cluster HDInsight sob demanda ou seu próprio cluster HDInsight | Hive, Pig, Spark, MapReduce, Hadoop Streaming |
| Lote do Azure | Atividades personalizadas |
| Computador do Estúdio do Azure Machine Learning | Atividades de machine learning: Batch Execution e Update Resource |
| Azure Machine Learning | Pipeline de execução do Azure Machine Learning |
| Análise Azure Data Lake | U-SQL da Análise Data Lake |
| Azure SQL, Azure SQL Data Warehouse, SQL Server | Procedimento armazenado |
| Azure Databricks | Notebook, Jar, Python |
| Azure Function | Atividade do Azure Function |
Como ingerir dados usando pacotes SSIS
Muitas organizações têm décadas de investimento em desenvolvimento em pacotes SSIS (SQL Server Integration Services) que contêm a lógica de ingestão e transformação de armazenamentos de dados locais e na nuvem. O Azure Data Factory permite realizar o lift-and-shift da carga de trabalho do SSIS existente, criando um Azure-SSIS Integration Runtime para executar pacotes SSIS nativamente. Ele permitirá que você implante e gerencie seus pacotes SSIS existentes com pouca ou nenhuma alteração usando ferramentas familiares como SSDT (SQL Server Data Tools) e SSMS (SQL Server Management Studio), exatamente como usar o SSIS no local.