Listar os métodos de ingestão do data factory
O Azure Data Factory pode acomodar organizações que estão embarcando em projetos de integração de dados a partir do ponto de partida diferente. É raro um projeto de migração de dados ser um projeto greenfield. Normalmente, muitos fluxos de trabalho de integração de dados devem considerar pipelines existentes que foram criados em projetos anteriores, com diferentes dependências e usando tecnologias diferentes. Para esse fim, existem vários métodos de ingestão que podem ser usados para extrair dados de uma variedade de fontes.
Ingestão de dados usando a Atividade de cópia
Use esse método para criar pipelines de ingestão de dados sem código que não exigem nenhuma transformação durante a extração dos dados. A atividade de cópia tem suporte para mais de 100 conectores nativos. Este método pode se adequar a projetos de campo verde que têm um método simples de extração para um armazenamento de dados intermediário. Um exemplo de ingestão de dados usando a Atividade de cópia pode incluir a extração de dados de vários sistemas de banco de dados de origem e a saída dos dados para arquivos em um armazenamento de data lake. O benefício desse método de ingestão é que eles são simples de criar, mas não são capazes de lidar com transformações sofisticadas ou lógica de negócios.
Ingerir dados usando recursos de computação
O Azure Data Factory pode recorrer a recursos de computação para processar dados através de um serviço de plataforma de dados que pode ser mais adequado ao trabalho. Um ótimo exemplo disso é que o Azure Data Factory pode criar um pipeline para uma plataforma de dados analíticos, como pools do Spark, em uma instância do Azure Synapse Analytics para executar um cálculo complexo, que gera novos dados. Esses dados são então ingeridos de volta ao pipeline para processamento posterior a jusante. Há uma ampla gama de recursos de computação e as atividades associadas que eles podem executar, conforme mostrado na tabela a seguir:
| Ambiente de computação | atividades |
|---|---|
| Cluster HDInsight sob demanda ou seu próprio cluster HDInsight | Colmeia, Porco, Faísca, MapReduce, Hadoop Streaming |
| Azure Batch | Atividades personalizadas |
| Azure Machine Learning Studio Machine | Atividades de aprendizagem: Execução em lote e recurso de atualização |
| Azure Machine Learning | Pipeline de Execução do Azure Machine Learning |
| Azure Data Lake Analytics | Data Lake Analytics U-SQL |
| Azure SQL, Azure SQL Data Warehouse, SQL Server | Procedimento Armazenado |
| Azure Databricks | Notebook, Jar, Python |
| Função do Azure | Atividade do Azure Function |
Ingerir dados usando pacotes SSIS
Muitas organizações têm décadas de investimento em desenvolvimento em pacotes do SQL Server Integration Services (SSIS) que contêm lógica de ingestão e transformação de armazenamentos de dados locais e na nuvem. O Azure Data Factory fornece a capacidade de elevar e deslocar a carga de trabalho existente do SSIS, criando um Tempo de Execução de Integração Azure-SSIS para executar nativamente pacotes SSIS, e permitirá que você implante e gerencie seus pacotes SSIS existentes com pouca ou nenhuma alteração usando ferramentas familiares, como o SSDT (SQL Server Data Tools) e o SQL Server Management Studio (SSMS), assim como usar o SSIS localmente.