Quando usar o Azure Data Factory
Nesta unidade, discutimos como determinar se o Azure Data Factory é uma solução de integração de dados adequada para sua organização. Avaliamos o Azure Data Factory de acordo com os seguintes critérios:
- Requisitos para a integração de dados
- Recursos de codificação
- Suporte para várias fontes de dados
- Infraestrutura sem servidor
Critérios de decisão
Para determinar se o Azure Data Factory deve ser usado, use os critérios descritos na tabela a seguir.
| Critérios | Análise |
|---|---|
| Você precisa de integração de dados? | Se sua organização trabalha com big data ou é uma organização de data warehousing relacional tradicional, você pode estar interessado em uma solução de integração de dados. |
| Você tem os recursos de codificação necessários? | Nem todo mundo que trabalha com dados tem experiência em codificação. Alguns podem preferir trabalhar com ferramentas gráficas que fornecem visualizações para ajudar a criar as tarefas que funcionam com dados de origem. |
| Você precisa trabalhar com várias fontes de dados? | Algumas organizações podem ter seus dados brutos armazenados em uma variedade de sistemas diferentes, tanto locais quanto baseados em nuvem. Uma solução de análise de dados deve ser capaz de se conectar facilmente a muitas fontes de dados. |
| Você pode criar, gerenciar e manter componentes de integração de dados separados? | Sem um serviço gerenciado para análise de dados, as empresas devem criar componentes personalizados de movimentação de dados. Como alternativa, eles podem criar serviços personalizados para integrar suas fontes de dados e processamento. A integração e manutenção desses sistemas pode ser dispendiosa e difícil. Além disso, nem todos esses sistemas têm o monitoramento, alerta e controles que um serviço totalmente gerenciado oferece. |
Aplicar os critérios
Analise as perguntas a seguir ao considerar o Azure Data Factory como sua solução de integração de dados.
Você precisa de integração de dados?
Se sua organização for pequena e trabalhar com fontes de dados limitadas, talvez você não precise de um serviço de integração de dados. Se, no entanto, sua organização trabalha com big data ou é uma organização de data warehousing relacional tradicional, você pode se beneficiar de uma solução de integração de dados. Considere os pontos seguintes:
- As organizações de Big Data dependem de tecnologias para lidar com grandes quantidades de dados diversos. Para eles, o Azure Data Factory fornece um meio de criar e executar pipelines na nuvem. Esses pipelines podem acessar serviços de dados locais e na nuvem. Esses pipelines normalmente funcionam com tecnologias como Azure Synapse Analytics, Azure Blobs e Azure Data Lake. Além disso, Azure HDInsight, Azure Databricks e Azure Machine Learning.
- As organizações de armazenamento de dados relacionais normalmente dependem de tecnologias como o SQL Server. O SQL Server Integration Services (SSIS) é frequentemente usado para criar pacotes SSIS. Para essas organizações, o Azure Data Factory oferece a capacidade de executar pacotes SSIS no Azure, permitindo que elas acessem serviços de dados locais e na nuvem.
Você tem os recursos de codificação necessários?
Se a sua organização não tiver os recursos de codificação necessários para criar as atividades necessárias, considere o Azure Data Factory. O Azure Data Factory fornece um processo de baixo código/sem código para trabalhar com fontes de dados e atividades relacionadas. Por exemplo, a ferramenta de criação e monitoramento do Azure Data Factory permite criar pipelines graficamente arrastando e soltando atividades em uma superfície de design. A captura de tela a seguir mostra a interface onde um engenheiro de dados está criando um pipeline com várias atividades:
Você precisa trabalhar com várias fontes de dados?
Se sua organização tiver um requisito para acessar dados em vários locais e de várias fontes, você precisará considerar uma solução de integração de dados que forneça esse suporte. O Azure Data Factory usa conectores para integração com fontes de dados diferentes. Existem atualmente mais de 90 fontes de dados suportadas. Além disso, o Azure Data Factory dá suporte a opções extensíveis para alcançar outras fontes de dados.
Você pode criar, gerenciar e manter componentes de integração de dados separados?
Pode ser complexo e demorado criar e gerenciar sua própria solução de integração de dados baseada em servidor. No entanto, se a execução dessa solução no datacenter da sua organização funcionar para você, você não precisará considerar o Azure Data Factory. No entanto, há vantagens em usar uma solução totalmente gerenciada e sem servidor para integração de dados. Os principais benefícios incluem:
- A capacidade de escalar conforme necessário para suportar mais cargas de trabalho.
- Não há necessidade de implantar, configurar e manter servidores para hospedar suas cargas de trabalho de integração de dados.
Resumo
Em resumo, considere o Azure Data Factory quando atender a um ou mais dos seguintes critérios:
- Seus engenheiros de dados não têm o tempo necessário para criar código para executar tarefas de análise de dados.
- Você tem várias fontes de dados em locais diferentes.
- Você quer tirar proveito de uma solução totalmente gerenciada e baseada em nuvem.