Quando usar o Azure Data Factory
Nesta unidade, discutiremos como determinar se o Azure Data Factory é uma solução de integração de dados adequada para sua organização. Avaliamos o Azure Data Factory em relação aos seguintes critérios:
- Requisitos de integração de dados
- Recursos de codificação
- Suporte a várias fontes de dados
- Infraestrutura sem servidor
Critérios de decisão
Para determinar se você deve usar o Azure Data Factory, use os critérios descritos na tabela a seguir.
| Critérios | Análise |
|---|---|
| Você precisa da integração de dados? | Se a sua organização trabalha com Big Data ou é uma organização tradicional de armazenamento de dados relacionais, você pode estar interessado na solução de integração de dados. |
| Você tem os recursos de codificação necessários? | Nem todos que trabalham com os dados têm experiência em codificação. Alguns podem preferir trabalhar com ferramentas gráficas que fornecem visualizações para ajudar a criar as tarefas que funcionam com dados de origem. |
| Você precisa trabalhar com várias fontes de dados? | Algumas organizações podem armazenar os dados brutos em uma variedade de sistemas diferentes, tanto locais quanto baseados em nuvem. Uma solução de análise de dados precisa ser capaz de se conectar facilmente a várias fontes de dados. |
| Você pode criar, gerenciar e manter componentes de integração de dados separados? | Sem um serviço gerenciado para análise de dados, as empresas precisam criar componentes personalizados de movimentação de dados. Como alternativa, elas podem criar serviços personalizados para integrar as fontes de dados e o processamento. Integrar e manter esses sistemas pode ser caro e difícil. Além disso, nem todos esses sistemas têm o monitoramento, alertas e controles que um serviço totalmente gerenciado oferece. |
Aplicar os critérios
Examine as perguntas a seguir ao considerar o Azure Data Factory como a sua solução de integração de dados.
Você precisa da integração de dados?
Se a sua organização for pequena e funcionar com fontes de dados limitadas, talvez você não precise de um serviço de integração de dados. No entanto, se a sua organização trabalha com Big Data ou é uma organização de data warehouse relacional tradicional, você pode se beneficiar de uma solução de integração de dados. Considere os seguintes pontos:
- As organizações de Big Data dependem de tecnologias para administrar grandes quantidades de dados diversificados. Para elas, o Azure Data Factory fornece um meio para criar e executar pipelines na nuvem. Esses pipelines podem acessar serviços de dados locais e na nuvem. Esses pipelines normalmente funcionam com tecnologias como o Azure Synapse Analytics, Blobs do Azure e Azure Data Lake. Além disso, o Azure HDInsight, o Azure Databricks e o Azure Machine Learning.
- As organizações de data warehousing relacionais normalmente dependem de tecnologias como SQL Server. O SSIS (SQL Server Integration Services) geralmente é usado para criar pacotes SSIS. Para essas organizações, o Azure Data Factory oferece a capacidade de executar pacotes SSIS no Azure, permitindo que eles acessem serviços de dados locais e de nuvem.
Você tem os recursos de codificação necessários?
Se a sua organização não tem os recursos de codificação necessários para criar as atividades necessárias, considere o Azure Data Factory. O Azure Data Factory fornece um processo de baixo código/nenhum código para trabalhar com as fontes de dados e as atividades relacionadas. Por exemplo, a ferramenta de criação e monitoramento do Azure Data Factory permite que você crie pipelines graficamente arrastando e soltando atividades em uma superfície de design. A captura de tela a seguir descreve a interface em que um engenheiro de dados está criando um pipeline com várias atividades:
Você precisa trabalhar com várias fontes de dados?
Se a sua organização tiver um requisito para acessar dados em vários locais e de várias fontes, você precisará considerar uma solução de integração de dados que forneça esse suporte. O Azure Data Factory usa conectores para se integrar a fontes de dados diferentes. Atualmente, há mais de 90 fontes de dados com suporte. Além disso, o Azure Data Factory dá suporte a opções extensíveis para acessar outras fontes de dados.
Você pode criar, gerenciar e manter componentes de integração de dados separados?
Pode ser complexo e demorado criar e gerenciar a sua própria solução de integração de dados baseada em servidor. No entanto, se a execução dessa solução no datacenter da sua organização funcionar para você, você não precisará considerar o Azure Data Factory. No entanto, há vantagens em usar uma solução sem servidor totalmente gerenciada para a integração de dados. Entre os principais benefícios estão:
- A capacidade de dimensionar conforme necessário para dar suporte a mais cargas de trabalho.
- Não é necessário implantar, configurar e manter servidores para hospedar as suas cargas de trabalho de integração de dados.
Resumo
Em resumo, considere usar o Azure Data Factory quando você atender a um ou mais dos seguintes critérios:
- Os seus engenheiros de dados não têm o tempo necessário para criar o código para executar tarefas de análise de dados.
- Você tem várias fontes de dados em localizações diferentes.
- Você deseja aproveitar uma solução baseada em nuvem totalmente gerenciada.