Wanneer gebruikt u Azure Data Factory?
In deze les bespreken we hoe u kunt bepalen of Azure Data Factory een geschikte oplossing voor gegevensintegratie is voor uw organisatie. We evalueren Azure Data Factory op basis van de volgende criteria:
- Vereisten voor gegevensintegratie
- Resources coderen
- Ondersteuning voor meerdere gegevensbronnen
- Serverloze infrastructuur
Beslissingscriteria
Als u wilt bepalen of u Azure Data Factory wilt gebruiken, gebruikt u de criteria die in de volgende tabel worden beschreven.
| Criteria | Analyse |
|---|---|
| Hebt u helemaal gegevensintegratie nodig? | Als uw organisatie werkt met big data of een traditionele relationele datawarehousingorganisatie is, bent u mogelijk geïnteresseerd in een oplossing voor gegevensintegratie. |
| Hebt u de benodigde coderingsbronnen? | Niet iedereen die met gegevens werkt, heeft ervaring met coderen. Sommigen werken mogelijk liever met grafische hulpprogramma's die visualisaties bieden om de taken te maken die met brongegevens werken. |
| Moet u met meerdere gegevensbronnen werken? | Sommige organisaties hebben mogelijk hun onbewerkte gegevens opgeslagen in verschillende systemen, zowel on-premises als in de cloud. Een oplossing voor gegevensanalyse moet eenvoudig verbinding kunnen maken met veel gegevensbronnen. |
| Kunt u afzonderlijke onderdelen voor gegevensintegratie maken, beheren en onderhouden? | Zonder een beheerde service voor gegevensanalyse moeten ondernemingen aangepaste onderdelen voor gegevensverplaatsing bouwen. Ze kunnen ook aangepaste services maken om hun gegevensbronnen en -verwerking te integreren. Het integreren en onderhouden van dergelijke systemen kan duur en moeilijk zijn. Bovendien hebben niet alle dergelijke systemen de bewaking, waarschuwingen en controles die een volledig beheerde service biedt. |
De criteria toepassen
Bekijk de volgende vragen bij het overwegen van Azure Data Factory als uw oplossing voor gegevensintegratie.
Hebt u helemaal gegevensintegratie nodig?
Als uw organisatie klein is en werkt met beperkte gegevensbronnen, hebt u mogelijk helemaal geen service voor gegevensintegratie nodig. Als uw organisatie echter werkt met big data of een traditionele relationele datawarehousingorganisatie is, profiteert u mogelijk van een oplossing voor gegevensintegratie. Overweeg het volgende:
- Big data-organisaties zijn afhankelijk van technologieën voor het verwerken van grote hoeveelheden verschillende gegevens. Voor hen biedt Azure Data Factory een middel om pijplijnen in de cloud te maken en uit te voeren. Deze pijplijnen hebben toegang tot zowel cloud- als on-premises gegevensservices. Deze pijplijnen werken doorgaans met technologieën zoals Azure Synapse Analytics, Azure Blobs en Azure Data Lake. Ook Azure HDInsight, Azure Databricks en Azure Machine Learning.
- Relationele datawarehousingorganisaties zijn doorgaans afhankelijk van technologieën zoals SQL Server. SQL Server Integration Services (SSIS) wordt vaak gebruikt om SSIS-pakketten te maken. Voor dergelijke organisaties biedt Azure Data Factory hen de mogelijkheid om SSIS-pakketten uit te voeren in Azure, zodat ze toegang hebben tot zowel cloud- als on-premises gegevensservices.
Hebt u de benodigde coderingsbronnen?
Als uw organisatie niet beschikt over de benodigde coderingsbronnen om de vereiste activiteiten te maken, kunt u Azure Data Factory overwegen. Azure Data Factory biedt een laag codeproces/geen code voor het werken met gegevensbronnen en de gerelateerde activiteiten. Met het ontwerp- en bewakingsprogramma van Azure Data Factory kunt u bijvoorbeeld grafische pijplijnen maken door activiteiten naar een ontwerpoppervlak te slepen en neer te zetten. In de volgende schermopname ziet u de interface waarin een data engineer een pijplijn maakt met verschillende activiteiten:
Moet u met meerdere gegevensbronnen werken?
Als uw organisatie toegang nodig heeft tot gegevens op meerdere locaties en vanuit meerdere bronnen, moet u een oplossing voor gegevensintegratie overwegen die deze ondersteuning biedt. Azure Data Factory maakt gebruik van connectors om te integreren met verschillende gegevensbronnen. Er worden momenteel meer dan 90 gegevensbronnen ondersteund. Daarnaast biedt Azure Data Factory ondersteuning voor uitbreidbare opties om andere gegevensbronnen te bereiken.
Kunt u afzonderlijke onderdelen voor gegevensintegratie maken, beheren en onderhouden?
Het kan complex en tijdrovend zijn om uw eigen servergebaseerde oplossing voor gegevensintegratie te maken en te beheren. Als u echter een dergelijke oplossing uitvoert binnen het datacenter van uw organisatie, hoeft u azure Data Factory niet te overwegen. Er zijn echter voordelen in het gebruik van een volledig beheerde, serverloze oplossing voor gegevensintegratie. De belangrijkste voordelen zijn:
- De mogelijkheid om naar behoefte te schalen om meer workloads te ondersteunen.
- U hoeft geen servers te implementeren, configureren en onderhouden om uw workloads voor gegevensintegratie te hosten.
Samenvatting
Kortom, overweeg Azure Data Factory wanneer u voldoet aan een of meer van de volgende criteria:
- Uw data engineers hebben niet de benodigde tijd om code te maken om gegevensanalysetaken uit te voeren.
- U hebt meerdere gegevensbronnen op verschillende locaties.
- U wilt profiteren van een volledig beheerde cloudoplossing.