Beslissingshandleiding voor Microsoft Fabric: kopieeractiviteit, gegevensstroom of Spark
Gebruik deze referentiehandleiding en de voorbeeldscenario's om te bepalen of u een kopieeractiviteit, een gegevensstroom of Spark nodig hebt voor uw Microsoft Fabric-workloads.
Kopieeractiviteit, gegevensstroom en Spark-eigenschappen
| activiteit voor het kopiëren van pijplijnen | Gegevensstroom Gen 2 | Spark | |
|---|---|---|---|
| Gebruikssituatie | Data lake- en datawarehouse-migratie, gegevensopname, lichte transformatie |
Gegevensopname, gegevenstransformatie, gegevensverwerking gegevensprofilering |
Gegevensopname, gegevenstransformatie, gegevensverwerking gegevensprofilering |
| Primaire ontwikkelaarspersona | Data engineer, gegevensintegrator |
Gegevensingenieur gegevensintegrator, bedrijfsanalist |
Data engineer, data scientist gegevensontwikkelaar |
| primaire vaardighedenset voor ontwikkelaars | ETL, SQL JSON |
ETL, M, SQL |
Spark (Scala, Python, Spark SQL, R) |
| code geschreven | Geen code, lage code |
Geen code, lage code |
Code |
| gegevensvolume | Laag tot hoog | Laag tot hoog | Laag tot hoog |
| Ontwikkelinterface | Tovenaar canvas |
Power Query | Notitieboek Spark-taakdefinitie |
| bronnen | 30+ connectoren | 150+ aansluitingen | Honderden Spark-bibliotheken |
| bestemmingen | 18+ connectoren | Lakehouse, Azure SQL-database, Azure Data Explorer, Azure Synapse Analytics |
Honderden Spark-bibliotheken |
| complexiteit van transformatie | Laag: lichtgewicht - typeconversie, kolomtoewijzing, bestanden samenvoegen/splitsen, hiërarchie afvlakken |
Laag tot hoog: Meer dan 300 transformatiefuncties |
Laag tot hoog: ondersteuning voor systeemeigen Spark- en opensource-bibliotheken |
Bekijk de volgende drie scenario's voor hulp bij de keuze hoe u met uw gegevens in Fabric kunt werken.
Scenario1
Leo, een data engineer, moet een grote hoeveelheid gegevens opnemen uit externe systemen, zowel on-premises als in de cloud. Deze externe systemen omvatten databases, bestandssystemen en API's. Leo wil geen code schrijven en onderhouden voor elke connector- of gegevensverplaatsingsbewerking. Hij wil de beste praktijken voor medaillonlagen volgen, met brons, zilver en goud. Leo heeft geen ervaring met Spark, dus hij geeft de voorkeur aan de gebruikersinterface voor slepen en neerzetten, met minimale codering. En hij wil ook de gegevens volgens een schema verwerken.
De eerste stap is het ophalen van de onbewerkte gegevens in het bronslaag lakehouse van Azure-gegevensbronnen en verschillende bronnen van derden (zoals Snowflake Web, REST, AWS S3, GCS, enzovoort). Hij wil een geconsolideerd lakehouse, zodat alle gegevens uit verschillende LOB-, on-premises en cloudbronnen zich op één plaats bevinden. Leo beoordeelt de opties en selecteert pijplijnkopieactiviteit als de juiste keuze voor zijn onbewerkte binaire kopie. Dit patroon is van toepassing op zowel historische als incrementele gegevensvernieuwing. Met een kopieeractie kan Leo Gold-gegevens in een datawarehouse laden zonder code, als dat nodig is. Pijplijnen bieden grootschalige gegevensinvoer waarmee gegevens op petabyteschaal kunnen worden verplaatst. Kopieeractiviteit is de beste keuze voor low-code en no-code om petabytes aan gegevens te verplaatsen naar data lakehouses en datawarehouses vanuit verschillende soorten bronnen, zowel ad-hoc als volgens een schema.
Scenario2
Mary is een data engineer met uitgebreide kennis van de rapportagevereisten voor meerdere LOB-analyse. Een upstream-team heeft een oplossing geïmplementeerd om historische en incrementele gegevens van meerdere LOB's te migreren naar een common lakehouse. Mary is belast met het opschonen van de gegevens, het toepassen van bedrijfslogica en het laden ervan in meerdere bestemmingen (zoals Azure SQL DB, ADX en een lakehouse) ter voorbereiding op hun respectieve rapportageteams.
Mary is een ervaren Power Query-gebruiker en het gegevensvolume bevindt zich in het lage tot middelgrote bereik om de gewenste prestaties te bereiken. Gegevensstromen bieden interfaces zonder code of weinig code voor het opnemen van gegevens uit honderden gegevensbronnen. Met gegevensstromen kunt u gegevens transformeren met behulp van meer dan 300 opties voor gegevenstransformatie en de resultaten naar meerdere bestemmingen schrijven met een gebruiksvriendelijke, zeer visuele gebruikersinterface. Mary beoordeelt de opties en besluit dat het zinvol is om Dataflow Gen 2 te gebruiken als voorkeurstransformatieoptie.
Scenario3
Adam is een data engineer die werkt voor een groot retailbedrijf dat gebruikmaakt van een lakehouse om de klantgegevens op te slaan en te analyseren. Als onderdeel van zijn taak is Adam verantwoordelijk voor het bouwen en onderhouden van de gegevenspijplijnen die gegevens extraheren, transformeren en laden in lakehouse. Een van de zakelijke vereisten van het bedrijf is het uitvoeren van analyse van klanten om inzicht te krijgen in de ervaringen van hun klanten en hun services te verbeteren.
Adam besluit de beste optie is om Spark- te gebruiken om de logica voor extraheren en transformatie te bouwen. Spark biedt een gedistribueerd computingplatform dat grote hoeveelheden gegevens parallel kan verwerken. Hij schrijft een Spark-toepassing met Behulp van Python of Scala, die gestructureerde, semi-gestructureerde en ongestructureerde gegevens uit OneLake leest voor beoordelingen en feedback van klanten. De toepassing schoont, transformeert en schrijft gegevens naar Delta-tabellen in het lakehouse. De gegevens kunnen vervolgens worden gebruikt voor downstreamanalyse.