Guida alle decisioni di Microsoft Fabric: attività di copia, flusso di dati o Spark
Usare questa guida di riferimento e gli scenari di esempio per decidere se è necessaria un'attività di copia, un flusso di dati o Spark per i carichi di lavoro di Microsoft Fabric.
Proprietà dell'attività di copia, del flusso di dati e di Spark
| Attività di copia della pipeline | Dataflow Gen 2 | Spark | |
|---|---|---|---|
| caso d'uso | Migrazione del data lake e del data warehouse, inserimento dati, trasformazione leggera |
Inserimento dati, trasformazione dei dati, preparazione dati profilatura dei dati |
Inserimento dati, trasformazione dei dati, elaborazione dati profilatura dei dati |
| Persona principale sviluppatore | Ingegnere dei dati integratore di dati |
Ingegnere dei dati integratore di dati, analista aziendale |
Ingegnere dei dati scienziato dei dati sviluppatore di dati |
| Competenze primarie degli sviluppatori | ETL, SQL JSON |
ETL, M, SQL |
Spark (Scala, Python, Spark SQL, R) |
| codice scritto | Nessun codice, basso codice |
Nessun codice, basso codice |
Codice |
| Volume dei dati | Da bassa a alta | Da bassa a alta | Da bassa a alta |
| interfaccia di sviluppo | Mago tela |
Power Query | Taccuino Definizione del lavoro Spark |
| origini | Oltre 30 connettori | Oltre 150 connettori | Centinaia di librerie Spark |
| destinazioni | 18+ connettori | Lakehouse, Database SQL di Azure, Esplora dati di Azure, Analisi di Azure Synapse |
Centinaia di librerie Spark |
| complessità della trasformazione | Basso: leggero - conversione di tipi, mappatura delle colonne, unione/suddivisione di file, appiattimento della gerarchia |
Da bassa a alta: 300+ funzioni di trasformazione |
Da bassa a alta: supporto per librerie Spark native e open source |
Esaminare i tre scenari seguenti per informazioni sulla scelta di come usare i dati in Fabric.
Scenario1
Leo, un data engineer, deve inserire un volume elevato di dati da sistemi esterni, sia in locale che nel cloud. Questi sistemi esterni includono database, file system e API. Leo non vuole scrivere e gestire il codice per ogni operazione di spostamento dati o connettore. Vuole seguire le procedure consigliate dei livelli dei medaglioni, con bronzo, argento e oro. Leo non ha alcuna esperienza con Spark, quindi preferisce il più possibile l'interfaccia utente trascina e rilascia, con codice minimo. E vuole anche elaborare i dati in base a una pianificazione.
Il primo passaggio consiste nel trasferire i dati grezzi nel livello bronze del lakehouse dalle risorse dati di Azure e da varie fonti di dati esterne (ad esempio Snowflake, Web REST, AWS S3, GCS e così via). Vuole un lakehouse consolidato, in modo che tutti i dati provenienti da varie origini LOB, locali e cloud si trovino in un'unica posizione. Leo esamina le opzioni e seleziona attività di copia della pipeline come scelta appropriata per le copie binarie grezze. Questo modello si applica sia all'aggiornamento dati cronologico che incrementale. Con l'attività di copia, Leo può caricare dati Gold in un data warehouse senza codice se è necessario e le pipeline forniscono un inserimento di dati su larga scala in grado di spostare dati su scala petabyte. L'attività di copia è la scelta migliore a basso codice e senza necessità di codice per spostare petabyte di dati verso data lakehouse e data warehouse da varie origini, sia in modo occasionale che tramite pianificazione.
Scenario 2
Mary è un data engineer con una conoscenza approfondita dei diversi requisiti di report analitici LOB. Un team upstream ha implementato correttamente una soluzione per eseguire la migrazione di più dati cronologici e incrementali del LOB in un comune lakehouse. Mary è stata incaricata di pulire i dati, applicare le logiche di business e caricarli in più destinazioni (ad esempio database SQL di Azure, ADX e una lakehouse) in preparazione per i rispettivi team di report.
Mary è un utente esperto di Power Query e il volume di dati è compreso nell'intervallo da basso a medio per ottenere le prestazioni desiderate. I flussi di dati forniscono interfacce senza codice o con poco codice per l'inserimento di dati da centinaia di origini dati. Con i flussi di dati, è possibile trasformare i dati usando 300+ opzioni di trasformazione dei dati e scrivere i risultati in più destinazioni con un'interfaccia utente estremamente visiva e facile da usare. Mary esamina le opzioni e decide che è opportuno usare Dataflow Gen 2 come opzione di trasformazione preferita.
Scenario3
Adam è un data engineer che lavora per una grande azienda di vendita al dettaglio che usa un lakehouse per archiviare e analizzare i dati dei clienti. Come parte del suo lavoro, Adam è responsabile della creazione e della gestione delle pipeline di dati che estraggono, trasformano e caricano i dati nel lakehouse. Uno dei requisiti aziendali dell'azienda consiste nell'eseguire analisi di revisione dei clienti per ottenere informazioni dettagliate sulle esperienze dei clienti e migliorare i propri servizi.
Adam decide che l'opzione migliore consiste nell'usare Spark per compilare la logica di estrazione e trasformazione. Spark offre una piattaforma di elaborazione distribuita in grado di elaborare grandi quantità di dati in parallelo. Scrive un'applicazione Spark usando Python o Scala, che legge dati strutturati, semistrutturati e non strutturati da OneLake per commenti e suggerimenti dei clienti. L'applicazione pulisce, trasforma e scrive i dati nelle tabelle Delta nel lakehouse. I dati sono quindi pronti per essere usati per l'analisi downstream.