Integra flussi di dati Gen2 e pipeline in Microsoft Fabric
I flussi di dati Gen2 offrono un'ottima opzione per le trasformazioni dei dati in Microsoft Fabric. La combinazione di flussi di dati e pipeline è utile quando devi eseguire operazioni aggiuntive sui dati trasformati.
Le pipeline di dati sono un concetto comune nell’ingegneria dei dati e offrono un'ampia gamma di attività da orchestrare. Alcune attività comuni includono:
- Copiare i dati
- Incorporare il flusso di dati
- Aggiungere notebook
- Recuperare metadati
- Eseguire uno script o una stored procedure
Le pipeline offrono un modo visivo per completare le attività in un ordine specifico. È possibile usare un flusso di dati per l'inserimento, la trasformazione e il trasferimento dei dati a un archivio dati Fabric. Incorpora quindi il flusso di dati in una pipeline per orchestrare attività aggiuntive, ad esempio eseguire script o stored procedure al termine del flusso di dati.
Le pipeline possono anche essere pianificate o attivate da un trigger per eseguire il flusso di dati. L’uso di una pipeline per l’esecuzione del flusso di dati permette di disporre di dati aggiornati al momento del bisogno ed evita che sia necessario eseguire manualmente il flusso di dati. L’automazione consente di concentrarsi su altre responsabilità quando si usano dati aziendali o i dati cambiano di frequente.
