Inzicht krijgen in pijplijnen

  • 6 minuten

Pijplijnen in Microsoft Fabric bevatten een reeks activiteiten die gegevensverplaatsing en verwerkingstaken uitvoeren. U kunt een pijplijn gebruiken om activiteiten voor gegevensoverdracht en transformatie te definiëren en deze activiteiten te organiseren via controlestroomactiviteiten die vertakkingen, lussen en andere typische verwerkingslogica beheren. Met het grafische pijplijncanvas in de gebruikersinterface van Fabric kunt u complexe pijplijnen bouwen met minimale of geen codering vereist.

Schermopname van een pijplijn in Microsoft Fabric.

Belangrijkste pijplijnconcepten

Voordat u pijplijnen in Microsoft Fabric bouwt, moet u een aantal kernconcepten begrijpen.

Activiteiten

Activiteiten zijn de uitvoerbare taken in een pijplijn. U kunt een stroom van activiteiten definiëren door ze in een reeks te verbinden. Het resultaat van een bepaalde activiteit (geslaagd, mislukt of voltooiing) kan worden gebruikt om de stroom naar de volgende activiteit in de reeks te leiden.

Er zijn twee algemene categorieën activiteit in een pijplijn.

  • Activiteiten voor gegevenstransformatie: activiteiten die gegevensoverdrachtsbewerkingen inkapselen, waaronder eenvoudige kopieergegevensactiviteiten waarmee gegevens uit een bron worden geëxtraheerd en geladen naar een bestemming, en complexere Gegevensstroom activiteiten die gegevensstromen (Gen2) inkapselen die transformaties toepassen op de gegevens terwijl ze worden overgedragen. Andere activiteiten voor gegevenstransformatie zijn notebookactiviteiten voor het uitvoeren van een Spark-notebook , opgeslagen procedureactiviteiten om SQL-code uit te voeren, gegevensactiviteiten verwijderen om bestaande gegevens te verwijderen en andere. In OneLake kunt u de bestemming configureren voor een lakehouse, magazijn, SQL-database of andere opties.

  • Controlestroomactiviteiten : activiteiten die u kunt gebruiken om lussen, voorwaardelijke vertakkingen te implementeren of variabele- en parameterwaarden te beheren. Met het brede scala aan controlestroomactiviteiten kunt u complexe pijplijnlogica implementeren om gegevensopname en transformatiestroom te organiseren.

Tip

Zie het activiteitenoverzicht in de documentatie van Microsoft Fabric voor meer informatie over de volledige set pijplijnactiviteiten die beschikbaar zijn in Microsoft Fabric.

Parameters

Pijplijnen kunnen worden geparameteriseerd, zodat u specifieke waarden kunt opgeven die moeten worden gebruikt telkens wanneer een pijplijn wordt uitgevoerd. U kunt bijvoorbeeld een pijplijn gebruiken om opgenomen gegevens in een map op te slaan, maar u hebt de flexibiliteit om een mapnaam op te geven telkens wanneer de pijplijn wordt uitgevoerd.

Het gebruik van parameters verhoogt de herbruikbaarheid van uw pijplijnen, zodat u flexibele processen voor gegevensopname en transformatie kunt maken.

Pijplijnuitvoeringen

Telkens wanneer een pijplijn wordt uitgevoerd, wordt een gegevenspijplijnuitvoering gestart. Uitvoeringen kunnen op aanvraag worden gestart in de gebruikersinterface van Fabric of worden gepland om met een specifieke frequentie te beginnen. Gebruik de unieke uitvoerings-id om de uitvoeringsdetails te controleren om te bevestigen dat ze zijn voltooid en de specifieke instellingen te onderzoeken die voor elke uitvoering worden gebruikt.