Gegevensstromen Gen2 en pijplijnen integreren in Microsoft Fabric
Gegevensstromen Gen2 bieden een uitstekende optie voor gegevenstransformaties in Microsoft Fabric. De combinatie van gegevensstromen en pijplijnen is handig wanneer u extra bewerkingen moet uitvoeren op de getransformeerde gegevens.
Gegevenspijplijnen zijn een gemeenschappelijk concept in data engineering en bieden een breed scala aan activiteiten die u kunt organiseren. Enkele veelvoorkomende activiteiten zijn:
- Gegevens kopiëren
- Gegevensstroom opnemen
- Notitieblok toevoegen
- Metagegevens ophalen
- Een script of opgeslagen procedure uitvoeren
Pijplijnen bieden een visuele manier om activiteiten in een specifieke volgorde te voltooien. U kunt een gegevensstroom gebruiken voor gegevensopname, transformatie en landing naar een Fabric-gegevensarchief. Neem vervolgens de gegevensstroom op in een pijplijn om extra activiteiten te organiseren, zoals scripts of opgeslagen procedures uitvoeren nadat de gegevensstroom is voltooid.
Pijplijnen kunnen ook worden gepland of geactiveerd door een trigger om uw gegevensstroom uit te voeren. Door een pijplijn te gebruiken om uw gegevensstroom uit te voeren, kunt u de gegevens laten vernieuwen wanneer u deze nodig hebt in plaats van de gegevensstroom handmatig uit te voeren. Wanneer u te maken hebt met zakelijke of vaak veranderende gegevens, kunt u zich met automatisering richten op andere verantwoordelijkheden.
