Power Query-activiteit in Azure Data Factory
Met de Power Query-activiteit kunt u Power Query-mash-ups bouwen en uitvoeren om gegevens op schaal uit te voeren in een Data Factory-pijplijn. U kunt een nieuwe Power Query-mash-up maken via de menuoptie Nieuwe resources of door een Power Activity toe te voegen aan uw pijplijn.
U kunt rechtstreeks in de Mash-up-editor van Power Query werken om interactieve gegevensverkenning uit te voeren en vervolgens uw werk op te slaan. Als u klaar bent, kunt u uw Power Query-activiteit nemen en toevoegen aan een pijplijn. Azure Data Factory schaalt deze automatisch uit en operationeel uw gegevens met behulp van de Spark-omgeving voor de gegevensstroom van Azure Data Factory.
Een Power Query-activiteit maken met de gebruikersinterface
Voer de volgende stappen uit om een Power Query-activiteit in een pijplijn te gebruiken:
Zoek naar Power Query in het deelvenster Pijplijnactiviteiten en sleep een Power Query-activiteit naar het pijplijncanvas.
Selecteer de nieuwe Power Query-activiteit op het canvas als deze nog niet is geselecteerd en het bijbehorende tabblad Instellingen om de details ervan te bewerken.
Selecteer een bestaande Power Query en selecteer Openen of selecteer de knop Nieuw om een nieuwe Power Query te maken en de Power Query-editor te openen.
Selecteer een bestaande gegevensset of selecteer Nieuw om een nieuwe te definiëren. Gebruik de uitgebreide functies van Power Query rechtstreeks in de bewerkingservaring voor pijplijnen om de gegevensset zo te transformeren dat u nodig hebt. U kunt meerdere query's uit meerdere gegevenssets toevoegen in de editor en deze vervolgens gebruiken.
Nadat u een of meer Power Query's in de vorige stap hebt gedefinieerd, kunt u ook sinklocaties voor een/alle/geen van deze locaties aanwijzen op het tabblad Sink voor de Power Query-activiteit.
U kunt ook de uitvoer van uw Power Query-activiteit gebruiken als invoer voor andere activiteiten. Hier volgt een voorbeeld van een For Each-activiteit die verwijst naar de uitvoer van de eerder gedefinieerde Power Query voor de eigenschap Items. De items ondersteunen dynamische inhoud, waar u kunt verwijzen naar uitvoer van Power Query die als invoer wordt gebruikt.
Activiteitsuitvoer wordt weergegeven en kan worden gebruikt bij het definiëren van uw dynamische inhoud door deze te selecteren in het deelvenster Opbouwfunctie voor pijplijnexpressies.
Vertaling naar gegevensstroomscript
Om schaal te bereiken met uw Power Query-activiteit, vertaalt Azure Data Factory uw M script in een gegevensstroomscript, zodat u uw Power Query op schaal kunt uitvoeren met behulp van de Spark-omgeving van de Azure Data Factory-gegevensstroom. Ontwerp uw gegevensstroom met codevrije gegevensvoorbereiding. Zie transformatiefuncties voor de lijst met beschikbare functies.
Instellingen
- Power Query: kies een bestaande Power Query om een nieuwe uit te voeren of te maken.
- Uitvoeren op Azure IR: Kies en bestaande Azure Integration Runtime om de rekenomgeving voor uw Power Query te definiëren of maak een nieuwe omgeving.
- Rekentype: Als u de standaardintegratieruntime voor automatisch oplossen kiest, kunt u het rekentype selecteren dat moet worden toegepast op de Berekening van het Spark-cluster voor uw Power Query-uitvoering.
- Aantal kerngeheugens: als u de standaard-integratieruntime voor automatisch oplossen kiest, kunt u het aantal kernen selecteren dat moet worden toegepast op het Spark-cluster berekenen voor uw Power Query-uitvoering.
Sink
Kies de gegevensset die u wilt gebruiken voor het landen van uw getransformeerde gegevens zodra het Power Query M-script is uitgevoerd in Spark. Raadpleeg de documentatie voor gegevensstroomsinks voor meer informatie over het configureren van sinks.
U hebt de mogelijkheid om uw uitvoer naar meerdere bestemmingen te sinken. Klik op de plusknop (+) om meer sinks aan uw query toe te voegen. U kunt ook elke afzonderlijke queryuitvoer van uw Power Query-activiteit naar verschillende bestemmingen leiden.
Toewijzing
Op het tabblad Toewijzing kunt u kolomtoewijzing configureren vanuit de uitvoer van uw Power Query-activiteit naar het doelschema van de gekozen sink. Lees meer over kolomtoewijzing in de documentatie voor de toewijzing van de gegevensstroomsink.
Gerelateerde inhoud
Meer informatie over concepten voor gegevens wrangling met behulp van Power Query in Azure Data Factory