Wat zijn gegevensstromen in Azure Synapse Analytics?

Gegevensstromen zijn visueel ontworpen gegevenstransformaties in Azure Synapse Analytics. Met gegevensstromen kunnen data engineers logica voor gegevenstransformatie ontwikkelen zonder code te schrijven. De resulterende gegevensstromen worden uitgevoerd als activiteiten in Azure Synapse Analytics-pijplijnen die gebruikmaken van uitgeschaalde Apache Spark-clusters. Activiteiten voor gegevensstromen kunnen worden uitgevoerd met behulp van bestaande Azure Synapse Analytics-plannings-, controle-, stroom- en bewakingsmogelijkheden.

Gegevensstromen bieden een volledig visuele ervaring zonder dat codering is vereist. Uw gegevensstromen worden uitgevoerd op door Synapse beheerde uitvoeringsclusters voor uitgeschaalde gegevensverwerking. Azure Synapse Analytics verwerkt alle codevertalingen, padoptimalisatie en uitvoering van uw gegevensstroomtaken.

Aan de slag

Gegevensstromen worden gemaakt vanuit het deelvenster Ontwikkelen in Synapse Studio. Als u een gegevensstroom wilt maken, selecteert u het plusteken naast Ontwikkelen en selecteert u vervolgens Gegevensstroom.

Met deze actie gaat u naar het gegevensstroomcanvas, waar u uw transformatielogica kunt maken. Selecteer Bron toevoegen om de brontransformatie te configureren. Zie Brontransformatie voor meer informatie.

Gegevensstromen ontwerpen

Gegevensstroom heeft een uniek ontwerpcanvas dat is ontworpen om het bouwen van transformatielogica eenvoudig te maken. Het gegevensstroomcanvas is onderverdeeld in drie delen: de bovenste balk, de grafiek en het configuratiepaneel.

Grafiek

In de grafiek wordt de transformatiestroom weergegeven. Hier ziet u de herkomst van brongegevens terwijl deze in een of meer sinks stromen. Als u een nieuwe bron wilt toevoegen, selecteert u Bron toevoegen. Als u een nieuwe transformatie wilt toevoegen, selecteert u het plusteken rechtsonder in een bestaande transformatie. Meer informatie over het beheren van de gegevensstroomgrafiek.

Configuratiepaneel

In het configuratievenster worden de instellingen weergegeven die specifiek zijn voor de momenteel geselecteerde transformatie. Als er geen transformatie is geselecteerd, wordt de gegevensstroom weergegeven. In de configuratie van de algemene gegevensstroom kunt u parameters toevoegen via het tabblad Parameters . Zie Gegevensstroomparameters voor meer informatie.

Elke transformatie bevat ten minste vier configuratietabbladen.

Transformatie-instellingen

Het eerste tabblad in het configuratiedeelvenster van elke transformatie bevat de instellingen die specifiek zijn voor die transformatie. Zie de documentatiepagina van die transformatie voor meer informatie.

Optimaliseren

Het tabblad Optimaliseren bevat instellingen voor het configureren van partitioneringsschema's. Zie de prestatiehandleiding voor toewijzingsgegevensstromen voor meer informatie over het optimaliseren van uw gegevensstromen.

Inspecteren

Het tabblad Inspecteren biedt een weergave van de metagegevens van de gegevensstroom die u wilt transformeren. U kunt kolomaantallen zien, de kolommen zijn gewijzigd, de toegevoegde kolommen, gegevenstypen, de kolomvolgorde en kolomverwijzingen. Inspect is een alleen-lezenweergave van uw metagegevens. U hoeft de foutopsporingsmodus niet in te schakelen om metagegevens te zien in het deelvenster Inspecteren .

Wanneer u de vorm van uw gegevens wijzigt via transformaties, ziet u de stroom metagegevenswijzigingen in het deelvenster Inspecteren . Als uw brontransformatie geen gedefinieerd schema bevat, zijn metagegevens niet zichtbaar in het deelvenster Inspecteren . Het ontbreken van metagegevens is gebruikelijk in schemadriftscenario's.

Voorbeeldweergave van gegevens

Als de foutopsporingsmodus is ingeschakeld, krijgt u op het tabblad Gegevensvoorbeeld een interactieve momentopname van de gegevens bij elke transformatie. Zie Voorbeeld van gegevens in de foutopsporingsmodus voor meer informatie.

Bovenste balk

De bovenste balk bevat acties die van invloed zijn op de hele gegevensstroom, zoals validatie- en foutopsporingsinstellingen. U kunt ook het onderliggende JSON-code- en gegevensstroomscript van uw transformatielogica bekijken.

Beschikbare transformaties

Bekijk het overzicht van transformatie van toewijzingsgegevensstromen om een lijst met beschikbare transformaties op te halen.

Gegevensstroomactiviteit

Gegevensstromen worden operationeel binnen Azure Synapse Analytics-pijplijnen met behulp van de gegevensstroomactiviteit. Een gebruiker hoeft alleen maar op te geven welke integration runtime moet worden gebruikt en welke parameterwaarden moeten worden doorgegeven. Meer informatie over de Azure Integration Runtime.

Foutopsporingsmodus

Met de foutopsporingsmodus kunt u interactief de resultaten van elke transformatiestap bekijken tijdens het bouwen en opsporen van fouten in uw gegevensstromen. De foutopsporingssessie kan worden gebruikt bij het bouwen van uw gegevensstroomlogica en het uitvoeren van pijplijnopsporingsuitvoeringen met gegevensstroomactiviteiten. Zie de documentatie voor de foutopsporingsmodus voor meer informatie.

Gegevensstromen bewaken

Gegevensstroom kan worden geïntegreerd met bestaande bewakingsmogelijkheden van Azure Synapse Analytics. Zie toewijzingsgegevensstromen bewaken voor meer informatie over de uitvoer van gegevensstromen voor gegevensstromen.

Het Azure Synapse Analytics-team heeft een handleiding voor het afstemmen van prestaties gemaakt om u te helpen de uitvoeringstijd van uw gegevensstromen te optimaliseren na het bouwen van uw bedrijfslogica.

Gerelateerde inhoud

• Meer informatie over het maken van een brontransformatie.
• Meer informatie over het bouwen van uw gegevensstromen in de foutopsporingsmodus.