Parameters voor Data Factory in Microsoft Fabric
In dit document wordt beschreven hoe u parameters gebruikt in uw pijplijnen voor Data Factory in Fabric.
Parameters, expressies en functies gebruiken in pijplijnen voor Data Factory in Fabric
In dit document richten we ons op het leren van fundamentele concepten met verschillende voorbeelden om de mogelijkheid te verkennen om geparameteriseerde gegevenspijplijnen te maken in Data Factory in Fabric. Met parameterisatie en dynamische expressies kunt u een enorme hoeveelheid tijd besparen en een veel flexibelere extraheren-, transformatie-, laad-, laad-, transformatie- of ELT-oplossing (ELT) extraheren, laden, transformeren, transformeren, waardoor de kosten van oplossingsonderhoud aanzienlijk worden verminderd en de implementatie van nieuwe functies in bestaande pijplijnen wordt versneld. Deze voordelen komen doordat parameterisatie de hoeveelheid harde codering minimaliseert en het aantal herbruikbare objecten en processen in een oplossing verhoogt.
Concepten van parameters en expressies
U kunt parameters gebruiken om externe waarden door te geven aan pijplijnen. Zodra de parameter is doorgegeven aan de resource, kan deze niet meer worden gewijzigd. Door resources te parameteriseren, kunt u ze telkens opnieuw gebruiken met verschillende waarden. Parameters kunnen afzonderlijk of als onderdeel van expressies worden gebruikt. Parameterwaarden in de definitie kunnen letterlijk zijn of expressies die tijdens runtime worden geëvalueerd.
Expressies kunnen overal in een tekenreekswaarde worden weergegeven en altijd een andere tekenreekswaarde genereren. Hier is het wachtwoord een pijplijnparameter in de expressie. Als een parameterwaarde een expressie is, wordt de hoofdtekst van de expressie geëxtraheerd door het at-sign (@) te verwijderen. Als er een letterlijke tekenreeks nodig is die begint met @, moet deze worden ontsnapt met @@. In de volgende voorbeelden ziet u hoe expressies worden geëvalueerd.
| Parameterwaarde | Resultaat |
|---|---|
| "parameters" | De tekens parameters worden geretourneerd. |
| "parameters[1]" | De tekens 'parameters[1]' worden geretourneerd. |
| "@@" | Er wordt een tekenreeks van 1 tekenreeks met @geretourneerd. |
| " @" | Er wordt een tekenreeks van 2 tekens geretourneerd die @bevat. |
Expressies kunnen ook worden weergegeven in tekenreeksen, met behulp van een functie genaamd tekenreeksinterpolatie waarin expressies worden verpakt @{ ... }. De volgende tekenreeks bevat bijvoorbeeld parameterwaarden en letterlijke tekenreekswaarden:
"Voornaam: @{pipeline().parameters.firstName} Achternaam: @{pipeline().parameters.lastName}"
Met behulp van tekenreeksinterpolatie is het resultaat altijd een tekenreeks. Als u bijvoorbeeld hebt gedefinieerd myNumber als 42 en myString als foo:
| Parameterwaarde | Resultaat |
|---|---|
| "@pipeline().parameters.myString" | Retourneert foo als een tekenreeks. |
| "@{pipeline().parameters.myString}" | Retourneert foo als een tekenreeks. |
| "@pipeline().parameters.myNumber" | Retourneert 42 als een getal. |
| "@{pipeline().parameters.myNumber}" | Retourneert 42 als een tekenreeks. |
| "Antwoord is: @{pipeline().parameters.myNumber}" | Retourneert de tekenreeks Answer is: 42. |
| "@concat('Answer is: ', string(pipeline().parameters.myNumber))' | Retourneert de tekenreeks Answer is: 42 |
| "Antwoord is: @@{pipeline().parameters.myNumber}" | Retourneert de tekenreeks Answer is: @{pipeline().parameters.myNumber}. |
Voorbeelden van het gebruik van parameters in expressies
Parameters maken en gebruiken
Als u parameters wilt maken, selecteert u de achtergrond van het canvas van de pijplijneditor en vervolgens het tabblad Parameters van het eigenschappenvenster onderaan. Selecteer de knop + Nieuw om een nieuwe parameter toe te voegen aan de pijplijn, geef deze een naam, een gegevenstype en een standaardwaarde op:
Vervolgens kunt u de parameter overal in uw pijplijn gebruiken waar dynamische inhoud wordt ondersteund. In dit voorbeeld wordt de parameter gebruikt om dynamisch de naam van een Lakehouse-gegevensarchief op te geven op het tabblad Bron van de eigenschappenpagina's van een kopieeractiviteit.
Het venster Dynamische inhoud toevoegen wordt weergegeven, zodat u elk type dynamische inhoud kunt opgeven, waaronder parameters, systeemvariabelen, functies of pijplijnvariabelen. In dit voorbeeld wordt de eerder gedefinieerde parameter geselecteerd en wordt het venster voor dynamische inhoud automatisch gevuld met de juiste expressie om naar de parameter te verwijzen.
Voorbeeld van complexe expressie
In het onderstaande voorbeeld ziet u een complex voorbeeld dat verwijst naar een diep subveld van de uitvoer van de activiteit. Als u wilt verwijzen naar een pijplijnparameter die naar een subveld evalueert, gebruikt u de syntaxis [] in plaats van dot(.) operator (zoals in het geval van subveld1 en subveld2)
@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*
Dynamische inhoudseditor
De dynamische inhoudseditor escapet automatisch tekens in uw inhoud wanneer u klaar bent met bewerken. De volgende inhoud in de inhoudseditor is bijvoorbeeld een tekenreeksinterpolatie met een expressiefunctie:
@{toUpper('myData')}
De dynamische inhoudseditor converteert de bovenstaande inhoud naar de volgende expressie:
MYDATA
Functies en variabelen gebruiken in expressies
U kunt functies aanroepen en variabelen in expressies gebruiken. De volgende secties bevatten informatie over de functies die kunnen worden gebruikt in een expressie.
Variabelen voor pijplijnbereik
Naar deze systeemvariabelen kan overal in de pijplijn-JSON worden verwezen.
| Variabelenaam | Beschrijving |
|---|---|
| @pipeline().DataFactory | Naam van de gegevens of Synapse-werkruimte waarin de pijplijnuitvoering wordt uitgevoerd |
| @pipeline().Pipeline | Naam van de pijplijn |
| @pipeline().RunId | Id van de specifieke pijplijnuitvoering |
| @pipeline().TriggerId | Id van de trigger die de pijplijn heeft aangeroepen |
| @pipeline().TriggerName | Naam van de trigger die de pijplijn heeft aangeroepen |
| @pipeline().TriggerTime | Tijd van de triggeruitvoering die de pijplijn heeft aangeroepen. Dit is het tijdstip waarop de trigger daadwerkelijk wordt geactiveerd om de pijplijnuitvoering aan te roepen en dit kan enigszins afwijken van de geplande tijd van de trigger. |
| @pipeline().GroupId | Id van de groep waartoe de pijplijnuitvoering behoort. |
| @pipeline()?. TriggeredByPipelineName | Naam van de pijplijn die de pijplijnuitvoering activeert. Van toepassing wanneer de pijplijnuitvoering wordt geactiveerd door een ExecutePipeline-activiteit. Evalueer null bij gebruik in andere omstandigheden. Let op het vraagteken na @pipeline() |
| @pipeline()?. TriggeredByPipelineRunId | Voer de id uit van de pijplijn die de pijplijnuitvoering activeert. Van toepassing wanneer de pijplijnuitvoering wordt geactiveerd door een ExecutePipeline-activiteit. Evalueer null bij gebruik in andere omstandigheden. Let op het vraagteken na @pipeline() |
Notitie
Systeemvariabelen met betrekking tot triggers (in zowel pijplijn- als triggerbereiken) retourneren UTC-datums in ISO 8601-indeling, bijvoorbeeld 2017-06-01T22:20:00.4061448Z.
Tekenreeksfuncties
Als u met tekenreeksen wilt werken, kunt u deze tekenreeksfuncties en ook enkele verzamelingsfuncties gebruiken. Tekenreeksfuncties werken alleen voor tekenreeksen.
| Tekenreeksfunctie | Opdracht |
|---|---|
| Concat | Combineer twee of meer tekenreeksen en retourneer de gecombineerde tekenreeks. |
| endsWith | Controleer of een tekenreeks eindigt met de opgegeven subtekenreeks. |
| Guid | Genereer een GUID (Globally Unique Identifier) als een tekenreeks. |
| indexOf | De beginpositie voor een subtekenreeks retourneren. |
| lastIndexOf | Retourneert de beginpositie voor het laatste exemplaar van een subtekenreeks. |
| replace | Vervang een subtekenreeks door de opgegeven tekenreeks en retourneer de bijgewerkte tekenreeks. |
| split | Retourneert een matrix die subtekenreeksen bevat, gescheiden door komma's, van een grotere tekenreeks op basis van een opgegeven scheidingsteken in de oorspronkelijke tekenreeks. |
| startsWith | Controleer of een tekenreeks begint met een specifieke subtekenreeks. |
| Subtekenreeks | Retourneert tekens uit een tekenreeks, beginnend vanaf de opgegeven positie. |
| toLower | Retourneert een tekenreeks in kleine letters. |
| Toupper | Retourneert een tekenreeks in hoofdletters. |
| trim | Verwijder voorloop- en volgspaties uit een tekenreeks en retourneer de bijgewerkte tekenreeks. |
Verzamelingsfuncties
Als u wilt werken met verzamelingen, over het algemeen matrices, tekenreeksen en soms woordenlijsten, kunt u deze verzamelingsfuncties gebruiken.
| Verzamelingsfunctie | Opdracht |
|---|---|
| Bevat | Controleer of een verzameling een specifiek item heeft. |
| empty | Controleer of een verzameling leeg is. |
| Eerste | Retourneert het eerste item uit een verzameling. |
| Snijpunt | Retourneert een verzameling met alleen de algemene items in de opgegeven verzamelingen. |
| join | Hiermee wordt een tekenreeks geretourneerd die alle items uit een matrix bevat, gescheiden door het opgegeven teken. |
| Laatste | Retourneer het laatste item uit een verzameling. |
| length | Retourneert het aantal items in een tekenreeks of matrix. |
| skip | Verwijder items aan de voorzijde van een verzameling en retourneer alle andere items. |
| Nemen | Items retourneren van de voorzijde van een verzameling. |
| Unie | Hiermee wordt een verzameling geretourneerd die alle items uit de opgegeven verzamelingen bevat. |
Logische functies
Deze functies zijn handig binnen voorwaarden, ze kunnen worden gebruikt om elk type logica te evalueren.
| Logische vergelijkingsfunctie | Opdracht |
|---|---|
| and | Controleer of alle expressies waar zijn. |
| is gelijk aan | Controleer of beide waarden gelijkwaardig zijn. |
| greater | Controleer of de eerste waarde groter is dan de tweede waarde. |
| greaterOrEquals | Controleer of de eerste waarde groter is dan of gelijk is aan de tweede waarde. |
| if | Controleer of een expressie waar of onwaar is. Op basis van het resultaat retourneert u een opgegeven waarde. |
| less | Controleer of de eerste waarde kleiner is dan de tweede waarde. |
| lessOrEquals | Controleer of de eerste waarde kleiner is dan of gelijk is aan de tweede waarde. |
| Niet | Controleer of een expressie onwaar is. |
| of | Controleer of ten minste één expressie waar is. |
Conversiefuncties
Deze functies worden gebruikt om te converteren tussen elk van de systeemeigen typen in de taal:
- tekenreeks
- geheel getal
- zwevend
- boolean
- Arrays
- Woordenboeken
| Conversiefunctie | Opdracht |
|---|---|
| Array | Retourneert een matrix van één opgegeven invoer. Zie CreateArray voor meerdere invoerwaarden. |
| base64 | Retourneert de base64-gecodeerde versie voor een tekenreeks. |
| base64ToBinary | Retourneert de binaire versie voor een met base64 gecodeerde tekenreeks. |
| base64ToString | Retourneert de tekenreeksversie voor een met base64 gecodeerde tekenreeks. |
| Binaire | Retourneert de binaire versie voor een invoerwaarde. |
| bool | Retourneert de Boole-versie voor een invoerwaarde. |
| samenvoeging | Retourneert de eerste niet-null-waarde van een of meer parameters. |
| createArray | Retourneert een matrix van meerdere invoerwaarden. |
| dataUri | Retourneert de gegevens-URI voor een invoerwaarde. |
| dataUriToBinary | Retourneert de binaire versie voor een gegevens-URI. |
| dataUriToString | Retourneert de tekenreeksversie voor een gegevens-URI. |
| decoderenBase64 | Retourneert de tekenreeksversie voor een met base64 gecodeerde tekenreeks. |
| decodeDataUri | Retourneert de binaire versie voor een gegevens-URI. |
| decodeUriComponent | Retourneert een tekenreeks die escape-tekens vervangt door gedecodeerde versies. |
| encodeUriComponent | Retourneert een tekenreeks die URL-onveilige tekens vervangt door escapetekens. |
| Float | Retourneert een drijvende-kommanummer voor een invoerwaarde. |
| int | Retourneert de gehele versie voor een tekenreeks. |
| json | Retourneert de JSON-typewaarde (JavaScript Object Notation) of het object voor een tekenreeks of XML. |
| Tekenreeks | Retourneert de tekenreeksversie voor een invoerwaarde. |
| uriComponent | Retourneert de URI-gecodeerde versie voor een invoerwaarde door URL-onveilige tekens te vervangen door escapetekens. |
| uriComponentToBinary | Retourneert de binaire versie voor een URI-gecodeerde tekenreeks. |
| uriComponentToString | Retourneert de tekenreeksversie voor een URI-gecodeerde tekenreeks. |
| xml | Retourneer de XML-versie voor een tekenreeks. |
| Xpath | Controleer XML op knooppunten of waarden die overeenkomen met een XPath-expressie (XML Path Language) en retourneer de overeenkomende knooppunten of waarden. |
Wiskundige functies
Deze functies kunnen worden gebruikt voor beide typen getallen: gehele getallen en floats.
| Wiskundige functie | Opdracht |
|---|---|
| add | Retourneert het resultaat van het optellen van twee getallen. |
| div | Retourneert het resultaat van het delen van twee getallen. |
| max | Retourneert de hoogste waarde uit een set getallen of een matrix. |
| min | Retourneert de laagste waarde uit een set getallen of een matrix. |
| Mod | Retourneert de rest van het delen van twee getallen. |
| mul | Retourneer het product van het vermenigvuldigen van twee getallen. |
| rand | Retourneert een willekeurig geheel getal uit een opgegeven bereik. |
| range | Retourneert een matrix met gehele getallen die begint met een opgegeven geheel getal. |
| sub | Retourneert het resultaat van het aftrekken van het tweede getal van het eerste getal. |
Datumfuncties
| Datum- of tijdfunctie | Opdracht |
|---|---|
| addDays | Voeg een aantal dagen toe aan een tijdstempel. |
| addHours | Voeg een aantal uren toe aan een tijdstempel. |
| addMinutes | Voeg een aantal minuten toe aan een tijdstempel. |
| addSeconds | Voeg een aantal seconden toe aan een tijdstempel. |
| addToTime | Voeg een aantal tijdseenheden toe aan een tijdstempel. Zie ook getFutureTime. |
| convertFromUtc | Converteer een tijdstempel van Universal Time Coordinated (UTC) naar de doeltijdzone. |
| convertTimeZone | Converteer een tijdstempel van de brontijdzone naar de doeltijdzone. |
| convertToUtc | Converteer een tijdstempel van de brontijdzone naar Universal Time Coordinated (UTC). |
| dayOfMonth | Retourneer de dag van het maandonderdeel uit een tijdstempel. |
| dayOfWeek | Retourneert de dag van de weekcomponent uit een tijdstempel. |
| dayOfYear | Retourneer de dag van het jaaronderdeel uit een tijdstempel. |
| formatDateTime | Retourneert de tijdstempel als een tekenreeks in optionele notatie. |
| getFutureTime | Retourneer de huidige tijdstempel plus de opgegeven tijdseenheden. Zie ook addToTime. |
| getPastTime | Retourneert de huidige tijdstempel minus de opgegeven tijdseenheden. Zie ook aftrekkenVanTijd. |
| startOfDay | Retourneer het begin van de dag voor een tijdstempel. |
| startOfHour | Retourneert het begin van het uur voor een tijdstempel. |
| startOfMonth | Retourneer het begin van de maand voor een tijdstempel. |
| aftrekkenFromTime | Trek een aantal tijdseenheden af van een tijdstempel. Zie ook getPastTime. |
| Teken | Retourneert de ticks eigenschapswaarde voor een opgegeven tijdstempel. |
| utcNow | Retourneert de huidige tijdstempel als een tekenreeks. |