Lägga till parametrar i datafabrikskomponenter
Parametrisera länkade tjänster i Azure Data Factory
I Azure Data Factory är det möjligt att parametrisera en länkad tjänst där du kan passera genom dynamiska värden under körningen. Ett användningsfall för det här scenariot är att ansluta till flera olika databaser som finns på samma SQL-server, där du kanske tänker på att parameterisera databasnamnet i den länkade tjänstdefinitionen. Fördelen med att göra detta är att du inte behöver skapa en enda länkad tjänst för varje databas som finns på samma SQL Server.
Det går också att parametrisera andra egenskaper för den länkade tjänsten som ett användarnamn.
Om du väljer att parametrisera länkade tjänster i Azure Data Factory kan du göra detta i Användargränssnittet för Azure Data Factory, Azure Portal eller ett programmeringsgränssnitt som du föredrar.
Om du väljer att skapa den länkade tjänsten via användargränssnittet kan Data Factory ge dig inbyggd parameterisering för några av anslutningsprogrammen:
- Amazon Redshift
- Azure Cosmos DB (SQL API)
- Azure Database for MySQL
- Azure SQL Database
- Azure Synapse Analytics (tidigare SQL DW)
- MySQL
- Oracle
- SQL Server
- Generisk HTTP
- REST (allmän)
Om du går till bladet skapa/redigera för den länkade tjänsten hittar du alternativen för parameterisering.
Om du inte kan använda den inbyggda parameteriseringen eftersom du använder en annan typ av anslutningsapp kan du redigera JSON via användargränssnittet.
I fönstret Skapa/redigera länkad tjänst expanderar du Avancerat längst ned i fönstret, markerar kryssrutan Ange dynamiskt innehåll i JSON-format och anger den länkade JSON-nyttolasten för tjänsten.
När du har skapat en länkad tjänst utan parameterisering går du till hanteringshubben och väljer Länkade tjänster och letar reda på den specifika länkade tjänsten. Välj {} sedan (kodknappen) för att redigera JSON.
Globala parametrar i Azure Data Factory
Om du anger globala parametrar i en Azure Data Factory-pipeline kan du använda dessa konstanter för förbrukning i pipelineuttryck. Ett användningsfall för att ange globala parametrar är när du har flera pipelines där parametrarnas namn och värden är identiska.
Om du använder distributionsprocessen för kontinuerlig integrering och kontinuerlig (CI/CD) med Azure Data Factory kan de globala parametrarna åsidosättas, om du vill, för varje miljö som du har skapat.
Skapa globala parametrar i Azure Data Factory
Om du vill skapa en global parameter går du till fliken Globala parametrar i avsnittet Hantera . Välj Ny för att öppna menyfönstret på skapandesidan.
I sidomenyn anger du ett namn, väljer en datatyp och anger värdet för parametern.
När en global parameter har skapats kan du redigera den genom att välja parameterns namn. Om du vill ändra flera parametrar tillsammans väljer du Redigera alla.
Använda globala parametrar i en pipeline
När du använder globala parametrar i en pipeline i Azure Data Factory refereras den främst i pipelineuttryck. Om en pipeline till exempel refererar till en resurs som en datamängd eller ett dataflöde kan du skicka det globala parametervärdet via resursparametern. Kommandot eller referensen för globala parametrar i Azure Data Factory-flöden enligt följande: pipeline().globalParameters.<parameterName>.
Globala parametrar i CI/CD
När du integrerar globala parametrar i en pipeline med CI/CD med Azure Data Factory kan du göra det på två sätt:
- Inkludera globala parametrar i Azure Resource Manager-mallen
- Distribuera globala parametrar via ett PowerShell-skript
I de flesta CI/CD-metoder är det fördelaktigt att inkludera globala parametrar i Azure Resource Manager-mallen. Det rekommenderas på grund av deras interna integrering med CI/CD, där globala parametrar läggs till som en Azure Resource Manager-mallparameter. Detta beror på ändringar i flera miljöer som bearbetas i.
Om du vill aktivera globala parametrar i en Azure Resource Manager-mall går du till hanteringshubben . Tänk på att när du har lagt till globala parametrar i en Azure Resource Manager-mall lägger den till en azure Data Factory-nivåinställning som kan åsidosätta andra inställningar som git-konfigurationer.
Användningsfallet för att distribuera globala parametrar via ett PowerShell-skript kan bero på att du kan ha de tidigare beskrivna inställningarna aktiverade i en upphöjd miljö, till exempel UAT eller PROD.
Parametrisera mappningsdataflöden
I Azure Data Factory kan du använda mappning av dataflöden, vilket gör att du kan använda parametrar. Om du anger parametrar i en dataflödesdefinition kan du använda parametrarna i uttryck. Parametervärdena anges av den anropande pipelinen via aktiviteten Kör Dataflöde.
Det finns tre alternativ för att ange värdena i dataflödesaktivitetsuttrycken:
- Använd språket för pipelinekontrollflödesuttryck för att ange ett dynamiskt värde.
- Använd dataflödesuttrycksspråket för att ange ett dynamiskt värde.
- Använd något av uttrycksspråken för att ange ett statiskt literalvärde.
Anledningen till att parameterisera mappningsdataflöden är att se till att dina dataflöden är generaliserade, flexibla och återanvändbara.
Skapa parametrar i dataflödet
Om du vill lägga till parametrar i dataflödet väljer du den tomma delen av dataflödesarbetsytan för att se de allmänna egenskaperna.
I fönstret Inställningar visas fliken Parameter .
Välj Ny för att generera en ny parameter. För varje parameter måste du tilldela ett namn, välja en typ och eventuellt ange ett standardvärde.
Tilldela parametrar från en pipeline i mappning av dataflöde
Om du har skapat ett dataflöde där du har angett parametrar kan du köra det från en pipeline med hjälp av Kör Dataflöde-aktivitet.
När du har lagt till aktiviteten på pipelinearbetsytan hittar du dataflödesparametrarna på fliken Parametrar för aktiviteten.
Tilldela parametervärden, säkerställer att du kan använda parametrarna i ett språk för pipelineuttryck eller dataflödesuttryck baserat på spark-typer. Du kan också kombinera parametrarna pipeline och dataflödesuttryck.