Hinzufügen von Parametern zu Data Factory-Komponenten

  • 7 Minuten

Parametrisieren von verknüpften Diensten in Azure Data Factory

Innerhalb von Azure Data Factory ist es möglich, einen verknüpften Dienst zu parametrisieren, in dem Sie zur Laufzeit dynamische Werte übergeben können. Ein Anwendungsfall für diese Situation ist die Verbindungsherstellung mit mehreren unterschiedlichen Datenbanken, die sich auf dem gleichen SQL-Server befinden. In diesem Fall würde sich die Parametrisierung des Datenbanknamens in der Definition des verknüpften Diensts anbieten. Der Vorteil dabei ist, dass Sie nicht für jede Datenbank, die sich auf dem gleichen SQL-Server befindet, einen separaten verknüpften Dienst erstellen müssen.

Es ist auch möglich, andere Eigenschaften des verknüpften Diensts zu parametrieren, z. B. einen Benutzernamen.

Wenn Sie sich entscheiden, verknüpfte Dienste in Azure Data Factory zu parametrisieren, können Sie dies über die Azure Data Factory-Benutzeroberfläche, das Azure-Portal oder eine Programmierschnittstelle Ihrer Wahl durchführen.

Wenn Sie sich dafür entscheiden, den verknüpften Dienst über die Benutzeroberfläche zu erstellen, kann Data Factory Ihnen eine integrierte Parametrisierung für bestimmte Connectors zur Verfügung stellen:

  • Amazon Redshift
  • Azure Cosmos DB (SQL-API)
  • Azure Database for MySQL
  • Azure SQL-Datenbank
  • Azure Synapse Analytics (ehemals SQL DW)
  • MySQL
  • Oracle
  • SQL Server
  • Generisches HTTP
  • Generisches REST

Auf dem Blatt für die Erstellung/Bearbeitung des verknüpften Diensts finden Sie die Optionen für die Parametrisierung.

Parameter settings in Linked Service

Wenn Sie die integrierte Parametrisierung nicht verwenden können, da Sie einen anderen Connectortyp verwenden, können Sie den JSON-Code über die Benutzeroberfläche bearbeiten.

Erweitern Sie unten im Bereich für die Erstellung/Bearbeitung des verknüpften Diensts die Option Erweitert, aktivieren Sie das Kontrollkästchen Dynamische Inhalte im JSON-Format angeben, und geben Sie die JSON-Nutzlast des verknüpften Diensts an.

Parameter settings editing JSON through UI

Wenn Sie einen verknüpften Dienst ohne Parametrisierung erstellt haben, müssen Sie stattdessen im Hub Verwaltung die Option Verknüpfte Dienste auswählen und den entsprechenden verknüpften Dienst finden. Klicken Sie dann auf {} (Codeschaltfläche), um den JSON-Code zu bearbeiten.

Globale Parameter in Azure Data Factory

Wenn Sie globale Parameter in einer Azure Data Factory-Pipeline festlegen, können Sie diese Konstanten für die Verarbeitung in Pipelineausdrücken verwenden. Ein Anwendungsfall für das Festlegen globaler Parameter ist, wenn Sie über mehrere Pipelines verfügen, bei denen die Parameternamen und -werte identisch sind.

Wenn Sie in Azure Data Factory eine Bereitstellung mithilfe von Continuous Integration und Continuous Delivery (CI/CD) vornehmen, können die globalen Parameter bei Bedarf für jede von Ihnen erstellte Umgebung überschrieben werden.

Erstellen globaler Parameter in Azure Data Factory

Navigieren Sie zum Erstellen eines globalen Parameters im Abschnitt Verwalten zur Registerkarte Globale Parameter. Klicken Sie auf Neu, um den Seitenmenübereich für die Erstellung zu öffnen.

Geben Sie im Seitenmenübereich einen Namen ein, wählen Sie einen Datentyp aus, und geben Sie den Wert Ihres Parameters an.

Nachdem ein globaler Parameter erstellt wurde, können Sie ihn bearbeiten, indem Sie den Namen des Parameters auswählen. Um mehrere Parameter zusammen zu ändern, klicken Sie auf Edit all (Alle bearbeiten).

Global parameters in Azure Data Factory set up

Verwenden globaler Parameter in einer Pipeline

Bei der Verwendung globaler Parameter in einer Pipeline in Azure Data Factory wird meist in Pipelineausdrücken darauf verwiesen. Wenn eine Pipeline z. B. auf eine Ressource (wie Dataset oder Datenfluss) verweist, können Sie den Wert des globalen Parameters über den Ressourcenparameter weitergeben. Der Befehl oder die Referenz von globalen Parametern in Azure Data Factory fließt wie folgt: pipeline().globalParameters.<parameterName>.

Globale Parameter in CI/CD

Wenn Sie globale Parameter in eine Pipeline unter Verwendung von CI/CD mit Azure Data Factory integrieren, haben Sie zwei Möglichkeiten, um dies zu erreichen:

  • Einbeziehen globaler Parameter in die Azure Resource Manager-Vorlage
  • Bereitstellen globaler Parameter über ein PowerShell-Skript

Bei den meisten CI/CD-Methoden ist es von Vorteil, globale Parameter in die Azure Resource Manager-Vorlage einzubeziehen. Dies wird aufgrund der nativen Integration in CI/CD empfohlen, bei der globale Parameter als Azure Resource Manager-Vorlagenparameter hinzugefügt werden. Dies liegt an Änderungen in mehreren Umgebungen, in denen gearbeitet wird.

Navigieren Sie zum Hub Verwaltung, um globale Parameter in einer Azure Resource Manager-Vorlage zu aktivieren. Beachten Sie, dass nach dem Hinzufügen globaler Parameter zu einer Azure Resource Manager-Vorlage eine Einstellung auf Azure Data Factory-Ebene hinzugefügt wird, die andere Einstellungen wie Git-Konfigurationen überschreiben kann.

Ein Anwendungsfall für die Bereitstellung globaler Parameter über ein PowerShell-Skript könnte sein, dass Sie die zuvor beschriebenen Einstellungen in einer Umgebung mit erhöhten Rechten wie UAT oder PROD aktiviert haben.

Parametrisieren der Zuordnung von Datenflüssen

In Azure Data Factory können Sie Zuordnungsdatenflüsse verwenden, die Ihnen die Verwendung von Parametern ermöglichen. Wenn Sie Parameter innerhalb einer Datenflussdefinition festlegen, können Sie die Parameter in Ausdrücken verwenden. Die Parameterwerte werden von der aufrufenden Pipeline über die Aktivität „Datenfluss ausführen“ festgelegt.

Es gibt drei Möglichkeiten, die Werte in den Ausdrücken der Datenflussaktivität festzulegen:

  • Verwenden Sie die Sprache für Pipelineablaufsteuerungsausdrücke, um einen dynamischen Wert festzulegen.
  • Verwenden Sie die Sprache für Datenflussausdrücke, um einen dynamischen Wert festzulegen.
  • Verwenden Sie eine der beiden Ausdruckssprachen, um einen statischen Literalwert festzulegen.

Zuordnungsdatenflüsse werden parametrisiert, um sicherzustellen, dass Ihre Datenflüsse verallgemeinert, flexibel und wiederverwendbar sind.

Erstellen von Parametern im Datenfluss

Um Parameter zu Ihrem Datenfluss hinzuzufügen, klicken Sie in den leeren Bereich der Datenflusscanvas, um die allgemeinen Eigenschaften anzuzeigen.

Im Bereich Einstellungen befindet sich die Registerkarte Parameter.

Wählen Sie Neu aus, um einen neuen Parameter zu generieren. Für jeden Parameter müssen Sie einen Namen angeben, einen Typ auswählen und optional einen Standardwert festlegen.

Global Parameters in Dataflow in Azure Data Factory Settings

Zuweisen von Parametern aus einer Pipeline in Zuordnungsdatenfluss

Wenn Sie einen Datenfluss mit festgelegten Parametern erstellt haben, ist es möglich, ihn aus einer Pipeline mit der Aktivität „Execute Data Flow“ (Datenfluss ausführen) auszuführen.

Nachdem Sie die Aktivität zur Pipelinecanvas hinzugefügt haben, finden Sie die Datenflussparameter auf der Registerkarte Parameter der Aktivität.

Durch die Zuweisung von Parameterwerten wird sichergestellt, dass Sie die Parameter in einer Pipelineausdruckssprache oder Datenflussausdruckssprache basierend auf Spark-Typen verwenden können. Sie können auch beides kombinieren, d. h. die Ausdrucksparameter für Pipeline und Datenfluss.