Freigeben über

Lakehouse-Bereitstellungspipelines und Git-Integration (Vorschau)

  • Artikel

Das Lakehouse kann in die Funktionen zur Lebenszyklusverwaltung in Microsoft Fabric integriert werden und ermöglicht so während der gesamten Lebensdauer des Produkts eine standardisierte Zusammenarbeit zwischen allen Mitgliedern des Entwicklungsteams. Die Lebenszyklusverwaltung ermöglicht durch die kontinuierliche Bereitstellung von Features und Fehlerbehebungen in mehreren Umgebungen einen effektiven Prozess für die Versionsverwaltung und Freigabe von Produkten. Weitere Informationen finden Sie unter Was ist die Lebenszyklusverwaltung in Microsoft Fabric?.

Wichtig

Dieses Feature befindet sich in der Vorschauphase.

Lakehouse-Git-Integration

Das Lakehouse ist ein Element, das sowohl Metadaten als auch Daten enthält, auf die in mehreren Objekten im Arbeitsbereich verwiesen wird. Ein Lakehouse enthält Tabellen, Ordner und Verknüpfungen als primäre verwaltbare Datencontainerelemente. Aus der Perspektive eines Entwicklungsworkflows können die folgenden abhängigen Objekte auf ein Lakehouse verweisen:

Die Standardmetadaten für semantische Modelle und SQL-Analyseendpunkte beziehen sich auf ein Lakehouse und werden standardmäßig vom Git-Aktualisierungsprozess verwaltet. Prinzipiell werden Daten nicht in Git nachverfolgt, sondern nur Metadaten.

Git-Darstellung

Die folgenden Lakehouse-Informationen werden serialisiert und in einem mit Git verbundenen Arbeitsbereich nachverfolgt:

  • Anzeigename
  • Beschreibung
  • Logische GUID

Hinweis

Die nachverfolgte logische GUID ist ein automatisch generierter arbeitsbereichsübergreifender Bezeichner, der ein Element und seine Darstellung in der Quellcodeverwaltung darstellt.

Wichtig

Nur das Lakehouse-Containerartefakt wird in Git in der aktuellen Umgebung nachverfolgt. Tabellen (Delta und Nicht-Delta) und Ordner im Abschnitt "Dateien" werden in Gitnicht nachverfolgt und versioniert.

Git-Integrationsfunktionen für Lakehouses

Die folgenden Funktionen stehen zur Verfügung:

  • Serialisierung der Lakehouse-Objektmetadaten in einer Git-JSON-Darstellung.
  • Wenden Sie Änderungen direkt an, oder verwenden Sie Pull Requests, um Änderungen an Upstream- oder Downstream-Arbeitsbereichen und -Branches zu steuern.
  • Die Umbenennung von Lakehouses wird in Git nachverfolgt. Durch das Aktualisieren eines umbenannten Lakehouse werden auch das standardmäßige semantische Datenmodell und der standardmäßige SQL-Analyseendpunkt umbenannt.
  • Es wird keine Aktion auf Tabellen und Ordnermetadatenangewendet, und Die Daten dieser Elemente werden immer beibehalten.
  • OneLake-Verknüpfungsmetadaten werden in Git beibehalten.

Git-Integrationsfunktionen für OneLake-Verknüpfungen

  • Verknüpfungsdefinitionen im Abschnitt "Tabellen" und "Dateien" werden in einer Datei mit dem Namen shortcuts.metadata.json unter dem Lakehouse-Ordner in Git gespeichert.
  • Die folgenden Vorgänge werden automatisch unterstützt und nachverfolgt: Hinzufügen, Löschen und Aktualisieren von Verknüpfungen.
  • Die Vorgänge können direkt auf der Fabric-Benutzeroberfläche oder im Git-Repository ausgeführt werden, indem sie die shortcuts.metadata.json Datei ändern.
  • Verknüpfungen mit internen Zielen (OneLake-Verknüpfungen) werden während der Git-Synchronisierung automatisch aktualisiert. Damit die Verknüpfung gültig ist, müssen diese Verweise gültige Ziele im Arbeitsbereich sein. Wenn die Ziele für im Abschnitt mit den Lakehouse-Tabellen definierte Verknüpfungen ungültig sind, werden sie in den Abschnitt Unidentified verschoben, bis die Verweise aufgelöst werden.

Wichtig

Gehen Sie vorsichtig vor, wenn Sie Eigenschaften der OneLake-Verknüpfung direkt in der Datei shortcuts.metadata.json ändern. Falsche Änderungen an den Eigenschaften (insbesondere an GUIDs) können die OneLake-Verknüpfung ungültig machen, wenn Aktualisierungen wieder auf den Arbeitsbereich angewendet werden.

Wichtig

Eine Aktualisierung aus Git überschreibt den Status von Verknüpfungen im Arbeitsbereich. Alle Verknüpfungen im Arbeitsbereich werden basierend auf dem eingehenden Status aus Git erstellt, aktualisiert oder gelöscht.

Lakehouse in Bereitstellungspipelines

Das Lakehouse wird in Bereitstellungspipelines für die Microsoft Fabric-Lebenszyklusverwaltung unterstützt. Dies ermöglicht die Verwendung bewährter Methoden für die Segmentierung der Umgebung.

Integrationsfunktionen für Lakehouse-Bereitstellungspipelines:

  • Bereitstellung über Entwicklungs-, Test- und Produktionsarbeitsbereiche hinweg.

  • Lakehouse kann bei der Bereitstellung als abhängiges Objekt entfernt werden. Die Zuordnung verschiedener Lakehouses innerhalb des Kontexts der Bereitstellungspipeline wird ebenfalls unterstützt.

    • Wenn während der Konfiguration der Bereitstellungspipeline keine entsprechenden Angaben gemacht werden, wird ein neues Lakehouse-Objekt mit demselben Namen im Zielarbeitsbereich erstellt. Notebook- und Spark-Auftragsdefinitionen werden neu zugeordnet, um auf das neue Lakehouse-Objekt im neuen Arbeitsbereich zu verweisen.

    • Wenn die Lakehouse-Abhängigkeit so konfiguriert ist, dass sie während der Konfiguration der Bereitstellungspipeline auf ein anderes Lakehouse verweist (z. B. ein Upstream-Lakehouse), wird ein neues leeres Lakehouse-Objekt mit demselben Namen im Zielarbeitsbereich erstellt. Verweise auf Notebooks und Spark-Auftragsdefinitionen werden jedoch wie angefordert in einem anderen Lakehouse gespeichert.

    • SQL-Analyseendpunkte und semantische Modelle werden als Teil der Lakehouse-Bereitstellung bereitgestellt.

  • Es werden keine Objekte im Lakehouse überschrieben.

  • Aktualisierungen des Lakehouse-Namens können im Kontext einer Bereitstellungspipeline arbeitsbereichsübergreifend synchronisiert werden.

OneLake-Verknüpfungen in Bereitstellungspipelines

  • Verknüpfungsdefinitionen werden in den Bereitstellungspipelines phasenübergreifend synchronisiert.
  • Verknüpfungen mit externen Zielen (ADLS Gen2, S3 usw.) sind nach der Bereitstellung in allen Phasen gleich.
  • Verknüpfungen mit internen Zielen (OneLake-Verknüpfungen) im selben Arbeitsbereich werden automatisch über die verschiedenen Phasen hinweg neu zugeordnet. Verknüpfungen, die auf Data Warehouse- und Semantikmodelle verweisen, werden während der Bereitstellung nicht neu zugeordnet. Tabellen, Ordner und Dateien werden nicht im Zielarbeitsbereich erstellt. Damit der Shortcut gültig ist, müssen diese Verweise nach der Bereitstellung im Zielarbeitsbereich erstellt werden.
  • Es gibt Szenarien, in denen dieselbe Verknüpfung auf unterschiedliche Speicherorte in verschiedenen Phasen verweisen muss. Zeigen Sie beispielsweise in der Entwicklung auf einen bestimmten Ordner in Amazon S3 und in der Produktion einen anderen Ordner in ADLS Gen2. Aktualisieren Sie nach der Bereitstellung die OneLake-Verknüpfungsdefinition in Lakehouse oder direkt mithilfe von OneLake-APIs.

Wichtig

Eine Bereitstellung überschreibt den Status von Verknüpfungen im Zielarbeitsbereich. Alle Abkürzungen im Ziel-Lakehouse werden je nach Zustand im Quell-Lakehouse aktualisiert oder gelöscht. Neue Verknüpfungen werden im Ziel-Lakehouse erstellt. Klicken Sie immer auf "Änderungen überprüfen", um die Änderungen nachzuvollziehen, die zwischen Quell- und Zielarbeitsbereichen vorgenommen werden.

Zugehöriger Inhalt