Delen via

Implementatiepijplijnen en Git-integratie van Lakehouse (preview)

  • Artikel

Het Lakehouse kan worden geïntegreerd met de mogelijkheden voor levenscyclusbeheer in Microsoft Fabric en biedt een gestandaardiseerde samenwerking tussen alle leden van het ontwikkelteam gedurende het hele leven van het product. Levenscyclusbeheer vereenvoudigt een effectief productversie- en releaseproces door voortdurend functies en bugfixes in meerdere omgevingen te leveren. Zie Wat is levenscyclusbeheer in Microsoft Fabric? voor meer informatie.

Belangrijk

Deze functie is beschikbaar als preview-versie.

Git-integratie van Lakehouse

Lakehouse is een item dat zowel metagegevens als gegevens bevat waarnaar wordt verwezen in meerdere objecten in de werkruimte. Lakehouse bevat tabellen, mappen en snelkoppelingen als primaire beheerbare gegevenscontaineritems. Vanuit het perspectief van een ontwikkelingswerkstroom kunnen de volgende afhankelijke objecten verwijzen naar een Lakehouse:

Het standaard semantische model en metagegevens van SQL Analytics-eindpunten zijn gerelateerd aan een Lakehouse en worden standaard beheerd door het git-updateproces. Omdat principegegevens niet worden bijgehouden in Git, worden alleen metagegevens bijgehouden.

Git-weergave

De volgende lakehouse-informatie wordt geserialiseerd en bijgehouden in een met Git verbonden werkruimte:

  • Display name
  • Beschrijving
  • Logische guid

Notitie

De bijgehouden logische GUID is een automatisch gegenereerde id voor meerdere werkruimten die een item en de bijbehorende bronbeheerweergave vertegenwoordigen.

Belangrijk

Alleen het Lakehouse-containerartefact wordt bijgehouden in Git in de huidige ervaring. Tabellen (Delta en non-Delta) en mappen worden in de sectie Bestanden niet bijgehouden en geversioneerd in Git.

Mogelijkheden voor Git-integratie van Lakehouse

De volgende mogelijkheden zijn beschikbaar:

  • Serialisatie van de metagegevens van het Lakehouse-object naar een Git JSON-weergave.
  • Pas wijzigingen rechtstreeks toe of gebruik pull-aanvraag om wijzigingen in upstream- of downstreamwerkruimten en vertakkingen te beheren.
  • De naam van lakehouses wordt bijgehouden in Git. Als u een hernoemd lakehouse bijwerkt, wordt ook de naam van het standaard-semantische gegevensmodel en het SQL Analytics-eindpunt gewijzigd.
  • Er wordt geen actie toegepast op metagegevens van tabellen en mappenen gegevens van deze items blijven altijd behouden.
  • metagegevens van OneLake Shortcuts blijven behouden in Git.

Git-integratiemogelijkheden voor OneLake Shortcuts

  • Snelkoppelingsdefinities in zowel de sectie Tabellen als Bestanden worden opgeslagen in een bestand met de naam shortcuts.metadata.json onder de map Lakehouse in Git.
  • De volgende bewerkingen worden ondersteund en automatisch bijgehouden: toevoegen, verwijderen en bijwerken van snelkoppelingen.
  • De bewerkingen kunnen rechtstreeks worden uitgevoerd in de gebruikersinterface van Fabric of in de Git-opslagplaats door het shortcuts.metadata.json-bestand te wijzigen.
  • Snelkoppelingen met interne doelen (OneLake-snelkoppelingen) worden automatisch bijgewerkt tijdens git-synchronisatie. Opdat de snelkoppeling geldig is, moeten deze verwijzingen geldige doelstellingen zijn binnen de werkruimte. Als de doelobjecten ongeldig zijn voor snelkoppelingen zoals gedefinieerd in de sectie Lakehouse-tabellen, worden deze snelkoppelingen verplaatst naar de sectie Unidentified totdat de verwijzingen zijn opgelost.

Belangrijk

Wees voorzichtig wanneer u de eigenschappen van OneLake Shortcut rechtstreeks in het shortcuts.metadata.json-bestand wijzigt. Onjuiste wijzigingen in de eigenschappen, met name GUID's, kunnen de OneLake-snelkoppeling ongeldig maken wanneer updates op de werkruimte worden toegepast.

Belangrijk

Een update van Git overrult de status van snelkoppelingen in de werkruimte. Alle snelkoppelingen in de werkruimte worden gemaakt, bijgewerkt of verwijderd op basis van de binnenkomende status van Git.

Lakehouse in implementatiepijplijnen

Het Lakehouse wordt ondersteund in implementatiepijplijnen voor levenscyclusbeheer van Microsoft Fabric. Hiermee worden best practices voor omgevingssegmentatie mogelijk.

Integratiemogelijkheden van Lakehouse-implementatiepijplijnen:

  • Implementatie in ontwikkel-, test- en productiewerkruimten.

  • Lakehouse kan worden verwijderd als een afhankelijk object bij de implementatie. Het toewijzen van verschillende Lakehouses binnen de context van de implementatiepijplijn wordt ook ondersteund.

    • Als er niets wordt opgegeven tijdens de configuratie van de implementatiepijplijn, wordt er een nieuw leeg Lakehouse-object met dezelfde naam gemaakt in de doelwerkruimte. Notebook- en Spark-taakdefinities worden opnieuw toegewezen om te verwijzen naar het nieuwe Lakehouse-object in de nieuwe werkruimte.

    • Als de Lakehouse-afhankelijkheid is geconfigureerd om te verwijzen naar een ander Lakehouse tijdens de configuratietijd van de implementatiepijplijn, zoals de upstream Lakehouse, wordt er nog steeds een nieuw Lakehouse-object met dezelfde naam gemaakt in de doelwerkruimte, maar blijven verwijzingen naar notebooks en Spark-taakdefinities behouden tot een ander Lakehouse zoals aangevraagd.

    • SQL Analytics-eindpunten en semantische modellen worden ingericht als onderdeel van de Lakehouse-implementatie.

  • Er wordt geen object in het Lakehouse overschreven.

  • Updates voor De naam van Lakehouse kunnen worden gesynchroniseerd tussen werkruimten in een context van een implementatiepijplijn.

OneLake-snelkoppelingen in implementatiepijplijnen

  • Snelkoppelingsdefinities worden gesynchroniseerd tussen fasen in de implementatiepijplijnen.
  • Snelkoppelingen met externe doelen (ADLS Gen2, S3, enzovoort) zijn in alle fasen na de implementatie hetzelfde.
  • Snelkoppelingen met interne doelen (OneLake-snelkoppelingen) in dezelfde werkruimte worden automatisch opnieuw toegewezen tussen fasen. Snelkoppelingen die zijn gericht op datawarehouse en Semantische modellen, worden niet opnieuw toegepast tijdens de implementatie. Tabellen, mappen en bestanden worden niet gemaakt in de doelwerkruimte. Om de snelkoppeling geldig te maken, moeten deze referenties na de implementatie in de doel-werkruimte worden gemaakt.
  • In het scenario dat dezelfde snelkoppeling gericht moet worden op verschillende locaties in verschillende fasen. In Ontwikkeling verwijst men bijvoorbeeld naar een specifieke map in Amazon S3 en in Productie naar een andere map in ADLS Gen2. Werk na de implementatie de definitie van de OneLake-snelkoppeling bij in Lakehouse of rechtstreeks met behulp van OneLake-API's.

Belangrijk

Een implementatie overschrijft de status van snelkoppelingen in de doelwerkruimte. Alle snelkoppelingen in het doellakehouse worden bijgewerkt of verwijderd op basis van de status in het bronlakehouse. Er worden nieuwe snelkoppelingen gemaakt in het gerichte lakehouse. Klik altijd op Wijzigingen controleren om inzicht te krijgen in de wijzigingen die worden geïmplementeerd tussen bron- en doelwerkruimten.

Gerelateerde inhoud