Zelfstudie: Dbt instellen voor Fabric Data Warehouse

Van toepassing op:✅ Warehouse in Microsoft Fabric

In deze zelfstudie wordt u begeleid bij het instellen van dbt en het implementeren van uw eerste project in een Fabric Warehouse.

Inleiding

Het opensource-framework dbt (Data Build Tool) vereenvoudigt de gegevenstransformatie en analyse-engineering. Het richt zich op op SQL gebaseerde transformaties binnen de analyselaag, waarbij SQL als code wordt behandeld. dbt ondersteunt versiebeheer, modularisatie, testen en documentatie.

De dbt-adapter voor Microsoft Fabric kan worden gebruikt om dbt-projecten te maken, die vervolgens kunnen worden geïmplementeerd in een Fabric Data Warehouse.

U kunt ook het doelplatform voor het dbt-project wijzigen door bijvoorbeeld de adapter te wijzigen. een project dat is gebouwd voor een toegewezen SQL-pool van Azure Synapse, kan binnen enkele seconden worden bijgewerkt naar een Fabric Data Warehouse.

Vereisten voor de dbt-adapter voor Microsoft Fabric

Volg deze lijst om de dbt-vereisten te installeren en in te stellen:

1. Python-versie 3.7 (of hoger).

2. Het Microsoft ODBC-stuurprogramma voor SQL Server.

3. De nieuwste versie van de dbt-fabric-adapter uit de PyPI-opslagplaats (Python Package Index) met behulp van pip install dbt-fabric.

   pip install dbt-fabric
   

   Notitie

   Door de volgende instructies te pip install dbt-synapse gebruikenpip install dbt-fabric, kunt u de dbt-adapter voor de toegewezen SQL-pool van Synapse installeren.

4. Controleer of dbt-fabric en de bijbehorende afhankelijkheden zijn geïnstalleerd met behulp van de pip list opdracht:

   pip list
   

   Een lange lijst met de pakketten en huidige versies moet worden geretourneerd met deze opdracht.

5. Als u er nog geen hebt, maakt u een magazijn. U kunt de proefcapaciteit voor deze oefening gebruiken: u registreren voor de gratis proefversie van Microsoft Fabric, een werkruimte maken en vervolgens een magazijn maken.

Aan de slag met dbt-fabric-adapter

In deze zelfstudie wordt Visual Studio Code gebruikt, maar u kunt uw favoriete hulpprogramma van uw keuze gebruiken.

1. Kloon het jaffle_shop demo dbt-project naar uw computer.

   • U kunt een opslagplaats klonen met het ingebouwde broncodebeheer van Visual Studio Code.
   • U kunt ook de git clone volgende opdracht gebruiken:

   git clone https://github.com/dbt-labs/jaffle_shop.git
   

2. Open de jaffle_shop projectmap in Visual Studio Code.

   

3. U kunt de registratie overslaan als u al een magazijn hebt gemaakt.

4. Maak een profiles.yml-bestand. Voeg de volgende configuratie toe aan profiles.yml. Dit bestand configureert de verbinding met uw magazijn in Microsoft Fabric met behulp van de dbt-fabric-adapter.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Notitie

   Wijzig indien gewenst van type fabric in overschakelen synapse van de databaseadapter naar Azure Synapse Analytics. Het gegevensplatform van een bestaand dbt-project kan worden bijgewerkt door de databaseadapter te wijzigen. Zie de dbt-lijst met ondersteunde gegevensplatforms voor meer informatie.

5. Verifieer uzelf bij Azure in de Visual Studio Code-terminal.

   • Voer deze uit az login in de Visual Studio Code-terminal als u Azure CLI-verificatie gebruikt.
   • Raadpleeg het instellen van dbt (Data Build Tool) en dbt-resourceconfiguraties voor service-principals of andere Verificatie van Microsoft Entra ID (voorheen Azure Active Directory) in Microsoft Fabric. Zie Microsoft Entra-verificatie als alternatief voor SQL-verificatie in Microsoft Fabric voor meer informatie.

6. Nu bent u klaar om de connectiviteit te testen. Als u de connectiviteit met uw magazijn wilt testen, voert u deze uit dbt debug in de Visual Studio Code-terminal.

   dbt debug
   

   

   Alle controles worden doorgegeven, wat betekent dat u uw magazijn kunt verbinden met behulp van de dbt-fabric-adapter van het jaffle_shop dbt-project.

7. Nu is het tijd om te testen of de adapter werkt of niet. Voer eerst uit dbt seed om voorbeeldgegevens in het magazijn in te voegen.

   

8. Voer deze opdracht uit dbt run om gegevens te valideren voor sommige tests.

   dbt run
   

   

9. Voer dbt test deze opdracht uit om de modellen uit te voeren die zijn gedefinieerd in het demo dbt-project.

   dbt test
   

   

U hebt nu een dbt-project geïmplementeerd in Fabric Data Warehouse.

Schakelen tussen verschillende magazijnen

Het dbt-project wordt eenvoudig verplaatst tussen verschillende magazijnen. Een dbt-project op elk ondersteund magazijn kan snel worden gemigreerd met dit proces van drie stappen:

1. Installeer de nieuwe adapter. Zie dbt-adapters voor meer informatie en volledige installatie-instructies.

2. Werk de type eigenschap in het profiles.yml bestand bij.

3. Maak het project.

dbt in Fabric Data Factory

Wanneer dbt is geïntegreerd met Apache Airflow, wordt een populair systeem voor werkstroombeheer een krachtig hulpmiddel voor het organiseren van gegevenstransformaties. Met de mogelijkheden voor planning en taakbeheer van Airflow kunnen gegevensteams dbt-uitvoeringen automatiseren. Het zorgt voor regelmatige updates van gegevens en onderhoudt een consistente stroom van hoogwaardige gegevens voor analyse en rapportage. Deze gecombineerde benadering, met behulp van de expertise van dbt op het gebied van transformatie met het werkstroombeheer van Airflow, levert efficiënte en robuuste gegevenspijplijnen, wat uiteindelijk leidt tot snellere en inzichtelijkere beslissingen op basis van gegevens.

Apache Airflow is een opensource-platform dat wordt gebruikt voor het programmatisch maken, plannen en bewaken van complexe gegevenswerkstromen. Hiermee kunt u een set taken, operatoren genoemd, definiëren die kunnen worden gecombineerd tot omgeleide acyclische grafieken (DAG's) om gegevenspijplijnen weer te geven.

Zie Gegevens transformeren met behulp van dbt met Data Factory in Microsoft Fabric voor meer informatie over het operationeel maken van dbt met uw magazijn.

Overwegingen

Belangrijke aandachtspunten bij het gebruik van dbt-fabric-adapter:

• Bekijk de huidige beperkingen in datawarehousing van Microsoft Fabric.

• Fabric biedt ondersteuning voor Microsoft Entra ID-verificatie (voorheen Azure Active Directory) voor gebruikers-principals, gebruikersidentiteiten en service-principals. De aanbevolen verificatiemodus voor interactief werken in warehouse is CLI (opdrachtregelinterfaces) en gebruiken service-principals voor automatisering.

• Controleer de T-SQL-opdrachten (Transact-SQL) die niet worden ondersteund in Fabric Data Warehouse.

• Sommige T-SQL-opdrachten worden ondersteund door dbt-fabric-adapter met behulp van Create Table as Select (CTAS), DROPen CREATE opdrachten, zoals ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, . sp_rename

• Bekijk niet-ondersteunde gegevenstypen voor meer informatie over de ondersteunde en niet-ondersteunde gegevenstypen.

• U kunt problemen registreren op de dbt-fabric-adapter op GitHub door problemen · microsoft/dbt-fabric · GitHub.

Volgende stap

Gegevens transformeren met dbt met Data Factory in Microsoft Fabric

Gerelateerde inhoud

• Wat is datawarehousing in Microsoft Fabric?
• Zelfstudie: Een magazijn maken in Microsoft Fabric
• Zelfstudie: Gegevens transformeren met behulp van een opgeslagen procedure
• Broncodebeheer met magazijn