Dela via

Självstudie: Konfigurera dbt för Fabric Data Warehouse

  • Artikel

Gäller för:✅ Warehouse i Microsoft Fabric

Den här självstudien vägleder dig genom att konfigurera dbt och distribuera ditt första projekt till ett infrastrukturlager.

Introduktion

Dbt-ramverket (Data Build Tool) med öppen källkod förenklar datatransformeringen och analystekniken. Den fokuserar på SQL-baserade transformeringar i analysskiktet och behandlar SQL som kod. dbt stöder versionskontroll, modularisering, testning och dokumentation.

Dbt-adaptern för Microsoft Fabric kan användas för att skapa dbt-projekt, som sedan kan distribueras till ett Infrastrukturdatalager.

Du kan också ändra målplattformen för dbt-projektet genom att helt enkelt ändra adaptern, till exempel. Ett projekt som skapats för en dedikerad SQL-pool i Azure Synapse kan uppgraderas på några sekunder till ett Infrastrukturdatalager.

Krav för dbt-adaptern för Microsoft Fabric

Följ den här listan för att installera och konfigurera kraven för dbt:

  1. Python version 3.7 (eller senare).

  2. Microsoft ODBC-drivrutinen för SQL Server.

  3. Den senaste versionen av dbt-fabric-adaptern från PyPI-lagringsplatsen (Python Package Index) med .pip install dbt-fabric

    pip install dbt-fabric

    Kommentar

    Genom att ändra pip install dbt-fabric till pip install dbt-synapse och använda följande instruktioner kan du installera dbt-adaptern för synapse-dedikerad SQL-pool.

  4. Kontrollera att dbt-fabric och dess beroenden har installerats med hjälp pip list av kommandot :

    pip list

    En lång lista över paketen och de aktuella versionerna ska returneras från det här kommandot.

  5. Om du inte redan har ett skapar du ett lager. Du kan använda utvärderingskapaciteten för den här övningen: registrera dig för den kostnadsfria utvärderingsversionen av Microsoft Fabric, skapa en arbetsyta och sedan skapa ett lager.

Kom igång med dbt-fabric-adapter

I den här självstudien används Visual Studio Code, men du kan använda önskat verktyg.

  1. Klona jaffle_shop demo dbt-projektet på datorn.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. Öppna projektmappen jaffle_shop i Visual Studio Code.

    Skärmbild från Visual Studio Code som visar det öppna projektet.

  3. Du kan hoppa över registreringen om du redan har skapat ett lager.

  4. Skapa en profiles.yml-fil. Lägg till följande konfiguration i profiles.yml. Den här filen konfigurerar anslutningen till ditt lager i Microsoft Fabric med hjälp av dbt-fabric-adaptern.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Kommentar

    type Ändra från fabric till för synapse att växla databaskortet till Azure Synapse Analytics, om så önskas. Alla befintliga dbt-projekts dataplattform kan uppdateras genom att ändra databaskortet. Mer information finns i dbt-listan över dataplattformar som stöds.

  5. Autentisera dig själv till Azure i Visual Studio Code-terminalen.

  6. Nu är du redo att testa anslutningen. Om du vill testa anslutningen till ditt lager kör du dbt debug i Visual Studio Code-terminalen.

    dbt debug

    Skärmbild från Visual Studio Code som visar dbt-felsökningskommandot.

    Alla kontroller skickas, vilket innebär att du kan ansluta ditt lager med hjälp av dbt-fabric-adaptern jaffle_shop från dbt-projektet.

  7. Nu är det dags att testa om adaptern fungerar eller inte. Kör dbt seed först för att infoga exempeldata i lagret.

    Skärmbild från Visual Studio Code som visar ett dbt seed-kommando.

  8. Kör dbt run för att verifiera data mot vissa tester.

    dbt run

    Skärmbild från Visual Studio Code som visar ett dbt-körningskommando.

  9. Kör dbt test för att köra de modeller som definierats i demo dbt-projektet.

    dbt test

    Skärmbild från Visual Studio Code som visar ett dbt-testkommando.

Nu har du distribuerat ett dbt-projekt till Fabric Data Warehouse.

Flytta mellan olika lager

Det är enkelt att flytta dbt-projektet mellan olika lager. Ett dbt-projekt på alla lager som stöds kan snabbt migreras med den här trestegsprocessen:

  1. Installera det nya adaptern. Mer information och fullständiga installationsinstruktioner finns i dbt-kort.

  2. Uppdatera egenskapen type i profiles.yml filen.

  3. Bygga projektet.

dbt i Fabric Data Factory

När dbt är integrerat med Apache Airflow, ett populärt arbetsflödeshanteringssystem, blir det ett kraftfullt verktyg för att orkestrera datatransformeringar. Med Airflows funktioner för schemaläggning och uppgiftshantering kan datateam automatisera dbt-körningar. Det säkerställer regelbundna datauppdateringar och upprätthåller ett konsekvent flöde av högkvalitativa data för analys och rapportering. Den här kombinerade metoden, med hjälp av dbts transformeringsexpertis med Airflows arbetsflödeshantering, ger effektiva och robusta datapipelines, vilket i slutändan leder till snabbare och mer insiktsfulla datadrivna beslut.

Apache Airflow är en plattform med öppen källkod som används för att programmatiskt skapa, schemalägga och övervaka komplexa dataarbetsflöden. Det gör att du kan definiera en uppsättning uppgifter, så kallade operatorer, som kan kombineras till riktade acykliska grafer (DAG:er) för att representera datapipelines.

Mer information om hur du operationaliserar dbt med ditt lager finns i Transformera data med dbt med Data Factory i Microsoft Fabric.

Att tänka på

Viktiga saker att tänka på när du använder dbt-fabric-adapter:

  • Granska de aktuella begränsningarna i Microsoft Fabric-datalager.

  • Fabric stöder Microsoft Entra ID-autentisering (tidigare Azure Active Directory) för användarhuvudnamn, användaridentiteter och tjänstens huvudnamn. Det rekommenderade autentiseringsläget för interaktivt arbete på lager är CLI (kommandoradsgränssnitt) och använder tjänstens huvudnamn för automatisering.

  • Granska de T-SQL-kommandon (Transact-SQL) som inte stöds i Fabric Data Warehouse.

  • Vissa T-SQL-kommandon stöds av dbt-fabric-kort med hjälp av Create Table as Select (CTAS), DROPoch CREATE kommandon, till exempel ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

  • Läs Datatyper som inte stöds för att lära dig mer om de datatyper som stöds och som inte stöds.

  • Du kan logga problem på dbt-fabric-adaptern på GitHub genom att besöka Ärenden · microsoft/dbt-fabric · GitHub.

Gå vidare

Transformera data med hjälp av dbt med Data Factory i Microsoft Fabric

Relaterat innehåll