Opplæring: Konfigurere dbt for Fabric Data Warehouse

Gjelder for:✅ Lager i Microsoft Fabric

Denne opplæringen veileder deg gjennom hvordan du konfigurerer dbt og distribuerer det første prosjektet til et Fabric Warehouse.

Innledning

Rammeverket for åpen kildekode (Data Build Tool) forenkler datatransformasjon og analyseteknikk. Den fokuserer på SQL-baserte transformasjoner i analyselaget, og behandler SQL som kode. dbt støtter versjonskontroll, modulærisering, testing og dokumentasjon.

DBT-adapteren for Microsoft Fabric kan brukes til å opprette dbt-prosjekter, som deretter kan distribueres til et Fabric Data Warehouse.

Du kan også endre målplattformen for dbt-prosjektet ved ganske enkelt å endre adapteren, for eksempel; Et prosjekt bygget for Azure Synapse dedikert SQL-utvalg kan oppgraderes om noen sekunder til et Fabric Data Warehouse.

Forutsetninger for dbt-adapteren for Microsoft Fabric

Følg denne listen for å installere og konfigurere forutsetningene for dbt:

1. Python versjon 3.7 (eller nyere).

2. Microsoft ODBC-driveren for SQL Server.

3. Nyeste versjon av dbt-stoffadapteren fra PyPI-repositoriet (Python Package Index) ved hjelp av pip install dbt-fabric.

   pip install dbt-fabric
   

   Merk

   Ved å endre pip install dbt-fabric til pip install dbt-synapse og bruke følgende instruksjoner, kan du installere dbt-adapteren for synapse dedikert SQL-utvalg.

4. Kontroller at dbt-stoff og avhengigheter installeres ved hjelp pip list av kommando:

   pip list
   

   En lang liste over pakker og gjeldende versjoner skal returneres fra denne kommandoen.

5. Hvis du ikke allerede har en, oppretter du et lager. Du kan bruke prøveversjonen av denne øvelsen: Registrer deg for gratis prøveversjon av Microsoft Fabric, opprett et arbeidsområde og opprett deretter et lager.

Kom i gang med dbt-fabric adapter

Denne opplæringen bruker Visual Studio Code, men du kan bruke det foretrukne verktøyet du ønsker.

1. Klon jaffle_shop demo-prosjektet på maskinen.

   • Du kan klone et repo med Den innebygde kildekontrollen i Visual Studio Code.
   • Eller du kan for eksempel bruke git clone kommandoen:

   git clone https://github.com/dbt-labs/jaffle_shop.git
   

2. jaffle_shop Åpne prosjektmappen i Visual Studio Code.

   

3. Du kan hoppe over registreringen hvis du allerede har opprettet et lager.

4. Opprett en profiles.yml fil. Legg til følgende konfigurasjon i profiles.yml. Denne filen konfigurerer tilkoblingen til lageret i Microsoft Fabric ved hjelp av dbt-stoffadapteren.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Merk

   type Endre fra fabric til å synapse bytte databaseadapteren til Azure Synapse Analytics, hvis ønskelig. Dataplattformen for et eksisterende dbt-prosjekt kan oppdateres ved å endre databasekortet. Hvis du vil ha mer informasjon, kan du se listen over dataplattformer som støttes.

5. Godkjenne deg selv til Azure i Visual Studio Code-terminalen.

   • Kjør az login i Visual Studio Code-terminalen hvis du bruker Azure CLI-godkjenning.
   • For tjenestekontohaver eller annen Microsoft Entra ID -godkjenning (tidligere Azure Active Directory) i Microsoft Fabric, kan du se konfigurasjonen av dbt (Data Build Tool) og dbt Resource Configurations. Hvis du vil ha mer informasjon, kan du se Microsoft Entra-godkjenning som et alternativ til SQL-godkjenning i Microsoft Fabric.

6. Nå er du klar til å teste tilkoblingen. Hvis du vil teste tilkoblingen til lageret, kjører du dbt debug i Visual Studio Code-terminalen.

   dbt debug
   

   

   Alle kontroller sendes, noe som betyr at du kan koble til lageret ved hjelp av dbt-stoffadapter fra jaffle_shop dbt-prosjektet.

7. Nå er det på tide å teste om adapteren fungerer eller ikke. Kjør først dbt seed for å sette inn eksempeldata i lageret.

   

8. Kjør dbt run for å validere data mot noen tester.

   dbt run
   

   

9. Kjør dbt test for å kjøre modellene som er definert i demo-prosjektet.

   dbt test
   

   

Du har nå distribuert et dbt-prosjekt til Fabric Data Warehouse.

Flytte mellom ulike lagre

Det er enkelt å flytte dbt-prosjektet mellom ulike lagre. Et dbt-prosjekt på et hvilket som helst støttet lager kan raskt overføres med denne tretrinnsprosessen:

1. Installer den nye adapteren. Hvis du vil ha mer informasjon og fullstendige installasjonsinstruksjoner, kan du se dbt-adaptere.

2. type Oppdater egenskapen i profiles.yml filen.

3. Bygg prosjektet.

dbt i Fabric Data Factory

Når den integreres med Apache Airflow, et populært system for arbeidsflytbehandling, blir dbt et kraftig verktøy for å orkestrere datatransformasjoner. Airflows planleggings- og oppgavestyringsfunksjoner gjør det mulig for datateam å automatisere dbt-kjøringer. Det sikrer regelmessige dataoppdateringer og opprettholder en konsekvent flyt av data av høy kvalitet for analyse og rapportering. Denne kombinerte tilnærmingen, ved hjelp av dbts transformasjonsekspertise med Airflows arbeidsflytadministrasjon, leverer effektive og robuste datasamlebånd, noe som til slutt fører til raskere og mer innsiktsfulle datadrevne beslutninger.

Apache Airflow er en åpen kildekode-plattform som brukes til programmatisk å opprette, planlegge og overvåke komplekse dataarbeidsflyter. Den lar deg definere et sett med oppgaver, kalt operatorer, som kan kombineres til rettet acykliske grafer (DAGs) for å representere datasamlebånd.

Hvis du vil ha mer informasjon om hvordan du operasjonaliserer dbt med lageret, kan du se Transformer data ved hjelp av dbt med Data Factory i Microsoft Fabric.

Vurderinger

Viktige ting du bør vurdere når du bruker dbt-stoff adapter:

• Se gjennom gjeldende begrensninger i Datalager for Microsoft Fabric.

• Fabric støtter Microsoft Entra ID -godkjenning (tidligere Azure Active Directory) for brukerkontohavere, brukeridentiteter og tjenestekontohavere. Den anbefalte godkjenningsmodusen for interaktivt arbeid på lageret er CLI (kommandolinjegrensesnitt) og bruker tjenestekontohavere for automatisering.

• Se gjennom kommandoene for T-SQL (Transact-SQL) som ikke støttes i Fabric Data Warehouse.

• Noen T-SQL-kommandoer støttes av dbt-fabric adapter ved hjelp av Create Table as Select (CTAS), DROPog CREATE kommandoer, for eksempel ALTER TABLE ADD/ALTER/DROP COLUMN, , MERGE, TRUNCATEsp_rename.

• Se gjennom datatyper som ikke støttes, for å lære om datatypene som støttes og ikke støttes.

• Du kan logge problemer på dbt-stoffadapteren på GitHub ved å besøke Problemer · microsoft/dbt-stoff · GitHub.

Neste trinn

Transformer data ved hjelp av dbt med Data Factory i Microsoft Fabric

Relatert innhold

• Hva er datalagring i Microsoft Fabric?
• Opplæring: Opprette et lager i Microsoft Fabric
• Opplæring: Transformere data ved hjelp av en lagret prosedyre
• Kildekontroll med lager