Selvstudium: Konfigurer databaset til Fabric Data Warehouse
Gælder for:✅ Warehouse i Microsoft Fabric
Dette selvstudium hjælper dig med at konfigurere dbt og udrulle dit første projekt til et Fabric Warehouse.
Introduktion
Open source-strukturen med databaset (Data Build Tool) forenkler datatransformation og analysekonstruktion. Den fokuserer på SQL-baserede transformationer i analyselaget og behandler SQL som kode. dbt understøtter versionsstyring, modularisering, test og dokumentation.
Dbt-adapteren til Microsoft Fabric kan bruges til at oprette dbt-projekter, som derefter kan udrulles til et Fabric Data Warehouse.
Du kan også ændre målplatformen for dbt-projektet ved f.eks. blot at ændre adapteren. et projekt, der er bygget til Azure Synapse-dedikeret SQL-pulje , kan opgraderes på få sekunder til et Fabric Data Warehouse.
Forudsætninger for dbt-adapteren til Microsoft Fabric
Følg denne liste for at installere og konfigurere dbt-forudsætningerne:
Seneste version af dbt-fabric-adapteren fra PyPI-lageret (Python Package Index) ved hjælp af
pip install dbt-fabric
.pip install dbt-fabric
Bemærk
Ved at skifte
pip install dbt-fabric
tilpip install dbt-synapse
og bruge følgende instruktioner kan du installere dbt-adapteren til Synapse-dedikeret SQL-gruppe.Sørg for at kontrollere, at dbt-fabric og dens afhængigheder er installeret ved hjælp
pip list
af kommandoen:pip list
Der skal returneres en lang liste over pakkerne og de aktuelle versioner fra denne kommando.
Hvis du ikke allerede har en, skal du oprette et lager. Du kan bruge prøvekapaciteten til denne øvelse: Tilmeld dig den gratis prøveversion af Microsoft Fabric, opret et arbejdsområde, og opret derefter et lager.
Kom i gang med dbt-fabric adapter
I dette selvstudium bruges Visual Studio Code, men du kan bruge dit foretrukne værktøj efter eget valg.
Klon det jaffle_shop demo dbt-projekt på computeren.
- Du kan klone et lager med Visual Studio Code's indbyggede versionsstyring.
- Eller du kan f.eks. bruge kommandoen
git clone
:
git clone https://github.com/dbt-labs/jaffle_shop.git
jaffle_shop
Åbn projektmappen i Visual Studio Code.Du kan springe tilmeldingen over, hvis du allerede har oprettet et lager.
Opret en
profiles.yml
fil. Føj følgende konfiguration tilprofiles.yml
. Denne fil konfigurerer forbindelsen til dit lager i Microsoft Fabric ved hjælp af dbt-fabric-adapteren.config: partial_parse: true jaffle_shop: target: fabric-dev outputs: fabric-dev: authentication: CLI database: <put the database name here> driver: ODBC Driver 18 for SQL Server host: <enter your SQL analytics endpoint here> schema: dbo threads: 4 type: fabric
Bemærk
type
Skift frafabric
til forsynapse
at skifte databaseadapteren til Azure Synapse Analytics, hvis det er nødvendigt. Dataplatformen for et eksisterende dbt-projekt kan opdateres ved at ændre databaseadapteren. Du kan få flere oplysninger på dbt-listen over understøttede dataplatforme.Godkend dig selv til Azure i Visual Studio Code-terminalen.
- Kør
az login
i Visual Studio Code-terminalen, hvis du bruger Azure CLI-godkendelse. - Hvis du vil have tjenesteprincipal eller anden Microsoft Entra ID-godkendelse (tidligere Azure Active Directory) i Microsoft Fabric, skal du se konfigurationer af dbt (Data Build Tool) og dbt Resource Configurations. Du kan få flere oplysninger under Microsoft Entra-godkendelse som et alternativ til SQL-godkendelse i Microsoft Fabric.
- Kør
Nu er du klar til at teste forbindelsen. Hvis du vil teste forbindelsen til dit lager, skal du køre
dbt debug
i Visual Studio Code-terminalen.dbt debug
Alle kontroller overføres, hvilket betyder, at du kan forbinde dit lager ved hjælp af dbt-fabric-adapteren
jaffle_shop
fra dbt-projektet.Nu er det tid til at teste, om adapteren fungerer eller ej.
dbt seed
Kør først for at indsætte eksempeldata i lageret.Kør
dbt run
for at validere data i forhold til nogle test.dbt run
Kør
dbt test
for at køre de modeller, der er defineret i demo dbt-projektet.dbt test
Du har nu udrullet et dbt-projekt til Fabric Data Warehouse.
Flyt mellem forskellige lagre
Det er nemt at flytte dbt-projektet mellem forskellige lagre. Et dbt-projekt på et hvilket som helst understøttet lager kan hurtigt overføres med denne proces med tre trin:
Installér det nye kort. Du kan finde flere oplysninger og komplette installationsvejledninger under dbt-adaptere.
Opdater egenskaben
type
iprofiles.yml
filen.Opbyg projektet.
dbt i Fabric Data Factory
Når dbt er integreret med Apache Airflow, et populært arbejdsprocesstyringssystem, bliver den et effektivt værktøj til orkestrering af datatransformationer. Airflows planlægnings- og opgavestyringsfunktioner gør det muligt for datateams at automatisere dbt-kørsler. Det sikrer regelmæssige dataopdateringer og vedligeholder et ensartet flow af data af høj kvalitet til analyse og rapportering. Denne kombinerede tilgang, der bruger dbt's transformationsekspertise med Airflows arbejdsprocesstyring, leverer effektive og robuste datapipelines, hvilket i sidste ende fører til hurtigere og mere indsigtsfulde datadrevne beslutninger.
Apache Airflow er en åben kildekodeplatform, der bruges til programmeringsmæssigt at oprette, planlægge og overvåge komplekse dataarbejdsprocesser. Det giver dig mulighed for at definere et sæt opgaver, kaldet operatorer, der kan kombineres i styrede acycliske grafer (DAG'er) for at repræsentere datapipelines.
Du kan få flere oplysninger om drift af dbt med dit lager under Transformér data ved hjælp af dbt med Data Factory i Microsoft Fabric.
Overvejelser
Vigtige ting, du skal overveje, når du bruger dbt-fabric-adapter:
Gennemse de aktuelle begrænsninger i Microsoft Fabric-datawarehousing.
Fabric understøtter Microsoft Entra ID-godkendelse (tidligere Azure Active Directory) for brugerprincipaler, brugeridentiteter og tjenesteprincipaler. Den anbefalede godkendelsestilstand til interaktivt arbejde på lageret er kommandolinjegrænseflader og brug tjenesteprincipaler til automatisering.
Gennemse T-SQL-kommandoerne (Transact-SQL), der ikke understøttes i Fabric Data Warehouse.
Nogle T-SQL-kommandoer understøttes af dbt-fabric-adapteren ved hjælp af
Create Table as Select
(CTAS),DROP
ogCREATE
kommandoer, f.eksALTER TABLE ADD/ALTER/DROP COLUMN
. ,MERGE
,TRUNCATE
,sp_rename
.Gennemse ikke-understøttede datatyper for at få mere at vide om de understøttede og ikke-understøttede datatyper.
Du kan logge problemer på dbt-fabric-adapteren på GitHub ved at gå til Problemer · microsoft/dbt-fabric · GitHub.