Jaa

Opetusohjelma: Fabric-tietovaraston dbt:n määrittäminen

  • Artikkeli

Koskee:✅ Microsoft Fabric -varasto

Tämä opetusohjelma opastaa sinua dbt:n määrittämisessä ja ensimmäisen projektisi käyttöönotossa Fabric Warehousessa.

Esittely

Avoimen lähdekoodin dbt (Data Build Tool) -sovelluskehys yksinkertaistaa tietojen muuntamista ja analytiikan suunnittelua. Se keskittyy SQL-pohjaisiin muunnoksiin analytiikkatasolla ja käsittelee SQL:ää koodina. dbt tukee versionhallintaa, modulaarista testausta ja dokumentaatiota.

Microsoft Fabric -tietokannan sovittimen avulla voidaan luoda dbt-projekteja, jotka voidaan sitten ottaa käyttöön Fabric Data Warehousessa.

Voit myös muuttaa dbt-projektin kohdeympäristöä vaihtamalla esimerkiksi sovitinta. projekti, joka on luotu Azure Synapse erillistä SQL-varantoa varten, voidaan päivittää muutamassa sekunnissa Fabric Data Warehouseksi.

Microsoft Fabric -dbt-sovittimen edellytykset

Asenna ja määritä dbt-edellytykset noudattamalla tätä luetteloa:

  1. Python-versio 3.7 (tai uudempi)

  2. Microsoft ODBC Driver for SQL Server.

  3. Dbt-fabric-sovittimen uusin versio PyPI (Python Package Index) -säilöstä käyttämällä -säilöäpip install dbt-fabric.

    pip install dbt-fabric

    Muistiinpano

    Vaihtamalla pip install dbt-fabric pip install dbt-synapse kohtaan ja noudattamalla seuraavia ohjeita voit asentaa Synapse-varatun SQL-varannon dbt-sovittimen.

  4. Varmista, että dbt-fabric ja sen riippuvuudet on asennettu komennolla pip list :

    pip list

    Tästä komennosta on palautettava pitkä luettelo paketeista ja nykyisistä versioista.

  5. Jos sinulla ei vielä ole sellaista, luo Varasto. Voit käyttää kokeilukapasiteettia tässä harjoituksessa: rekisteröidy ilmaiseen Microsoft Fabric -kokeiluversioon, luo työtila ja luo sitten varasto.

Dbt-fabric-sovittimen käytön aloittaminen

Tässä opetusohjelmassa käytetään Visual Studio Codea, mutta voit käyttää haluamaasi työkalua.

  1. Kloonaa jaffle_shop esittelydbt -projekti tietokoneeseesi.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. jaffle_shop Avaa projektikansio Visual Studio Codessa.

    Visual Studio Coden näyttökuva, jossa näkyy avoin projekti.

  3. Voit ohittaa rekisteröitymisen, jos olet jo luonut Warehousen.

  4. profiles.yml Luo tiedosto. Lisää seuraava määritys kohteeseen profiles.yml. Tämä tiedosto määrittää yhteyden Microsoft Fabric varastoosi dbt-fabric-sovittimen avulla.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Muistiinpano

    Vaihda arvo arvolla type fabric arvoon synapse tietokantasovitin ja vaihda se tarvittaessa Azure Synapse Analyticsiin. Minkä tahansa olemassa olevan dbt-projektin tietoympäristön voi päivittää muuttamalla tietokannan sovitinta. Lisätietoja on dbt-luettelossa tuetuista tietoympäristöistä.

  5. Todenna itsesi Azureen Visual Studio Code -päätteessä.

  6. Nyt olet valmis testaamaan yhteyksiä. Jos haluat testata yhdistettävyyttä varastoosi, suorita dbt debug Visual Studio Code -päätteessä.

    dbt debug

    Visual Studio Coden näyttökuva, joka näyttää virheenkorjauskomennon.

    Kaikki tarkastukset välitetään, mikä tarkoittaa sitä, että voit yhdistää varastosi Dbt-Fabric-sovittimen avulla dbt-projektista jaffle_shop .

  7. Seuraavaksi on aika testata, toimiiko sovitin vai ei. dbt seed Suorita ensin mallitietojen lisääminen varastoon.

    Visual Studio Coden näyttökuva, joka näyttää komennon dbt siemen.

  8. Suorita dbt run , jotta voit vahvistaa tiedot joissakin testeissä.

    dbt run

    Visual Studio Coden näyttökuva, joka näyttää komennon dbt run.

  9. Suorita dbt test suorittaaksesi mallit, jotka on määritetty esittely-dbt-projektissa.

    dbt test

    Visual Studio Coden näyttökuva, joka näyttää dbt-testikomennon.

Olet nyt ottanut käyttöön Dbt-projektin Fabric Data Warehouseen.

Siirry eri varastoista toiseen

Dbt-projektin siirtäminen eri varastojen välillä on yksinkertaista. Minkä tahansa tuetun varaston dbt-projekti voidaan siirtää nopeasti tämän kolmivaiheisen prosessin avulla:

  1. Asenna uusi sovitin. Katso lisätietoja ja täydelliset asennusohjeet artikkelista Sovittimet.

  2. type Päivitä -ominaisuus tiedostossaprofiles.yml.

  3. Muodosta projekti.

dbt in Fabric Data Factory

Dbt on integroitu suositun työnkulun hallintajärjestelmän Apache Airflow'n kanssa, ja siitä tulee tehokas työkalu tietojen muunnosten järjestämiseen. Airflow'n ajoitus- ja tehtävienhallintaominaisuuksien avulla tietotiimit voivat automatisoida dbt-suorituksia. Se varmistaa säännölliset tietopäivitykset ja ylläpitää yhdenmukaista korkealaatuisten tietojen kulkua analysointia ja raportointia varten. Tämä yhdistetty lähestymistapa, jossa hyödynnetään Dbt:n muunnososaamista Airflow'n työnkulun hallinnan ansiosta, tarjoaa tehokkaita ja tehokkaita tietoputkia, mikä johtaa lopulta nopeampiin ja merkityksellisempiin tietoihin perustuviin päätöksiin.

Apache Airflow on avoimen lähdekoodin ympäristö, jolla voit ohjelmallisesti luoda, ajoittaa ja valvoa monimutkaisia tietotyönkulkuja. Sen avulla voit määrittää joukon tehtäviä, joita kutsutaan operaattoreiksi ja jotka voidaan yhdistää suunnattuihin asyklisiin kuvaajiin (DAG), jotka edustavat tietoputkia.

Lisätietoja tietokannan operationalisoimiseksi varaston avulla on kohdassa Tietojen muuntaminen tietokannalla Data Factoryn avulla Microsoft Fabricissa.

Huomioitavia seikkoja

Dbt-Fabric-sovittimen käytössä on otettava huomioon seuraavat tärkeät seikat:

Seuraava vaihe

Tietojen muuntaminen dbt:n avulla Data Factoryn avulla Microsoft Fabricissa

Liittyvä sisältö