Sdílet prostřednictvím

Kurz: Nastavení dbt pro datový sklad Fabric

  • Článek

Platí pro:✅ Warehouse v Microsoft Fabric

Tento kurz vás provede nastavením dbt a nasazením prvního projektu do skladu Fabric.

Úvod

Open source architektura dbt (Data Build Tool) zjednodušuje transformaci a analýzu dat. Zaměřuje se na transformace založené na SQL v rámci analytické vrstvy a zpracovává SQL jako kód. dbt podporuje správu verzí, modularizaci, testování a dokumentaci.

Adaptér dbt pro Microsoft Fabric lze použít k vytvoření projektů dbt, které je pak možné nasadit do datového skladu Fabric.

Cílovou platformu pro projekt dbt můžete také změnit jednoduše změnou adaptéru, například; Projekt vytvořený pro vyhrazený fond SQL Azure Synapse je možné během několika sekund upgradovat na datový sklad prostředků infrastruktury.

Požadavky na adaptér dbt pro Microsoft Fabric

Podle tohoto seznamu nainstalujte a nastavte požadavky dbt:

  1. Python verze 3.7 (nebo vyšší)

  2. Ovladač Microsoft ODBC pro SQL Server.

  3. Nejnovější verze adaptéru dbt-fabric z úložiště PyPI (Python Package Index) pomocí pip install dbt-fabric.

    pip install dbt-fabric

    Poznámka:

    pip install dbt-fabric Změnou na pip install dbt-synapse a pomocí následujících pokynů můžete nainstalovat adaptér dbt pro vyhrazený fond SYNApse SQL.

  4. Pomocí příkazu ověřte, že jsou nainstalovány pip list dbt-fabric a jeho závislosti:

    pip list

    Z tohoto příkazu by se měl vrátit dlouhý seznam balíčků a aktuálních verzí.

  5. Pokud ho ještě nemáte, vytvořte sklad. Pro toto cvičení můžete použít zkušební kapacitu: zaregistrujte si bezplatnou zkušební verzi Microsoft Fabric, vytvořte pracovní prostor a pak vytvořte sklad.

Začínáme s adaptérem dbt-fabric

Tento kurz používá Visual Studio Code, ale můžete použít preferovaný nástroj podle svého výběru.

  1. Naklonujte projekt dbt ukázky jaffle_shop do počítače.

    git clone https://github.com/dbt-labs/jaffle_shop.git

  2. Otevřete složku projektu v editoru jaffle_shop Visual Studio Code.

    Snímek obrazovky z editoru Visual Studio Code zobrazující otevřený projekt

  3. Registraci můžete přeskočit, pokud jste už vytvořili sklad.

  4. Vytvořte soubor profiles.yml. Přidejte do souboru profiles.yml. Tento soubor nakonfiguruje připojení k vašemu skladu v Microsoft Fabric pomocí adaptéru dbt-fabric.

    config:
  partial_parse: true
jaffle_shop:
  target: fabric-dev
  outputs:    
    fabric-dev:
      authentication: CLI
      database: <put the database name here>
      driver: ODBC Driver 18 for SQL Server
      host: <enter your SQL analytics endpoint here>
      schema: dbo
      threads: 4
      type: fabric

    Poznámka:

    type fabric synapse V případě potřeby přepněte adaptér databáze na Azure Synapse Analytics. Datovou platformu libovolného existujícího projektu dbt je možné aktualizovat změnou adaptéru databáze. Další informace najdete v seznamu dbt podporovaných datových platforem.

  5. Ověřte se v Azure v terminálu editoru Visual Studio Code.

  6. Teď jste připraveni otestovat připojení. Pokud chcete otestovat připojení k vašemu skladu, spusťte dbt debug ho v terminálu editoru Visual Studio Code.

    dbt debug

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz pro ladění dbt

    Všechny kontroly jsou úspěšné, což znamená, že můžete připojit sklad pomocí adaptéru jaffle_shop dbt-fabric z projektu dbt.

  7. Teď je čas otestovat, jestli adaptér funguje nebo ne. Nejprve spusťte dbt seed vložení ukázkových dat do skladu.

    Snímek obrazovky z editoru Visual Studio Code zobrazující počáteční příkaz dbt

  8. Spuštěním ověřte dbt run data v některých testech.

    dbt run

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz pro spuštění dbt

  9. Spuštěním spusťte dbt test modely definované v ukázkovém projektu dbt.

    dbt test

    Snímek obrazovky z editoru Visual Studio Code zobrazující příkaz dbt test

Nyní jste nasadili projekt dbt do datového skladu Fabric.

Přechod mezi různými sklady

Je to jednoduché přesunutí projektu dbt mezi různými sklady. Pomocí tohoto tří kroků je možné rychle migrovat projekt dbt v libovolném podporovaném skladu:

  1. Nainstalujte nový adaptér. Další informace a úplné pokyny k instalaci najdete v tématu adaptéry dbt.

  2. Aktualizujte type vlastnost v profiles.yml souboru.

  3. Sestavte projekt.

dbt ve službě Fabric Data Factory

Při integraci s Apache Airflow se oblíbený systém správy pracovních postupů stane výkonným nástrojem pro orchestraci transformací dat. Funkce plánování a správy úkolů airflow umožňují datovým týmům automatizovat běhy dbt. Zajišťuje pravidelné aktualizace dat a udržuje konzistentní tok vysoce kvalitních dat pro analýzu a vytváření sestav. Tento kombinovaný přístup s využitím odborných znalostí transformace dbt s řízením pracovních postupů společnosti Airflow poskytuje efektivní a robustní datové kanály, což vede k rychlejším a přehlednějším rozhodnutím založeným na datech.

Apache Airflow je opensourcová platforma používaná k programovému vytváření, plánování a monitorování složitých datových pracovních postupů. Umožňuje definovat sadu úloh označovaných jako operátory, které se dají kombinovat do směrovaných acyklických grafů (DAG), které představují datové kanály.

Další informace o zprovoznění dbt s vaším skladem najdete v tématu Transformace dat pomocí dbt se službou Data Factory v Microsoft Fabric.

Důležité informace

Důležité informace, které je potřeba vzít v úvahu při použití adaptéru dbt-fabric:

  • Projděte si aktuální omezení datových skladů Microsoft Fabric.

  • Prostředky infrastruktury podporují ověřování Microsoft Entra ID (dříve Azure Active Directory) pro objekty zabezpečení uživatele, identity uživatelů a instanční objekty. Doporučený režim ověřování pro interaktivní práci na skladu je rozhraní příkazového řádku (rozhraní příkazového řádku) a použití instančních objektů pro automatizaci.

  • Projděte si příkazy T-SQL (Transact-SQL) nepodporované ve službě Fabric Data Warehouse.

  • Některé příkazy T-SQL podporují adaptér dbt-fabric pomocí Create Table as Select (CTAS) DROPa CREATE příkazy, například ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

  • Projděte si nepodporované datové typy a seznamte se s podporovanými a nepodporovanými datovými typy.

  • Problémy s adaptérem dbt-fabric na GitHubu můžete protokolovat tak , že navštívíte problémy · microsoft/dbt-fabric · GitHub.

Další krok

Transformace dat pomocí dbt se službou Data Factory v Microsoft Fabric

Související obsah