Tutorial: Configurar o dbt para o Fabric Data Warehouse

Aplica-se a:✅ Armazém no Microsoft Fabric

Este tutorial orienta você na configuração do dbt e na implantação do seu primeiro projeto em um Fabric Warehouse.

Introdução

A estrutura de código aberto dbt (Data Build Tool) simplifica a transformação de dados e a engenharia de análise. Ele se concentra em transformações baseadas em SQL dentro da camada de análise, tratando SQL como código. O DBT suporta controle de versão, modularização, testes e documentação.

O adaptador dbt para Microsoft Fabric pode ser usado para criar projetos dbt, que podem ser implantados em um Fabric Data Warehouse.

Você também pode alterar a plataforma de destino para o projeto dbt simplesmente alterando o adaptador, por exemplo; um projeto criado para o pool SQL dedicado do Azure Synapse pode ser atualizado em poucos segundos para um Fabric Data Warehouse.

Pré-requisitos para o adaptador dbt para Microsoft Fabric

Siga esta lista para instalar e configurar os pré-requisitos dbt:

1. Python versão 3.7 (ou superior).

2. O driver ODBC da Microsoft para SQL Server.

3. Versão mais recente do adaptador dbt-fabric do repositório PyPI (Python Package Index) usando pip install dbt-fabric.

   pip install dbt-fabric
   

   Nota

   Alterando pip install dbt-fabric e pip install dbt-synapse usando as instruções a seguir, você pode instalar o adaptador dbt para o pool SQL dedicado Synapse.

4. Certifique-se de verificar se dbt-fabric e suas dependências estão instalados usando o pip list comando:

   pip list
   

   Uma longa lista dos pacotes e versões atuais deve ser retornada a partir deste comando.

5. Se ainda não tiver um, crie um Armazém. Você pode usar a capacidade de avaliação para este exercício: inscreva-se na avaliação gratuita do Microsoft Fabric, crie um espaço de trabalho e, em seguida , crie um depósito.

Introdução ao adaptador dbt-fabric

Este tutorial usa o Visual Studio Code, mas você pode usar sua ferramenta preferida de sua escolha.

1. Clone o projeto dbt de demonstração jaffle_shop em sua máquina.

   • Você pode clonar um repositório com o controle de origem interno do Visual Studio Code.
   • Ou, por exemplo, você pode usar o git clone comando:

   git clone https://github.com/dbt-labs/jaffle_shop.git
   

2. Abra a pasta do jaffle_shop projeto no Visual Studio Code.

   

3. Pode ignorar a inscrição se já tiver criado um Armazém.

4. Crie um ficheiro profiles.yml. Adicione a seguinte configuração ao profiles.yml. Esse arquivo configura a conexão com seu depósito no Microsoft Fabric usando o adaptador dbt-fabric.

   config:
     partial_parse: true
   jaffle_shop:
     target: fabric-dev
     outputs:    
       fabric-dev:
         authentication: CLI
         database: <put the database name here>
         driver: ODBC Driver 18 for SQL Server
         host: <enter your SQL analytics endpoint here>
         schema: dbo
         threads: 4
         type: fabric
   

   Nota

   Altere o type de para synapse para alternar o adaptador de fabric banco de dados para o Azure Synapse Analytics, se desejado. Qualquer plataforma de dados existente do projeto dbt pode ser atualizada alterando o adaptador de banco de dados. Para obter mais informações, consulte a lista dbt de plataformas de dados suportadas.

5. Autentique-se no Azure no terminal do Visual Studio Code.

   • Execute az login no terminal de código do Visual Studio se você estiver usando a autenticação da CLI do Azure.
   • Para obter a autenticação da Entidade de Serviço ou outra autenticação do Microsoft Entra ID (anteriormente Azure Ative Directory) no Microsoft Fabric, consulte a configuração dbt (Data Build Tool) e as Configurações de Recursos dbt. Para obter mais informações, consulte Autenticação do Microsoft Entra como alternativa à autenticação SQL no Microsoft Fabric.

6. Agora você está pronto para testar a conectividade. Para testar a conectividade com seu depósito, execute dbt debug no terminal do Visual Studio Code.

   dbt debug
   

   

   Todas as verificações são passadas, o que significa que você pode conectar seu armazém usando o adaptador dbt-fabric do jaffle_shop projeto dbt.

7. Agora, é hora de testar se o adaptador está funcionando ou não. Primeira execução dbt seed para inserir dados de amostra no armazém.

   

8. Execute dbt run para validar dados em relação a alguns testes.

   dbt run
   

   

9. Execute dbt test para executar os modelos definidos no projeto dbt de demonstração.

   dbt test
   

   

Agora você implantou um projeto dbt no Fabric Data Warehouse.

Deslocar-se entre armazéns diferentes

É simples mover o projeto dbt entre diferentes armazéns. Um projeto dbt em qualquer armazém suportado pode ser migrado rapidamente com este processo de três etapas:

1. Instale o novo adaptador. Para obter mais informações e instruções de instalação completas, consulte dbt adapters.

2. Atualize a type profiles.yml propriedade no arquivo.

3. Compilar o projeto.

dbt no Fabric Data Factory

Quando integrado com o Apache Airflow, um popular sistema de gerenciamento de fluxo de trabalho, o dbt se torna uma ferramenta poderosa para orquestrar transformações de dados. Os recursos de agendamento e gerenciamento de tarefas do Airflow permitem que as equipes de dados automatizem as execuções de dbt. Ele garante atualizações regulares de dados e mantém um fluxo consistente de dados de alta qualidade para análise e relatórios. Essa abordagem combinada, usando a experiência em transformação da dbt com o gerenciamento de fluxo de trabalho da Airflow, oferece pipelines de dados eficientes e robustos, levando a decisões baseadas em dados mais rápidas e perspicazes.

O Apache Airflow é uma plataforma de código aberto usada para criar, programar e monitorar programaticamente fluxos de trabalho de dados complexos. Ele permite definir um conjunto de tarefas, chamadas operadores, que podem ser combinadas em gráficos acíclicos direcionados (DAGs) para representar pipelines de dados.

Para obter mais informações para operacionalizar o dbt com seu depósito, consulte Transformar dados usando dbt com o Data Factory no Microsoft Fabric.

Considerações

Coisas importantes a considerar ao usar o adaptador dbt-fabric:

• Analise as limitações atuais no armazenamento de dados do Microsoft Fabric.

• O Fabric dá suporte à autenticação Microsoft Entra ID (anteriormente Azure Ative Directory) para entidades de usuário, identidades de usuário e entidades de serviço. O modo de autenticação recomendado para trabalhar interativamente no armazém é CLI (interfaces de linha de comando) e usar entidades de serviço para automação.

• Analise os comandos T-SQL (Transact-SQL) não suportados no Fabric Data Warehouse.

• Alguns comandos T-SQL são suportados pelo adaptador dbt-fabric usando Create Table as Select (CTAS), DROPe CREATE comandos, como ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, , TRUNCATEsp_rename.

• Reveja os tipos de dados sem suporte para saber mais sobre os tipos de dados suportados e não suportados.

• Você pode registrar problemas no adaptador dbt-fabric no GitHub visitando Problemas · Microsoft/DBT-Fabric · GitHub.

Próximo passo

Transforme dados usando dbt com o Data Factory no Microsoft Fabric

Conteúdos relacionados

• O que é data warehousing no Microsoft Fabric?
• Tutorial: Criar um depósito no Microsoft Fabric
• Tutorial: Transformar dados usando um procedimento armazenado
• Controle de origem com armazém