Criar um Espaço de Trabalho do Fabric para FinOps

Este artigo orienta você na criação e configuração de um espaço de trabalho do Microsoft Fabric para FinOps. Ele fornece um guia passo a passo para criar e configurar a configuração do ADLS (Azure Data Lake Storage), a exportação de dados, a criação de workspaces e a ingestão de dados. Quando concluído, você pode usar o Power BI para criar relatórios.

Pré-requisitos

Antes de começar, você precisa ter:

• Uma assinatura paga do Azure com informações de custo e uso
• Proprietário de uma conta de armazenamento ou ter acesso para conceder permissões à conta de armazenamento
• Você deve ter a função Colaborador de Dados do Blob de Armazenamento ao usar a autenticação de conta organizacional. Se você não tiver a permissão necessária, poderá usar outros tipos de autenticação, como Chave da conta. Caso contrário, você receberá um Invalid credentials erro.

Para concluir este passo a passo, crie os seguintes recursos que incorrem em custos:

• Uma conta do Azure Data Lake Storage Gen2
• Um workspace do Power BI
• Um espaço de trabalho do Fabric

Criar e configurar o Azure Data Lake Storage

O Microsoft Fabric é otimizado para trabalhar com contas de armazenamento com namespace hierárquico habilitado, também conhecido como Azure Data Lake Storage Gen2. Você tem duas opções para obter uma conta de armazenamento do Data Lake:

• Opção 1: para criar uma conta de armazenamento do Data Lake, consulte Criar uma conta de armazenamento para o Azure Data Lake Storage Gen2.
• Opção 2: para habilitar o namespace hierárquico em uma conta de armazenamento existente, consulte Atualizar o Armazenamento de Blobs do Azure com recursos do Azure Data Lake Storage Gen2.

Dica

Se você implantou hubs FinOps, poderá usar a conta de armazenamento criada como parte do grupo de recursos do hub.

Para o exemplo a seguir, usamos a seguinte conta de armazenamento do Data Lake Gen 2. Você usa sua própria conta de armazenamento e detalhes de assinatura.

• Assinatura = assinatura da Contoso.
• Conta de armazenamento = Contoso-storage-account.

Exportar dados de custo

Como estamos criando um workspace otimizado para FinOps, exportamos dados de custo usando a FOCUS (Especificação de Custo e Uso Aberto) do FinOps, um formato de dados independente do provedor para detalhes de custo. Todos os nossos exemplos usam FOCUS, mas você também pode usar exportações de custo real ou amortizado existentes que tenham a substituição de arquivo habilitada.

Para obter mais informações sobre o FOCUS e seus benefícios, confira O que é o FOCUS. A FinOps Foundation também oferece um curso gratuito de Introdução ao FOCUS. As soluções do Power BI da Microsoft para FinOps estão alinhadas ao FOCUS.

Para criar uma exportação, consulte Criar exportações.

Aqui estão as etapas de alto nível para criar uma exportação:

1. Entre no portal do Azure em https://portal.azure.com, pesquise Gerenciamento de Custos.
2. Selecione o escopo necessário e selecione Exportações no menu de navegação à esquerda.
3. Selecione + Criar
4. Na guia Noções básicas, selecione o modelo = Custo e uso (FOCO)
5. Na guia Conjuntos de dados, preencha Prefixo de exportação para garantir que você tenha um nome exclusivo para a exportação. Por exemplo, june2024focus.
6. Na guia Destino, selecione:
   • Tipo de armazenamento = Armazenamento de blobs do Azure
   • Destino e armazenamento = Usar existente
   • Assinatura = assinatura da Contoso
   • Conta de armazenamento = Contoso-storage-account
   • Contêiner = msexports
   • Diretório = focuscost/<scope-id>
   • Tipo de compactação = Nenhum.
   • Substituir dados = Ativado
7. Na guia Examinar + Criar, selecione Criar.
8. Execute a exportação selecionando Executar agora na página de exportação.

Certifique-se de que sua exportação tenha sido concluída e que o arquivo esteja disponível antes de passar para a próxima etapa.

Importante

As exportações do Gerenciamento de Custos utilizam identidade gerenciada. Para criar uma exportação, você deve ser um Proprietário da conta de armazenamento ou ter acesso para conceder permissões à conta de armazenamento. Para ver todas as permissões necessárias, consulte Pré-requisitos.

Se você quiser automatizar a criação de exportação, considere usar o comando New-FinOpsCostExport no módulo do PowerShell do kit de ferramentas FinOps.

Se você implantou hubs FinOps, pode ignorar esta etapa e usar os dados processados no armazenamento do hub.

Criar um workspace do Fabric

Se você já tiver um espaço de trabalho do Microsoft Fabric, poderá ignorar a criação de um novo espaço de trabalho, a menos que queira manter seus recursos FinOps separados dos outros.

Se você não configurou o Microsoft Fabric, consulte Habilitar o Microsoft Fabric para sua organização.

1. Entre no aplicativo Fabric usando sua conta gratuita do Fabric ou a conta do Microsoft Power BI.
2. Você pode criar um novo workspace para seus recursos FinOps ou optar por usar um workspace existente. Para criar um espaço de trabalho, consulte Criar um espaço de trabalho.

Se você não estiver familiarizado com o Microsoft Fabric ou não tiver a capacidade do Fabric habilitada, consulte Avaliação do Fabric. Se as avaliações do Fabric estiverem desabilitadas, talvez seja necessário criar uma nova capacidade do Fabric.

A capacidade do Fabric sem avaliação incorre em encargos para sua organização. Consulte os preços do Microsoft Fabric.

Aqui está um exemplo de captura de tela mostrando um novo espaço de trabalho do Fabric sendo criado.

Criar um lakehouse

Os lakehouses do Microsoft Fabric são arquiteturas de dados que permitem que as organizações armazenem e gerenciem dados estruturados e não estruturados em um único local. Eles usam várias ferramentas e estruturas para processar e analisar esses dados. Essas ferramentas e estruturas podem incluir consultas e análises baseadas em SQL, aprendizado de máquina e outras técnicas de análise avançada.

Você pode criar um novo lakehouse ou usar um existente. Os lakehouses são interoperáveis, portanto, geralmente recomendamos o uso de um único lakehouse para todos os seus conjuntos de dados FinOps. Um único lakehouse mantém as informações relacionadas juntas para compartilhar modelos de dados, pipelines e medidas de segurança.

Para criar um novo lakehouse no espaço de trabalho do Fabric de sua escolha:

1. Entre no aplicativo Fabric usando sua conta gratuita do Fabric ou a conta do Microsoft Power BI.
2. Selecione o espaço de trabalho em que deseja criar o lakehouse.
3. Próximo ao canto superior esquerdo da página, selecione + Novo e, em seguida, selecione Mais opções.
   
4. Selecione Lakehouse
   

Para obter mais informações, consulte Criar um lakehouse.

Criar um atalho para armazenamento

Os atalhos no lakehouse permitem que você faça referência a dados sem copiá-los. Ele unifica dados de diferentes lakehouses, workspaces ou armazenamento externo, como Data Lake Gen2 ou Amazon Web Services (AWS) S3. Você pode disponibilizar rapidamente grandes quantidades de dados no seu lakehouse localmente sem a latência de copiar dados da origem.

Para criar um atalho, consulte Criar um atalho do Azure Data Lake Storage Gen2.

1. Entre no aplicativo Fabric usando sua conta gratuita do Fabric ou a conta do Microsoft Power BI.
2. Selecione a casa do lago de sua escolha.
3. Selecione as reticências (...) ao lado de Arquivos.
   Você adiciona arquivos CSV e Parquet em Arquivos. As tabelas delta são adicionadas em Tabelas.
4. Selecione Novo atalho.
   
5. Selecione Azure Data Lake Storage Gen 2 e forneça as seguintes configurações:
   • URL = URL do Data Lake Storage da conta de armazenamento do Data Lake. Consulte a observação a seguir sobre autenticação.
   • Conexão = Criar uma nova conexão
   • Nome da conexão = <qualquer nome de sua escolha>
   • Tipo de autenticação = Conta organizacional
   • Entre quando solicitado.

Aqui está um exemplo de captura de tela mostrando as novas configurações de conexão de atalho.

Para obter a URL do Data Lake Storage, exiba a conta de armazenamento em que a exportação criou um diretório e o arquivo de custo do FOCUS. Em Configurações, selecione Pontos de extremidade. Copie a URL marcada como Data Lake Storage.

Aqui está uma captura de tela de exemplo mostrando a URL do Data Lake Storage na página Pontos de Extremidade.

Copiar dados para o Fabric

Depois de criar o atalho, você pode exibir os dados de custo do FOCUS em Arquivos. Você pode carregar os dados diretamente em uma malha com um dos métodos a seguir, com base em seus requisitos. As guias a seguir fornecem duas opções:

Ingestão manual de dados

Depois que o atalho for criado, você poderá visualizar os dados de custo do FOCUS em Arquivos. Você pode carregar os dados diretamente em uma tabela do Fabric usando as etapas a seguir.

1. No lakehouse, localize o diretório que você criou ao configurar a exportação. O Diretório está na seção Arquivos .
2. Ao lado do diretório, selecione as reticências (...) e, em seguida, selecione >.
   
   1. Nome da tabela = <Qualquer nome válido>
   2. Tipo de arquivo = CSV
   3. Incluindo subpastas = Ativado
   4. Usar cabeçalho para nomes de coluna = Habilitado
   5. Separador = ,
   6. Selecione Carregar

Para obter mais informações, consulte Carregamento do Lakehouse para tabelas do Delta Lake.

Esse processo cria uma tabela com base no arquivo CSV/Parquet. Para um processo automatizado para ingerir dados usando notebooks, consulte a guia Automatizar ingestão de dados.

Aqui está um exemplo de captura de tela mostrando dados na tabela Lakehouse.

Automatize a ingestão de dados

Para obter informações detalhadas sobre como automatizar o processo de ingestão de dados em tabelas do Fabric, consulte Como usar notebooks.

Aqui estão as etapas de alto nível:

1. Abra a instância da casa do lago.
2. Selecione Abrir bloco de anotações>Novo bloco de anotações. O novo bloco de anotações pode estar oculto atrás de reticências (...) símbolo de estouro de menu.
3. Selecione o notebook PySpark (Python) e cole o script Python de exemplo a seguir.
4. Substitua read_path por <abs-folder-path>. Você pode encontrar o caminho do ABFS (driver do sistema de arquivos de blob do Azure) navegando até o caminho desejado. Selecione as reticências (...) e, em seguida, selecione Copiar caminho do ABFS, conforme mostrado na captura de tela a seguir.
   
5. Substitua export_table pelo nome da tabela que você deseja criar.
6. A execução do script ingere os dados no Fabric.
7. Você pode criar um agendamento para automatizar a execução do script que resulta na automação do pipeline de ingestão de dados.
8. Para criar uma programação de automação diária, selecione o símbolo de engrenagem no menu à esquerda e selecione a opção Agendar .
   

Exemplo de script Python

Use o script Python a seguir na etapa 3 acima para ingerir dados em tabelas do Fabric.

#!/usr/bin/env python
# coding: utf-8

# ## Sample Read CSV to Delta Output
# 
# Exports Platform Demo Notebook

# # Export to Delta Parquet

# In[1]:
read_path = '<USER INPUT>' # input path to your data stream
export_table = '<USER INPUT>' # output path for your delta parquet table, ex: "Tables/CostDetails" 

# In[3]:
df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").option("recursiveFileLookup", "true").load(read_path) 
     
''' Use this for parquet reading 
df = spark.read.format("parquet").option("header", "true").option("inferSchema", "true").option("recursiveFileLookup", "true").load(read_path) 
''' 

# In[4]:
''' Use this if you want to overwrite the schema as well 
df.write.mode("overwrite").format("delta").option("overwriteSchema", "true").save(export_table) 
''' 
df.write.mode("overwrite").format("delta").save(export_table) 

Criar um relatório do Power BI

Depois que os dados forem ingeridos no Fabric e as tabelas estiverem prontas, você poderá passar para os relatórios.

1. Entre no aplicativo Fabric usando sua conta gratuita do Fabric ou a conta do Microsoft Power BI.
2. Selecione o espaço de trabalho em que você criou o lakehouse e, em seguida, selecione o lakehouse.
3. No painel Explorer, selecione Tabelas e, em seguida, selecione a tabela que você criou.
4. Na parte superior da página, selecione Novo modelo semântico e nomeie o modelo. Para obter mais informações, confira Modelos semânticos padrão do Power BI.
5. Selecione o símbolo do Power BI no canto inferior esquerdo.
6. Selecione o mesmo modelo semântico para criar relatórios e use o Copilot para gerar insights a partir dos dados ingeridos.

Observação

A demonstração do Power BI usa dados de custo simulados para fins de ilustração.

Conteúdo relacionado

Produtos relacionados:

• Gerenciamento de custos

Soluções relacionadas:

• Hubs FinOps
• Relatórios do Power BI do kit de ferramentas FinOps