Criar um espaço de trabalho de malha para FinOps

Este artigo orienta você na criação e configuração de um espaço de trabalho do Microsoft Fabric para FinOps. Ele fornece um guia passo a passo para criar e configurar a configuração do armazenamento do Azure Data Lake (ADLS), exportação de dados, criação de espaço de trabalho e ingestão de dados. Quando concluído, você pode usar o Power BI para criar relatórios.

Pré-requisitos

Antes de começar, você deve ter:

• Uma assinatura paga do Azure com informações de custo e uso
• Proprietário de uma conta de armazenamento ou ter acesso para conceder permissões à conta de armazenamento
• Você deve ter a função de Colaborador de Dados de Blob de Armazenamento ao usar a autenticação de conta organizacional. Se você não tiver a permissão necessária, poderá usar outros tipos de autenticação, como a chave da conta. Caso contrário, você receberá um Invalid credentials erro.

Para concluir este passo a passo, crie os seguintes recursos que incorrem em custos:

• Uma conta do Azure Data Lake Storage Gen2
• Um espaço de trabalho do Power BI
• Um espaço de trabalho de malha

Criar e configurar o Armazenamento Azure Data Lake

O Microsoft Fabric é otimizado para trabalhar com contas de armazenamento com namespace hierárquico habilitado, também conhecido como Azure Data Lake Storage Gen2. Você tem duas opções para obter uma conta de armazenamento Data Lake:

• Opção 1: Para criar uma conta de armazenamento do Data Lake, consulte Criar uma conta de armazenamento para o Azure Data Lake Storage Gen2.
• Opção 2: Para habilitar o namespace hierárquico em uma conta de armazenamento existente, consulte Atualizar o Armazenamento de Blobs do Azure com os recursos do Azure Data Lake Storage Gen2.

Gorjeta

Se você implantou hubs FinOps, poderá usar a conta de armazenamento criada como parte do grupo de recursos do hub.

Para o exemplo a seguir, usamos a seguinte conta de armazenamento do Data Lake Gen 2. Você usa sua própria conta de armazenamento e detalhes da assinatura.

• Assinatura = assinatura da Contoso.
• Conta de armazenamento = Contoso-storage-account.

Exportar dados de custo

Como estamos criando um espaço de trabalho otimizado para FinOps, exportamos dados de custo usando o FinOps Open Cost and Usage Specification (FOCUS), um formato de dados independente do provedor para detalhes de custo. Todos os nossos exemplos usam o FOCUS, mas você também pode usar exportações de custos reais ou amortizados existentes que tenham a substituição de arquivos habilitada.

Para obter mais informações sobre o FOCUS e seus benefícios, consulte O que é o FOCUS. A Fundação FinOps também oferece um curso gratuito de Introdução ao FOCUS. As soluções Power BI da Microsoft para FinOps estão alinhadas ao FOCUS.

Para criar uma exportação, consulte Criar exportações.

Aqui estão as etapas de alto nível para criar uma exportação:

1. Entre no portal do Azure em https://portal.azure.com, procure Gerenciamento de custos.
2. Selecione o escopo necessário e selecione Exporta no menu de navegação esquerdo.
3. Selecione + Criar
4. Na guia Noções básicas, selecione o modelo = Custo e uso (FOCUS)
5. Na guia Conjuntos de dados, preencha Prefixo de exportação para garantir que você tenha um nome exclusivo para a exportação. Por exemplo, june2024focus.
6. Na guia Destino, selecione:
   • Tipo de armazenamento = armazenamento de blob do Azure
   • Destino e armazenamento = Usar existente
   • Assinatura = assinatura da Contoso
   • Conta de armazenamento = Contoso-storage-account
   • Container = msexports
   • Diretório = focuscost/<scope-id>
   • Substituir dados = Ativado
7. No separador Rever + Criar, selecione Criar.
8. Execute a exportação selecionando Executar agora na página de exportação.

Certifique-se de que sua exportação foi concluída e que o arquivo está disponível antes de passar para a próxima etapa.

Importante

As exportações do Cost Management utilizam a identidade gerenciada. Para criar uma exportação, você deve ser um proprietário da conta de armazenamento ou ter acesso para conceder permissões à conta de armazenamento. Para ver todas as permissões necessárias, consulte Pré-requisitos.

Se você quiser automatizar a criação de exportações, considere usar o comando New-FinOpsCostExport no módulo PowerShell do kit de ferramentas FinOps.

Se você implantou hubs FinOps, pode ignorar esta etapa e usar os dados processados no armazenamento do hub.

Criar uma área de trabalho do Fabric

Se você já tiver um espaço de trabalho do Microsoft Fabric, poderá ignorar a criação de um novo espaço de trabalho, a menos que queira manter seus recursos do FinOps separados dos outros.

Se você não configurou o Microsoft Fabric, consulte Habilitar o Microsoft Fabric para sua organização.

1. Entre no aplicativo Fabric usando sua conta gratuita do Fabric ou a conta do Microsoft Power BI.
2. Você pode criar um novo espaço de trabalho para seus recursos de FinOps ou optar por usar um espaço de trabalho existente. Para criar um espaço de trabalho, consulte Criar um espaço de trabalho.

Se você é novo no Microsoft Fabric ou não tem a capacidade do Fabric habilitada, consulte Avaliação do Fabric. Se as avaliações de malha estiverem desabilitadas, talvez seja necessário criar uma nova capacidade de malha.

A capacidade de malha não experimental incorre em encargos para a sua organização. Consulte Preços do Microsoft Fabric.

Aqui está um exemplo de captura de tela mostrando um novo espaço de trabalho do Fabric sendo criado.

Criar uma casa no lago

O Microsoft Fabric lakehouses são arquiteturas de dados que permitem que as organizações armazenem e gerenciem dados estruturados e não estruturados em um único local. Eles usam várias ferramentas e estruturas para processar e analisar esses dados. Essas ferramentas e estruturas podem incluir consultas e análises baseadas em SQL, aprendizado de máquina e outras técnicas avançadas de análise.

Você pode criar uma nova casa do lago ou usar uma já existente. Lakehouses são interoperáveis, por isso geralmente recomendamos o uso de um único lakehouse para todos os seus conjuntos de dados FinOps. Um único lakehouse mantém informações relacionadas juntas para compartilhar modelos de dados, pipelines e medidas de segurança.

Para criar uma nova casa de lago no espaço de trabalho Fabric de sua escolha:

1. Entre no aplicativo Fabric usando sua conta gratuita do Fabric ou a conta do Microsoft Power BI.
2. Selecione o espaço de trabalho onde você deseja criar a casa do lago.
3. Perto do canto superior esquerdo da página, selecione + Novo e, em seguida, selecione Mais opções.
   
4. Selecione Lakehouse
   

Para obter mais informações, consulte Criar uma casa de lago.

Criar um atalho para o armazenamento

Os atalhos no lakehouse permitem que você faça referência a dados sem copiá-los. Ele unifica dados de diferentes lakehouses, espaços de trabalho ou armazenamento externo, como Data Lake Gen2 ou Amazon Web Services (AWS) S3. Você pode disponibilizar rapidamente grandes quantidades de dados em sua casa do lago localmente sem a latência de copiar dados da fonte.

Para criar um atalho, consulte Criar um atalho do Azure Data Lake Storage Gen2.

1. Entre no aplicativo Fabric usando sua conta gratuita do Fabric ou a conta do Microsoft Power BI.
2. Selecione a casa do lago de sua escolha.
3. Selecione as reticências (...) junto a Ficheiros.
   Você adiciona arquivos CSV e Parquet em Arquivos. As tabelas delta são adicionadas em Tabelas.
4. Selecione Novo atalho.
   
5. Selecione Azure Data Lake Storage Gen 2 e forneça as seguintes configurações:
   • URL = URL de Armazenamento Data Lake da conta de armazenamento Data Lake. Consulte a seguinte observação sobre autenticação.
   • Conexão = Criar uma nova conexão
   • Nome da conexão = <Qualquer nome de sua escolha>
   • Tipo de autenticação = Conta organizacional
   • Inicie sessão quando solicitado.

Aqui está um exemplo de captura de tela mostrando as novas configurações de conexão de atalho.

Para obter a URL de armazenamento Data Lake, exiba a conta de armazenamento onde a exportação criou um diretório e o arquivo de custo FOCUS. Em Configurações, selecione Pontos de extremidade. Copie o URL marcado como Armazenamento Data Lake.

Aqui está um exemplo de captura de tela mostrando a URL de Armazenamento do Data Lake na página Pontos de extremidade .

Copiar dados para o Fabric

Depois de criar o atalho, você pode exibir os dados de custo do FOCUS dentro de Arquivos. Você pode carregar os dados diretamente em uma malha com um dos seguintes métodos, com base em suas necessidades. As guias a seguir oferecem duas opções:

Ingestão manual de dados

Depois que o atalho for criado, você poderá visualizar os dados de custo do FOCUS dentro de Arquivos. Você pode carregar os dados diretamente em uma tabela de malha usando as etapas a seguir.

1. Na lakehouse, localize o diretório que você criou ao configurar a exportação. O diretório está na seção Arquivos .
2. Ao lado do diretório, selecione as reticências (...) e, em seguida, selecione Carregar para tabelas>Nova tabela.
   
   1. Nome da tabela = <Qualquer nome válido>
   2. Tipo de ficheiro = CSV
   3. Incluindo subpastas = Ativado
   4. Usar cabeçalho para nomes de colunas = Ativado
   5. Separador = ,
   6. Selecione Carregar

Para obter mais informações, consulte Lakehouse Load to Delta Lake tables.

Esse processo cria uma tabela com base no arquivo CSV/Parquet. Para obter um processo automatizado para ingerir dados usando blocos de anotações, consulte a guia Automatizar ingestão de dados.

Aqui está um exemplo de captura de tela mostrando dados na tabela Lakehouse.

Automatize a ingestão de dados

Para obter informações detalhadas sobre como automatizar o processo para ingerir dados em tabelas de malha, consulte Como usar blocos de anotações.

Aqui estão as etapas de alto nível:

1. Abra a instância da casa do lago.
2. Selecione Abrir bloco de anotações>Novo bloco de anotações. O novo bloco de notas pode estar escondido atrás de um símbolo de estouro de reticências (...) do menu.
3. Selecione o bloco de anotações PySpark (Python) e cole o seguinte exemplo de script Python.
4. Substitua read_path por <abs-folder-path>. Você pode encontrar o caminho do driver do sistema de arquivos de Blob do Azure (ABFS) navegando até o caminho desejado. Selecione as reticências (...) e, em seguida, selecione Copiar caminho ABFS, conforme mostrado na captura de tela a seguir.
   
5. Substitua export_table pelo nome da tabela que você deseja criar.
6. A execução do script ingere os dados na malha.
7. Você pode criar um agendamento para automatizar a execução do script que resulta na automação do pipeline de ingestão de dados.
8. Para criar uma programação de automação diária, selecione o símbolo de engrenagem no menu esquerdo e selecione a opção Agendar .
   

Exemplo de script Python

Use o seguinte script Python na etapa 3 acima para ingerir dados em tabelas de malha.

#!/usr/bin/env python
# coding: utf-8

# ## Sample Read CSV to Delta Output
# 
# Exports Platform Demo Notebook

# # Export to Delta Parquet

# In[1]:
read_path = '<USER INPUT>' # input path to your data stream
export_table = '<USER INPUT>' # output path for your delta parquet table, ex: "Tables/CostDetails" 

# In[3]:
df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").option("recursiveFileLookup", "true").load(read_path) 
     
''' Use this for parquet reading 
df = spark.read.format("parquet").option("header", "true").option("inferSchema", "true").option("recursiveFileLookup", "true").load(read_path) 
''' 

# In[4]:
''' Use this if you want to overwrite the schema as well 
df.write.mode("overwrite").format("delta").option("overwriteSchema", "true").save(export_table) 
''' 
df.write.mode("overwrite").format("delta").save(export_table) 

Criar um relatório do Power BI

Depois que os dados forem ingeridos no Fabric e as tabelas estiverem prontas, você poderá passar para os relatórios.

1. Entre no aplicativo Fabric usando sua conta gratuita do Fabric ou a conta do Microsoft Power BI.
2. Selecione o espaço de trabalho onde você criou a casa do lago e, em seguida, selecione a casa do lago.
3. No painel Explorer, selecione Tabelas e, em seguida, selecione a tabela que você criou.
4. Na parte superior da página, selecione Novo modelo semântico e nomeie o modelo. Para obter mais informações, consulte Modelos semânticos padrão do Power BI.
5. Selecione o símbolo do Power BI no canto inferior esquerdo.
6. Selecione o mesmo modelo semântico para criar relatórios e, em seguida, use o Copilot para gerar insights a partir dos dados ingeridos.

Nota

A demonstração do Power BI usa dados de custo simulados para fins de ilustração.

Conteúdos relacionados

Produtos relacionados:

• Cost Management

Soluções relacionadas:

• Hubs FinOps
• Relatórios do Power BI do kit de ferramentas FinOps