Compartilhar via

Ingestão de dados

  • Artigo

Este artigo ajuda você a entender a capacidade de ingestão de dados no FinOps Framework e como implementá-la no Microsoft Cloud.


Definição

A ingestão de dados refere-se ao processo de coleta, transformação e organização de dados de várias fontes em um único repositório de fácil acesso.

Reúna dados de custo, utilização, desempenho e outros dados comerciais de provedores de nuvem, fornecedores e sistemas locais. A coleta de dados pode incluir:

  • Dados de TI internos. Por exemplo, de um CMDB (banco de dados de gerenciamento de configuração) ou sistemas de ITAM (gerenciamento de ativos de TI).
  • Dados específicos de negócios, como hierarquias organizacionais e métricas que mapeiam os custos da nuvem ou quantificam o valor comercial. Por exemplo, a receita, conforme definida por suas instruções de missão organizacional e divisional.

Entenda como os dados são relatados e planeje os requisitos de padronização de dados para dar suporte a relatórios sobre dados semelhantes de várias fontes.

Considere como lidar com dados de custo de várias nuvens ou tipos de conta. Prefira padrões abertos, como o projeto FinOps Open Cost & Usage Specification (FOCUS), que oferece consistência e padronização aos dados de custo da nuvem e interoperabilidade com e entre provedores, fornecedores e ferramentas internas.

Talvez seja necessário organizar os dados de forma lógica e significativa, categorizando-os ou marcando-os. Isso facilita o acesso, a análise e a compreensão.

Quando munidas de uma coleção abrangente de informações de custo e uso vinculadas ao valor comercial, as organizações podem capacitar os stakeholders e acelerar as metas de outros recursos de FinOps. Os stakeholders podem tomar decisões mais informadas, levando a um uso mais eficiente dos recursos e a uma economia de custos potencialmente significativa.


Antes de começar

Embora a ingestão de dados seja fundamental para a eficiência e a eficácia de longo prazo de qualquer prática de FinOps, ela não é um requisito de bloqueio para seu conjunto inicial de investimentos em FinOps. Se for sua primeira iteração no ciclo de vida do FinOps, considere recursos mais leves que podem oferecer retorno sobre o investimento mais rápido, como relatórios e análises. A ingestão de dados pode exigir tempo e esforço significativos, dependendo do tamanho e da complexidade da conta. Recomendamos que você foque nesse processo quando tiver o nível certo de compreensão do esforço e o compromisso dos principais stakeholders em apoiar esse esforço.

Durante a primeira iteração para começar a adotar esse recurso, considere usar o FOCUS como o formato de dados de faturamento padrão para todas as suas fontes de dados. Para saber por que as organizações precisam dele e por que a Microsoft acredita no FOCUS, você pode examinar a documentação do FOCUS disponível no kit de ferramentas FinOps fornecido pela Microsoft.


Introdução

Ao começar a gerenciar os custos na nuvem, usa as ferramentas nativas disponíveis no portal ou por meio do Power BI. Se precisar de mais, você pode baixar os dados para análise local ou, possivelmente, criar um pequeno relatório ou mesclá-lo com outro conjunto de dados. Eventualmente, você precisa automatizar esse processo, que é onde entra a "ingestão de dados". Como ponto de partida, nos focamos na ingestão de dados de custo em um armazenamento de dados comum.

  • Antes de ingerir dados de custo, pense em suas necessidades de relatório.
    • Converse com os stakeholders para garantir que você tenha um entendimento firme do que elas precisam. Tente entender suas motivações e objetivos para garantir que os dados ou relatórios os ajudem.
    • Determine se deseja adotar o FOCUS como o esquema de faturamento padrão para qualquer nova solução. A conversão de painéis existentes para utilizar um conjunto de dados diferente pode representar desafios.
      • O Gerenciamento de Custos da Microsoft dá suporte a exportações de dados de custo e uso alinhadas ao esquema FOCUS, o que pode economizar tempo e esforço significativos.
    • Identifique os dados necessários, de onde você pode obter os dados e quem pode lhe dar acesso. Anote todos os conjuntos de dados comuns que podem exigir normalização.
    • Determine o nível de granularidade necessário e a frequência com que os dados precisam ser atualizados. Os dados diários de custo podem ser um desafio ao gerenciar uma conta grande. Considere agregações mensais para reduzir custos e aumentar o desempenho e a confiabilidade da consulta, se isso atender às suas necessidades de relatório.
  • Considere o uso de uma plataforma de FinOps de terceiros.
    • Examine as soluções de terceiros disponíveis no Azure Marketplace.
    • Se você decidir criar sua própria solução, considere começar com hubs FinOps, parte do kit de ferramentas de código aberto FinOps fornecido pela Microsoft.
      • Os hubs FinOps aceleram seu desenvolvimento e ajudam você a se concentrar na criação dos recursos de que precisa, em vez da infraestrutura.
  • Complemente os dados de custo da nuvem com hierarquias e orçamentos organizacionais.
  • Selecione a solução de detalhes de custo ideal para você. Recomendamos exportações agendadas, que enviam os dados de custo para uma conta de armazenamento diariamente ou mensalmente.
    • Se você usar exportações diárias, observe que os dados são enviados para um novo arquivo todos os dias. Selecione apenas o último dia ao relatar os custos.
  • Determine se você precisa de uma tecnologia de integração de dados ou de fluxo de trabalho para processar dados.
    • Em uma fase inicial, você poderá manter os dados na conta de armazenamento exportada sem outro processamento. Recomendamos que você mantenha os dados lá para contas pequenas com requisitos leves e personalização mínima.
    • Se você precisar ingerir dados em um armazenamento de dados mais avançado ou executar limpeza ou normalização de dados, talvez seja necessário implementar um pipeline de dados. Escolha uma tecnologia de orquestração de pipeline de dados.
  • Determine quais são seus requisitos de armazenamento de dados.
    • Em uma fase inicial, é recomendável o uso da conta de armazenamento exportada para simplificar e reduzir o custo.
    • Se você precisa de um mecanismo de consulta avançado ou espera atingir limitações de tamanho de dados em suas ferramentas de relatório, considere ingerir dados em um armazenamento de dados analíticos. Escolha um armazenamento de dados analíticos.

Basear-se nos conceitos básicos

Nesse ponto, você tem um pipeline de dados e está ingerindo dados em um repositório de dados central. Ao ir além do básico, considere os seguintes pontos:

  • Normalize os dados em um esquema padrão para dar suporte ao alinhamento e à combinação de dados de várias fontes.
    • Para dados de custo, recomendamos usar o esquema FOCUS (Especificação de Custo e Uso) do FinOps.
    • Os hubs FinOps incluem relatórios do Power BI que normalizam os dados para o esquema FOCUS, o que pode ser um bom ponto de partida.
  • Complemente os dados de custo da nuvem com hierarquias e orçamentos organizacionais.
    • Considere os requisitos de rotulagem ou marcação para mapear os custos da nuvem para as hierarquias organizacionais.
  • Enriqueça os dados de soluções e recursos da nuvem com dados internos do CMDB ou ITAM.
  • Considere quais métricas internas de negócios e receita são necessárias para mapear os custos da nuvem para o valor comercial.
  • Determine quais outros conjuntos de dados são necessários com base em suas necessidades de relatórios:

Saiba mais na FinOps Foundation

Essa capacidade faz parte do FinOps Framework da FinOps Foundation, uma organização sem fins lucrativos dedicada ao avanço do gerenciamento e da otimização de custos da nuvem. Para obter mais informações sobre FinOps, incluindo guias estratégicos úteis, programas de treinamento e certificação e muito mais, consulte o artigo de recursos de ingestão de dados na documentação do FinOps Framework.

Você também pode encontrar vídeos relacionados no canal da FinOps Foundation no YouTube:


Conteúdo relacionado

Recursos FinOps relacionados:

Produtos relacionados:

Soluções relacionadas: