Ingestão de dados
Este artigo ajuda você a entender a capacidade de ingestão de dados dentro do FinOps Framework e como implementá-la no Microsoft Cloud.
Definição
A ingestão de dados refere-se ao processo de coleta, transformação e organização de dados de várias fontes em um único repositório de fácil acesso.
Reúna dados de custo, utilização, desempenho e outros dados corporativos de provedores de nuvem, fornecedores e sistemas locais. A recolha de dados pode incluir:
- Dados internos de TI. Por exemplo, a partir de um banco de dados de gerenciamento de configuração (CMDB) ou sistemas de gerenciamento de ativos de TI (ITAM).
- Dados específicos da empresa, como hierarquias organizacionais e métricas que mapeiam os custos da nuvem ou quantificam o valor comercial. Por exemplo, receita, conforme definido por suas declarações de missão organizacional e divisional.
Entenda como os dados são relatados e planeje os requisitos de padronização de dados para dar suporte à geração de relatórios sobre dados semelhantes de várias fontes.
Considere como lidar com dados de custo de várias nuvens ou tipos de conta. Prefira padrões abertos, como o projeto FinOps Open Cost & Usage Specification (FOCUS), que oferece consistência e padronização para dados de custo na nuvem e interoperabilidade com e entre provedores, fornecedores e ferramentas internas.
Talvez seja necessário organizar os dados de forma lógica e significativa, categorizando-os ou marcando-os. Isso facilita o acesso, a análise e a compreensão.
Quando munidas de uma coleção abrangente de informações de custo e uso vinculadas ao valor comercial, as organizações podem capacitar as partes interessadas e acelerar os objetivos de outros recursos de FinOps. As partes interessadas são capazes de tomar decisões mais informadas, conduzindo a uma utilização mais eficiente dos recursos e a poupanças de custos potencialmente significativas.
Antes de começar
Embora a ingestão de dados seja fundamental para a eficiência e eficácia a longo prazo de qualquer prática de FinOps, não é um requisito de bloqueio para o seu conjunto inicial de investimentos em FinOps. Se for sua primeira iteração através do ciclo de vida do FinOps, considere recursos mais leves que podem oferecer retorno mais rápido sobre o investimento, como relatórios e análises. A ingestão de dados pode exigir tempo e esforço significativos, dependendo do tamanho e da complexidade da conta. Recomendamos que se concentre neste processo assim que tiver o nível certo de compreensão do esforço e do compromisso das principais partes interessadas para apoiar esse esforço.
Durante a primeira iteração para começar a adotar esse recurso, considere usar o FOCUS como o formato de dados de faturamento padrão para todas as suas fontes de dados. Para saber por que as organizações precisam dele e por que a Microsoft acredita no FOCUS, você pode consultar a documentação do FOCUS disponível no kit de ferramentas FinOps fornecido pela Microsoft.
Introdução
Quando você começa a gerenciar custos na nuvem, usa as ferramentas nativas disponíveis no portal ou por meio do Power BI. Se precisar de mais, você pode baixar os dados para análise local ou, possivelmente, criar um pequeno relatório ou mesclá-lo com outro conjunto de dados. Eventualmente, você precisa automatizar esse processo, que é onde entra a "ingestão de dados". Como ponto de partida, nos concentramos na ingestão de dados de custos em um armazenamento de dados comum.
- Antes de ingerir dados de custos, pense nas suas necessidades de relatórios.
- Converse com as partes interessadas para garantir que você tenha uma compreensão firme do que elas precisam. Tente entender suas motivações e objetivos para garantir que os dados ou relatórios os ajudem.
- Determine se o FOCUS deve ser adotado como o esquema de faturamento padrão para qualquer nova solução. Converter painéis existentes para utilizar um conjunto de dados diferente pode representar desafios.
- O Microsoft Cost Management oferece suporte a exportações de dados de custo e uso alinhadas ao esquema FOCUS, o que pode economizar tempo e esforço significativos.
- Identifique os dados de que necessita, de onde pode obtê-los e quem lhe pode dar acesso. Anote todos os conjuntos de dados comuns que possam exigir normalização.
- Determine o nível de granularidade necessário e a frequência com que os dados precisam ser atualizados. Os dados de custos diários podem ser um desafio para gerenciar para uma grande conta. Considere agregações mensais para reduzir custos e aumentar o desempenho e a confiabilidade da consulta, se isso atender às suas necessidades de relatórios.
- Considere o uso de uma plataforma FinOps de terceiros.
- Analise as soluções de terceiros disponíveis no Azure Marketplace.
- Se você decidir criar sua própria solução, considere começar com hubs FinOps, parte do kit de ferramentas FinOps de código aberto fornecido pela Microsoft.
- Os hubs FinOps aceleram seu desenvolvimento e ajudam você a se concentrar na criação dos recursos de que você precisa em vez de infraestrutura.
- Complemente os dados de custos na nuvem com hierarquias e orçamentos organizacionais.
- Selecione a solução de detalhes de custo certa para você. Recomendamos exportações programadas, que enviam dados de custo para uma conta de armazenamento diariamente ou mensalmente.
- Se você usa exportações diárias, observe que os dados são enviados por push para um novo arquivo todos os dias. Certifique-se de selecionar apenas o último dia ao relatar custos.
- Determine se você precisa de uma integração de dados ou tecnologia de fluxo de trabalho para processar dados.
- Em uma fase inicial, você poderá manter os dados na conta de armazenamento exportada sem outro processamento. Recomendamos que você mantenha os dados lá para contas pequenas com requisitos leves e personalização mínima.
- Se você precisar ingerir dados em um armazenamento de dados mais avançado ou executar a limpeza ou normalização de dados, talvez seja necessário implementar um pipeline de dados. Escolha uma tecnologia de orquestração de pipeline de dados.
- Determine quais são os requisitos de armazenamento de dados.
- Em uma fase inicial, recomendamos o uso da conta de armazenamento exportada para simplicidade e menor custo.
- Se você precisar de um mecanismo de consulta avançado ou esperar atingir as limitações de tamanho de dados em suas ferramentas de relatório, considere a ingestão de dados em um armazenamento de dados analíticos. Escolha um armazenamento de dados analíticos.
Tirar partido do essencial
Neste ponto, você tem um pipeline de dados e está ingerindo dados em um repositório de dados central. Ao ir além do básico, considere os seguintes pontos:
- Normalize os dados para um esquema padrão para oferecer suporte ao alinhamento e à mistura de dados de várias fontes.
- Complemente os dados de custos na nuvem com hierarquias e orçamentos organizacionais.
- Considere rotular ou marcar requisitos para mapear os custos da nuvem para hierarquias organizacionais.
- Enriqueça os dados de recursos e soluções na nuvem com dados internos de CMDB ou ITAM.
- Considere quais métricas internas de negócios e receita são necessárias para mapear os custos da nuvem para o valor comercial.
- Determine quais outros conjuntos de dados são necessários com base em suas necessidades de relatórios:
- Custo e preços
- Descontos de compromisso
- Detalhes da reserva para detalhes da recomendação.
- Resumos de utilização de benefícios para planos de poupança.
- Utilização e eficiência
- Gráfico de Recursos para recomendações do Azure Advisor .
- Monitore métricas de uso de recursos.
- Detalhes do recurso
- Gráfico de recursos para detalhes do recurso.
- Alterações de recursos para listar as alterações de recursos dos últimos 14 dias.
- Subscrições para listar subscrições.
- Tags para tags que foram aplicadas a recursos e grupos de recursos.
- APIs específicas do serviço do Azure para detalhes de configuração e utilização de nível inferior.
Saiba mais na FinOps Foundation
Esse recurso faz parte do FinOps Framework da FinOps Foundation, uma organização sem fins lucrativos dedicada ao avanço do gerenciamento e otimização de custos na nuvem. Para obter mais informações sobre FinOps, incluindo manuais úteis, programas de treinamento e certificação e muito mais, consulte o artigo sobre capacidade de ingestão de dados na documentação do FinOps Framework.
Você também pode encontrar vídeos relacionados no canal do YouTube da FinOps Foundation:
Conteúdos relacionados
Recursos de FinOps relacionados:
Produtos relacionados:
Soluções relacionadas: