Partilhar via

Cenário de preços usando o Dataflow Gen2 para carregar 2 GB de dados CSV locais em uma tabela Lakehouse

  • Artigo

Nesse cenário, o Dataflow Gen2 foi usado para carregar 2 GB de dados CSV locais em uma tabela Lakehouse no Microsoft Fabric.

Os preços usados no exemplo a seguir são hipotéticos e não pretendem implicar preços reais exatos. Estes são apenas para demonstrar como você pode estimar, planejar e gerenciar o custo para projetos do Data Factory no Microsoft Fabric. Além disso, como as capacidades de malha têm preços exclusivos entre regiões, usamos o preço pré-pago para uma capacidade de malha no Oeste dos EUA 2 (uma região típica do Azure), a US$ 0,18 por por hora. Consulte aqui Microsoft Fabric - Pricing para explorar outras opções de preços de capacidade de malha.

Configuração

Para realizar esse cenário, você precisa criar um fluxo de dados com as seguintes etapas:

  1. Inicializar fluxo de dados: comece carregando arquivos CSV de 2 GB do seu ambiente local para o fluxo de dados.
  2. Configurar o Power Query:
    1. Navegue até Power Query.
    2. Desative a opção para preparar a consulta.
    3. Prossiga para combinar os arquivos CSV.
  3. Transformação de dados:
    1. Promova cabeçalhos para maior clareza.
    2. Remova colunas desnecessárias.
    3. Ajuste os tipos de dados de coluna conforme necessário.
  4. Definir Destino dos Dados de Saída:
    1. Configure o Lakehouse como o destino de saída de dados.
    2. Neste exemplo, uma Lakehouse dentro do Fabric foi criada e utilizada.

Estimativa de custos usando o aplicativo Fabric Metrics

Captura de tela mostrando a duração e o consumo de do trabalho no aplicativo Fabric Metrics.

Captura de tela mostrando detalhes do custo do Dataflow Gen2 Refresh.

Captura de tela mostrando detalhes de um consumo de computação de fluxo de dados de alta escala do Dataflow Gen2 usado na execução.

Captura de tela mostrando detalhes de um segundo consumo de computação de fluxo de dados de alta escala Gen2 usado na execução.

A operação Dataflow Gen2 Refresh consumiu 4749,42 segundos e duas operações High Scale Dataflows Compute consumiram 7,78 segundos + 7,85 segundos cada.

Nota

Embora relatada como uma métrica, a duração real da execução não é relevante ao calcular as horas efetivas com o Fabric Metrics App, uma vez que a métrica segundos que ela também relata já contabiliza sua duração.

Métrica Calcular o consumo
Segundos de atualização do Dataflow Gen2 4749,42 segundos
Fluxos de dados de alta escala Compute segundos (7,78 + 7,85) 15,63 segundos
Horas efetivas faturadas (4749,42 + 15,63) / (60*60) = 1,32 horas

Custo total de execução em $0.18/hora = (1.32-horas) * ($0.18/hora) ~= $0.24

Conteúdos relacionados