Udostępnij za pośrednictwem

Scenariusz cenowy użycia usługi Dataflow Gen2 do załadowania 2 GB lokalnych danych CSV do tabeli lakehouse

  • Artykuł

W tym scenariuszu usługa Dataflow Gen2 została użyta do załadowania 2 GB lokalnych danych CSV do tabeli lakehouse w usłudze Microsoft Fabric.

Ceny używane w poniższym przykładzie są hipotetyczne i nie zamierzają oznaczać dokładnych rzeczywistych cen. Wystarczy pokazać, jak oszacować, zaplanować i zarządzać kosztami projektów usługi Data Factory w usłudze Microsoft Fabric. Ponadto, ponieważ pojemności sieci szkieletowej są wyceniane unikatowo w różnych regionach, używamy cennika z płatnością zgodnie z rzeczywistym użyciem dla pojemności sieci szkieletowej w regionie Zachodnie stany USA 2 (typowy region świadczenia usługi Azure), przy wartości 0,18 USD za jednostkę CU za godzinę. Zapoznaj się tutaj z usługą Microsoft Fabric — cennik , aby zapoznać się z innymi opcjami cen pojemności sieci szkieletowej.

Konfigurowanie

Aby wykonać ten scenariusz, należy utworzyć przepływ danych, wykonując następujące czynności:

  1. Zainicjuj przepływ danych: rozpocznij od przekazania 2 GB plików CSV ze środowiska lokalnego do przepływu danych.
  2. Konfigurowanie dodatku Power Query:
    1. Przejdź do dodatku Power Query.
    2. Wyłącz opcję przemieszczania zapytania.
    3. Przejdź do łączenia plików CSV.
  3. Przekształcanie danych:
    1. Podwyższanie poziomu nagłówków w celu uzyskania przejrzystości.
    2. Usuń niepotrzebne kolumny.
    3. Dostosuj typy danych kolumn zgodnie z potrzebami.
  4. Zdefiniuj miejsce docelowe danych wyjściowych:
    1. Skonfiguruj usługę Lakehouse jako miejsce docelowe danych wyjściowych.
    2. W tym przykładzie utworzono i wykorzystano usługę Lakehouse w usłudze Fabric.

Szacowanie kosztów przy użyciu aplikacji metryk sieci szkieletowej

Zrzut ekranu przedstawiający czas trwania i użycie aktualizacji CU zadania w aplikacji metryki sieci szkieletowej.

Zrzut ekranu przedstawiający szczegóły kosztu odświeżania przepływu danych Gen2.

Zrzut ekranu przedstawiający szczegóły użycia obliczeń przepływu danych gen2 o dużej skali używanego w przebiegu.

Zrzut ekranu przedstawiający szczegóły drugiego użycia obliczeniowego przepływu danych w dużej skali generacji 2 używanego w przebiegu.

Operacja odświeżania przepływu danych Gen2 zużywała 4749,42 sekundy cu, a dwa operacje obliczeniowe przepływów danych o dużej skali zużywały 7,78 SEKUND CU + 7,85 CU sekundy.

Uwaga

Chociaż raportowany jako metryka, rzeczywisty czas trwania przebiegu nie jest istotny podczas obliczania obowiązujących godzin aktualizacji AKTUALIZACJi przy użyciu aplikacji metryk sieci szkieletowej, ponieważ metryka sekund aktualizacji cu również raportuje już czas trwania.

Metric Użycie zasobów obliczeniowych
Przepływ danych Gen2 Odśwież liczbę sekund aktualizacji AKTUALIZACJI 4749,42 CU s
Duże skalowanie przepływów danych obliczanie sekund aktualizacji cu (7,78 + 7,85) 15,63 s CU
Rozliczane godziny obowiązywania aktualizacji CU (4749.42 + 15.63) / (60*60) = 1.32 godziny aktualizacji CU

Całkowity koszt uruchomienia w wysokości $0.18/CU hour = (1.32 CU-hours) * ($0.18/CU hour) ~= $0.24

Powiązana zawartość