Udostępnij za pośrednictwem

Planowanie zarządzania kosztami usługi Azure Data Factory

  • Artykuł

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule opisano sposób planowania kosztów usługi Azure Data Factory i zarządzania nimi.

Najpierw na początku projektu ETL należy użyć kombinacji cen platformy Azure i kalkulatorów użycia potoku i cen, aby ułatwić planowanie kosztów usługi Azure Data Factory przed dodaniem jakichkolwiek zasobów dla usługi w celu oszacowania kosztów. Następnie podczas dodawania zasobów platformy Azure przejrzyj szacowane koszty. Po rozpoczęciu korzystania z zasobów usługi Azure Data Factory użyj funkcji usługi Cost Management, aby ustawić budżety i monitorować koszty. Możesz również przejrzeć prognozowane koszty i zidentyfikować trendy wydatków, aby zidentyfikować obszary, w których warto działać. Koszty usługi Azure Data Factory są tylko częścią miesięcznych kosztów w rachunku za platformę Azure. Należy pamiętać, że w tym artykule wyjaśniono tylko, jak planować koszty fabryki danych i zarządzać nimi. Opłaty są naliczane za wszystkie usługi i zasoby platformy Azure używane w ramach subskrypcji platformy Azure, w tym usługi innych firm.

Wymagania wstępne

Analiza kosztów w usłudze Cost Management obsługuje większość typów kont platformy Azure, ale nie wszystkie z nich. Aby wyświetlić pełną listę obsługiwanych typów kont, zobacz Omówienie danych usługi Cost Management. Aby wyświetlić dane kosztów, potrzebujesz co najmniej dostępu do odczytu dla konta platformy Azure. Aby uzyskać informacje na temat przypisywania dostępu do danych usługi Azure Cost Management, zobacz Przypisywanie dostępu do danych.

Szacowanie kosztów przed użyciem usługi Azure Data Factory

Skorzystaj z kalkulatora cen usługi ADF, aby uzyskać oszacowanie kosztów uruchamiania obciążenia ETL w usłudze Azure Data Factory. Aby użyć kalkulatora, musisz wprowadzić szczegółowe informacje, takie jak liczba przebiegów działań, liczba godzin jednostki integracji danych, typ zasobów obliczeniowych używanych do Przepływ danych, liczba rdzeni, liczba wystąpień, czas trwania wykonywania itd.

Jednym z często zadawanych pytań dotyczących kalkulatora cen jest to, jakie wartości powinny być używane jako dane wejściowe. W fazie weryfikacji koncepcji można przeprowadzić przebiegi próbne przy użyciu przykładowych zestawów danych, aby zrozumieć użycie różnych mierników usługi ADF. Następnie na podstawie użycia przykładowego zestawu danych można zaplanować użycie pełnego zestawu danych i harmonogramu operacyjnego.

Uwaga

Ceny używane w tym przykładzie są hipotetyczne i nie są przeznaczone do oznaczania rzeczywistych cen.

Załóżmy na przykład, że musisz przenieść 1 TB danych dziennie z usługi AWS S3 do usługi Azure Data Lake Gen2. Możesz wykonać weryfikację koncepcji przenoszenia 100 GB danych, aby zmierzyć przepływność pozyskiwania danych i zrozumieć odpowiednie użycie rozliczeń.

Oto przykładowe szczegóły przebiegu działania kopiowania (rzeczywisty przebieg będzie się różnić w zależności od kształtu określonego zestawu danych, szybkości sieci, limitów ruchu wychodzącego na koncie S3, limitów ruchu przychodzącego w usłudze ADLS Gen2 i innych czynników).

Przebieg kopiowania S3

Korzystając z monitorowania zużycia na poziomie uruchomienia potoku, można zobaczyć odpowiednie ilości zużycia miernika przenoszenia danych:

Użycie potoku kopiowania S3

W związku z tym łączna liczba godzin jednostki DIU, która zajmuje przeniesienie 1 TB dziennie przez cały miesiąc, wynosi:

1,2667 (DIU-hours) * (1 TB / 100 GB) * 30 (dni w miesiącu) = 380 diu godzin

Teraz możesz podłączyć 30 przebiegów działań i 380 diu-godzin do kalkulatora cen usługi ADF, aby uzyskać oszacowanie miesięcznego rachunku:

Kalkulator cen kopii S3

Omówienie pełnego modelu rozliczeniowego dla usługi Azure Data Factory

Usługa Azure Data Factory działa w infrastrukturze platformy Azure, która nalicza koszty podczas wdrażania nowych zasobów. Ważne jest, aby zrozumieć, że mogą być naliczane inne dodatkowe koszty infrastruktury.

Jak są naliczane opłaty za usługę Azure Data Factory

Azure Data Factory to bezserwerowa i elastyczna usługa integracji danych utworzona na potrzeby skalowania w chmurze. Nie ma zasobów obliczeniowych o stałym rozmiarze, które należy zaplanować pod kątem szczytowego obciążenia; zamiast określać ilość zasobów do przydzielenia na żądanie na operację, co pozwala zaprojektować procesy ETL w znacznie bardziej skalowalny sposób. Ponadto usługa ADF jest rozliczana zgodnie z planem opartym na użyciu, co oznacza, że płacisz tylko za to, czego używasz.

Podczas tworzenia lub używania zasobów usługi Azure Data Factory mogą zostać naliczone opłaty za następujące mierniki:

  • Uruchomienia działań orkiestracji — opłaty są naliczane na podstawie liczby przebiegów działań aranżowanych.
  • Integracja danych godziny jednostki (DIU) — w przypadku działań kopiowania uruchamianych w środowisku Azure Integration Runtime opłaty są naliczane na podstawie liczby użytych jednostek DIU i czasu trwania wykonywania.
  • Godziny rdzeni wirtualnych — w przypadku wykonywania i debugowania przepływu danych opłaty są naliczane na podstawie typu obliczeniowego, liczby rdzeni wirtualnych i czasu trwania wykonywania.

Na koniec cyklu rozliczeniowego opłaty za każdy miernik są sumowane. Rachunek lub faktura zawiera sekcję dla wszystkich kosztów usługi Azure Data Factory. Dla każdego miernika istnieje oddzielny wiersz.

Inne koszty, które mogą być naliczane za pomocą usługi Azure Data Factory

Podczas tworzenia zasobów dla usługi Azure Data Factory (ADF) tworzone są również zasoby dla innych usług platformy Azure. To na przykład:

  • Wykonywanie działania potoku
  • Wykonywanie działania potoku zewnętrznego
  • Tworzenie/edytowanie/pobieranie/monitorowanie artefaktów fabryki danych
  • Czas trwania środowiska SSIS Integration Runtime (IR) na podstawie typu wystąpienia i czasu trwania

Uwaga

Możesz przypisać ten sam tag do usługi ADF i innych zasobów platformy Azure, umieszczając je w tej samej kategorii, aby wyświetlić skonsolidowane rozliczenia. Tag usługi ADF będzie dziedziczony przez wszystkie w nim elementy IRS usług SSIS. Jeśli zmienisz tag usługi ADF, musisz zatrzymać i ponownie uruchomić wszystkie adresy IRS usług SSIS w nim, aby dziedziczyły nowy tag, zobacz sekcję Reconfigure SSIS IR (Ponowne konfigurowanie środowiska SSIS IR ).

Korzystanie z przedpłaty za platformę Azure w usłudze Azure Data Factory

Możesz płacić za opłaty za usługę Azure Data Factory przy użyciu środków przedpłaty za platformę Azure. Środkami z przedpłaty za platformę Azure nie można jednak opłacać produktów i usług innych firm, w tym tych z witryny Azure Marketplace.

Monitorowanie kosztów

Koszty usługi Azure Data Factory można monitorować na poziomie fabryki, potoku, uruchomienia potoku i uruchomienia działania.

Monitorowanie kosztów na poziomie fabryki przy użyciu analizy kosztów

W miarę korzystania z zasobów platformy Azure z usługą Data Factory koszty są naliczane. Koszty jednostek użycia zasobów platformy Azure różnią się w zależności od interwałów czasu (sekund, minut, godzin i dni) lub według użycia jednostek (bajtów, megabajtów itd.). Po rozpoczęciu korzystania z usługi Data Factory koszty są naliczane i można zobaczyć koszty w analizie kosztów.

Podczas korzystania z analizy kosztów można wyświetlać koszty usługi Data Factory w grafach i tabelach dla różnych interwałów czasu. Niektóre przykłady to dzień, bieżący i poprzedni miesiąc oraz rok. Można również wyświetlać koszty w odniesieniu do budżetów i prognozowanych kosztów. Przełączanie się do dłuższych widoków w czasie może pomóc w identyfikowaniu trendów wydatków. Zobaczysz, gdzie mogły wystąpić nadmierne wydatki. Jeśli utworzono budżety, możesz również łatwo zobaczyć, gdzie zostały przekroczone.

Aby wyświetlić koszty usługi Data Factory w analizie kosztów:

  1. Zaloguj się w witrynie Azure Portal.
  2. Otwórz zakres w witrynie Azure Portal i wybierz pozycję Analiza kosztów w menu. Na przykład przejdź do obszaru Subskrypcje, wybierz subskrypcję z listy, a następnie wybierz pozycję Analiza kosztów w menu. Wybierz pozycję Zakres , aby przełączyć się do innego zakresu w analizie kosztów.
  3. Domyślnie koszt usług jest wyświetlany na pierwszym wykresie pierścieniowym. Wybierz obszar na wykresie oznaczonym etykietą Azure Data Factory w wersji 2.

Rzeczywiste miesięczne koszty są wyświetlane podczas początkowej analizy kosztów. Oto przykład przedstawiający wszystkie miesięczne koszty użycia.

Przykład przedstawiający skumulowane koszty subskrypcji

  • Aby zawęzić koszty dla jednej usługi, takiej jak Data Factory, wybierz pozycję Dodaj filtr , a następnie wybierz pozycję Nazwa usługi. Następnie wybierz pozycję Azure Data Factory v2.

Oto przykład przedstawiający koszty tylko dla usługi Data Factory.

Przykład przedstawiający skumulowane koszty usługi ServiceName

W poprzednim przykładzie widzisz bieżący koszt usługi. Wyświetlane są również koszty według regionów platformy Azure (lokalizacji) i kosztów usługi Data Factory według grupy zasobów. W tym miejscu możesz samodzielnie eksplorować koszty.

Monitorowanie kosztów na poziomie potoku za pomocą analizy kosztów

W niektórych przypadkach możesz chcieć uzyskać szczegółowy podział kosztów operacji w naszej fabryce, na przykład na potrzeby ładowania zwrotnego. Zintegrowanie platformy analizy kosztów rozliczeń platformy Azure usługa Data Factory może rozdzielić opłaty rozliczeniowe dla każdego potoku. Decydując się na szczegółowe raportowanie rozliczeń dla fabryki w usłudze Azure Data Factory, możesz lepiej zrozumieć, ile kosztuje każdy potok w wyżej wymienionej fabryce.

Musisz zdecydować się na każdą fabrykę, dla której chcesz uzyskać szczegółowe rozliczenia. Aby włączyć szczegółową funkcję rozliczeń dla potoku,

  1. Przejdź do portalu usługi Azure Data Factory
  2. Na karcie Zarządzanie wybierz pozycję Ustawienie fabryki w sekcji Ogólne
  3. Wybierz pozycję Wyświetlanie raportu rozliczeniowego według potoku
  4. Publikowanie zmiany

Zrzut ekranu przedstawiający kroki włączania funkcji rozliczeń potoku.

Uwaga

Szczegółowe ustawienia rozliczeń potoku nie są uwzględniane w wyeksportowanych szablonach usługi ARM z fabryki. Oznacza to, że ciągła integracja i ciągłe dostarczanie (CI/CD) nie zastąpi zachowań rozliczeniowych dla fabryki. Umożliwia to ustawienie różnych zachowań rozliczeniowych dla fabryk programistycznych, testowych i produkcyjnych.

Po włączeniu funkcji każdy potok będzie miał oddzielny wpis w raporcie rozliczeniowym: pokazuje dokładnie , ile kosztuje każdy potok w wybranym przedziale czasu. Umożliwia ona identyfikowanie trendów wydatków i zwracanie uwagi na nadmierne wydatki, jeśli wystąpiły.

Zrzut ekranu przedstawiający przykład przedstawiający szczegółowy koszt potoku.

Korzystając z narzędzi do tworzenia wykresów analizy kosztów, można uzyskać podobne wykresy i linie trendów, jak pokazano powyżej, ale dla poszczególnych potoków. Zostanie również wyświetlony widok podsumowania według nazwy fabryki, ponieważ nazwa fabryki jest uwzględniona w raporcie rozliczeniowym, co pozwala na odpowiednie filtrowanie w razie potrzeby.

Zmiana ma wpływ tylko na sposób emisji rachunków w przyszłości i nie zmienia wcześniejszych opłat. Przed wypełnieniem zmiany w raporcie rozliczeniowym należy podać jakiś czas: zazwyczaj zmiana zostanie odzwierciedlona w ciągu 1 dnia.

Ostrzeżenie

Po wybraniu ustawienia rozliczeń dla każdego potoku w fabryce będzie dostępny jeden wpis. Należy szczególnie pamiętać, jeśli masz nadmierną ilość potoków w fabryce, ponieważ może znacznie wydłużyć i skomplikować raport rozliczeniowy.

Ograniczenia

Poniżej przedstawiono znane ograniczenia dotyczące funkcji rozliczeń potoku. Te mierniki rozliczeniowe nie będą składać się w ramach potoku, który go uruchamia, ale zamiast tego będą składać plik w ramach elementu rezerwowego wiersza dla fabryki.

Monitorowanie użycia na poziomie uruchomienia potoku w usłudze Azure Data Factory

W zależności od typów działań w potoku, ilości danych przenoszonych i przekształcanych oraz złożoności transformacji wykonanie potoku spowoduje uruchomienie różnych mierników rozliczeniowych w usłudze Azure Data Factory.

W środowisku użytkownika usługi Azure Data Factory można wyświetlić ilość użycia różnych mierników dla poszczególnych przebiegów potoków. Aby otworzyć środowisko monitorowania, wybierz kafelek Monitorowanie i zarządzanie w bloku fabryki danych w witrynie Azure Portal. Jeśli jesteś już w środowisku użytkownika usługi ADF, wybierz ikonę Monitor na pasku bocznym po lewej stronie. Domyślny widok monitorowania to lista przebiegów potoków.

Kliknięcie przycisku Zużycie obok nazwy potoku spowoduje wyświetlenie wyskakującego okna z wyświetlonym użyciem przebiegu potoku zagregowanego we wszystkich działaniach w potoku.

Użycie uruchomienia potoku

Szczegóły użycia potoku

Widok użycia przebiegu potoku pokazuje ilość użytą dla każdego miernika usługi ADF dla określonego przebiegu potoku, ale nie pokazuje rzeczywistej ceny naliczonej, ponieważ kwota naliczana za Ciebie zależy od typu używanego konta platformy Azure i typu używanej waluty. Aby wyświetlić pełną listę obsługiwanych typów kont, zobacz Omówienie danych usługi Cost Management.

Monitorowanie użycia na poziomie działania i uruchamiania w usłudze Azure Data Factory

Po zrozumieniu zagregowanego użycia na poziomie uruchomienia potoku istnieją scenariusze, w których należy dokładniej przejść do szczegółów i określić, która z nich jest najbardziej kosztowną aktywnością w potoku.

Aby wyświetlić użycie na poziomie działania przebiegu, przejdź do interfejsu użytkownika tworzenia i monitorowania fabryki danych. Na karcie Monitorowanie , na której zostanie wyświetlona lista przebiegów potoku, wybierz link nazwa potoku, aby uzyskać dostęp do listy uruchomień działań w przebiegu potoku. Wybierz przycisk Dane wyjściowe obok nazwy działania i wyszukaj właściwość billableDuration w danych wyjściowych JSON:

Oto przykład z przebiegu działania kopiowania:

Kopiowanie danych wyjściowych

Oto przykład z uruchomienia działania mapowania Przepływ danych:

Dane wyjściowe przepływu danych

Tworzenie budżetów

W celu zarządzania kosztami można utworzyć budżety oraz alerty, które automatycznie powiadamiają uczestników o anomaliach w wydatkach i o ryzyku nadmiernych wydatków. Alerty są oparte na wydatkach w porównaniu z budżetem i progami kosztów. Budżety i alerty są tworzone dla subskrypcji i grup zasobów platformy Azure, więc są one przydatne w ramach ogólnej strategii monitorowania kosztów.

Budżety można tworzyć za pomocą filtrów dla określonych zasobów lub usług na platformie Azure, jeśli chcesz, aby monitorowanie było bardziej szczegółowe. Filtry pomagają zagwarantować, że nie utworzysz przypadkowo nowych zasobów, które kosztują dodatkowe pieniądze. Aby uzyskać więcej informacji na temat opcji filtru dostępnych podczas tworzenia budżetu, zobacz Opcje grupowania i filtrowania.

Eksportowanie danych kosztów

Możesz również wyeksportować dane kosztów na konto magazynu. Jest to przydatne, gdy potrzebujesz lub innych osób, aby przeprowadzić inną analizę danych pod kątem kosztów. Na przykład zespoły finansowe mogą analizować dane przy użyciu programu Excel lub usługi Power BI. Możesz wyeksportować koszty według dziennego, tygodniowego lub miesięcznego harmonogramu i ustawić niestandardowy zakres dat. Eksportowanie danych kosztów jest zalecanym sposobem pobierania zestawów danych kosztów.

Powiązana zawartość