Konta magazynu blokowych obiektów blob w warstwie Premium
Konta magazynu blokowych obiektów blob w warstwie Premium udostępniają dane za pośrednictwem sprzętu o wysokiej wydajności. Dane są przechowywane na dyskach półprzewodnikowych (SSD), które są zoptymalizowane pod kątem małych opóźnień. Dyski SSD zapewniają większą przepływność w porównaniu z tradycyjnymi dyskami twardymi. Transfer plików jest znacznie szybszy, ponieważ dane są przechowywane na natychmiast dostępnych chipach pamięci. Wszystkie części dysku dostępne jednocześnie. Natomiast wydajność dysku twardego (HDD) zależy od odległości danych od głowic odczytu/zapisu.
Obciążenia o wysokiej wydajności
Konta magazynu blokowych obiektów blob w warstwie Premium są idealne w przypadku obciążeń wymagających szybkich i spójnych czasów odpowiedzi i/lub dużej liczby operacji wyjściowych wejściowych na sekundę (IOP). Przykładowe obciążenia obejmują:
Obciążenia interakcyjne. Wysoce interaktywne i w czasie rzeczywistym aplikacje muszą szybko zapisywać dane. Aplikacje do handlu elektronicznego i mapowania często wymagają natychmiastowej aktualizacji i opinii użytkowników. Na przykład w aplikacji do handlu elektronicznego rzadziej wyświetlane elementy prawdopodobnie nie są buforowane. Muszą jednak być natychmiast wyświetlane klientowi na żądanie. Interaktywne edytowanie lub wieloosobowe aplikacje do gier online zapewniają jakość, zapewniając aktualizacje w czasie rzeczywistym.
Analiza przesyłania strumieniowego IoT/. W scenariuszu IoT wiele mniejszych operacji zapisu może być wypychanych do chmury co sekundę. Duże ilości danych mogą być pobierane, agregowane do celów analizy, a następnie usuwane niemal natychmiast. Wysokie możliwości pozyskiwania magazynu blokowych obiektów blob w warstwie Premium sprawiają, że jest wydajny dla tego typu obciążenia.
Sztuczna inteligencja/uczenie maszynowe (AI/ML) Sztuczna inteligencja/uczenie maszynowe zajmuje się zużyciem i przetwarzaniem różnych typów danych, takich jak wizualizacje, mowa i tekst. Ten typ obliczeń o wysokiej wydajności obciążenia obejmuje duże ilości danych, które wymagają szybkiego reagowania i wydajnego czasu pozyskiwania danych na potrzeby analizy danych.
Opłacalność
Konta magazynu blokowych obiektów blob w warstwie Premium mają wyższy koszt magazynowania, ale niższy koszt transakcji w porównaniu ze standardowymi kontami ogólnego przeznaczenia w wersji 2. Jeśli aplikacje i obciążenia wykonują dużą liczbę transakcji, magazyn blokowych obiektów blob w warstwie Premium może być opłacalny, zwłaszcza jeśli obciążenie jest duże.
W większości przypadków obciążenia wykonujące ponad 35–40 transakcji na sekundę na terabajt (TPS/TB) są dobrymi kandydatami dla tego typu konta. Jeśli na przykład obciążenie wykonuje 500 milionów operacji odczytu i 100 milionów operacji zapisu w miesiącu, możesz obliczyć moduł TPS/TB w następujący sposób:
Transakcje zapisu na sekundę = 100 000 000 / (30 x 24 x 60 x 60) = 39 (zaokrąglone do najbliższej liczby całkowitej)
Transakcje odczytu na sekundę = 500 000 000 / (30 x 24 x 60 x 60) = 193 (zaokrąglone do najbliższej liczby całkowitej)
Łączna liczba transakcji na sekundę = 193 + 39 = 232
Zakładając, że twoje konto miało średnio 5 TB danych, wówczas tpS/TB będzie wynosić 230/ 5 = 46.
Uwaga
Ceny różnią się w zależności od operacji i regionu. Skorzystaj z kalkulatora cen platformy Azure, aby porównać ceny między warstwami wydajności w warstwie Standardowa i Premium.
W poniższej tabeli przedstawiono opłacalność kont magazynu blokowych obiektów blob w warstwie Premium. Liczby w tej tabeli są oparte na koncie magazynu blokowych obiektów blob w warstwie Premium z włączoną usługą Azure Data Lake Storage (nazywaną również warstwą Premium dla usługi Azure Data Lake Storage). Każda kolumna reprezentuje liczbę transakcji w miesiącu. Każdy wiersz reprezentuje procent transakcji, które są transakcjami odczytu. Każda komórka w tabeli pokazuje procent redukcji kosztów skojarzony z procentem transakcji odczytu i liczbą wykonanych transakcji.
Załóżmy na przykład, że Twoje konto znajduje się w regionie Wschodnie stany USA 2, liczba transakcji na koncie przekracza 90 mln, a 70% tych transakcji to transakcje odczytu, konta magazynu blokowych blokowych obiektów blob w warstwie Premium są bardziej ekonomiczne.
Uwaga
Jeśli wolisz ocenić efektywność kosztową na podstawie liczby transakcji na sekundę dla każdego TB danych, możesz użyć nagłówków kolumn wyświetlanych w dolnej części tabeli.
Scenariusze w warstwie Premium
Ta sekcja zawiera rzeczywiste przykłady użycia magazynu blokowych obiektów blob w warstwie Premium przez niektórych partnerów usługi Azure Storage. Niektóre z nich umożliwiają również usługę Azure Data Lake Storage, która wprowadza hierarchiczną strukturę plików, która może jeszcze bardziej zwiększyć wydajność transakcji w niektórych scenariuszach.
Napiwek
Jeśli masz przypadek użycia analizy, zdecydowanie zalecamy korzystanie z usługi Azure Data Lake Storage wraz z kontem magazynu blokowych blokowych obiektów blob w warstwie Premium.
Ta sekcja zawiera następujące przykłady:
- Konta magazynu blokowych obiektów blob w warstwie Premium
Szybkie nawodnienie danych
Magazyn blokowych obiektów blob w warstwie Premium może pomóc w szybkim nawodnieniu lub szybkim działaniu środowiska. W branżach takich jak bankowość niektóre wymagania regulacyjne mogą wymagać od firm regularnego usuwania swoich środowisk, a następnie przywrócenia ich od podstaw. Dane używane do nawodnienia środowiska muszą być ładowane szybko.
Niektórzy z naszych partnerów przechowują kopię swojego wystąpienia bazy danych MongoDB co tydzień na konto magazynu blokowych obiektów blob w warstwie Premium. System zostanie następnie zburzony. Aby szybko przywrócić system do trybu online, najnowsza kopia wystąpienia bazy danych MongoDB jest odczytywana i ładowana. W celach inspekcji poprzednie kopie są przechowywane w magazynie w chmurze przez pewien czas.
Interaktywne edytowanie aplikacji
W aplikacjach, w których wielu użytkowników edytuje tę samą zawartość, szybkość aktualizacji staje się krytyczna dla bezproblemowego środowiska użytkownika.
Niektórzy z naszych partnerów opracowują oprogramowanie do edycji wideo. Każda aktualizacja, którą użytkownik wykonuje w filmie wideo, jest natychmiast widoczna dla innych użytkowników. Użytkownicy mogą skupić się na swoich zadaniach zamiast czekać na wyświetlenie aktualizacji zawartości. Małe opóźnienia związane z magazynem blokowych obiektów blob w warstwie Premium pomagają w tworzeniu tego bezproblemowego i wspólnego środowiska.
Oprogramowanie do wizualizacji danych
Użytkownicy mogą być znacznie bardziej wydajni dzięki oprogramowaniu do wizualizacji danych, jeśli czas renderowania jest szybki.
Widzieliśmy firmy w branży mapowania używają edytorów map do wykrywania problemów z mapami. Te edytory używają danych generowanych na podstawie danych globalnego systemu pozycjonowania klienta (GPS). Aby utworzyć nakładające się mapy, oprogramowanie do edycji renderuje małe sekcje mapy, szybko wykonując wyszukiwanie kluczowych.
W jednym przypadku przed użyciem magazynu blokowych obiektów blob w warstwie Premium partner użył klastrów HBase wspieranych przez standardowy magazyn ogólnego przeznaczenia w wersji 2. Jednak stała się kosztowna, aby cały czas działać duże klastry. Ten partner zdecydował się odejść od tej architektury i zamiast tego użył magazynu blokowych obiektów blob w warstwie Premium na potrzeby szybkiego wyszukiwania kluczy. Aby utworzyć nakładające się na siebie, używali interfejsów API REST do renderowania kafelków odpowiadających współrzędnym GPS. Konto magazynu blokowych obiektów blob w warstwie Premium zapewniało im ekonomiczne rozwiązanie, a opóźnienia były znacznie bardziej przewidywalne.
Firmy zajmujące się handlem elektronicznym
Oprócz obsługi sklepów dostępnych dla klientów firmy zajmujące się handlem elektronicznym mogą również udostępniać rozwiązania magazynowania i analizy danych zespołom wewnętrznym. Widzieliśmy, jak partnerzy używają kont magazynu blokowych obiektów blob w warstwie Premium do obsługi wymagań dotyczących małych opóźnień dzięki tym rozwiązaniom do magazynowania danych i analizy. W jednym przypadku zespół wykazu utrzymuje aplikację magazynowania danych dla danych odnoszących się do ofert, cen, metod wysyłki, dostawców, zapasów i logistyki. Informacje są odpytywane, skanowane, wyodrębniane i wydobywane w wielu przypadkach użycia. Zespół prowadzi analizę tych danych, aby zapewnić różnym zespołom merchandisingowym odpowiednie szczegółowe informacje i informacje.
Interaktywna analiza
W prawie każdej branży istnieje potrzeba interaktywnego wykonywania zapytań i analizowania danych przez przedsiębiorstwa.
Analitycy danych, analitycy i deweloperzy mogą szybciej uzyskiwać szczegółowe informacje wrażliwe na czas, uruchamiając zapytania dotyczące danych przechowywanych na koncie magazynu blokowych obiektów blob w warstwie Premium. Kierownictwo może ładować pulpity nawigacyjne znacznie szybciej, gdy dane wyświetlane na tych pulpitach nawigacyjnych pochodzą z konta magazynu blokowych obiektów blob w warstwie Premium zamiast standardowego konta ogólnego przeznaczenia w wersji 2.
W jednym scenariuszu analitycy musieli szybko analizować dane telemetryczne z milionów urządzeń, aby lepiej zrozumieć, jak są używane ich produkty, oraz podejmować decyzje dotyczące wydawania produktów. Przechowywanie danych w bazach danych SQL jest kosztowne. Aby zmniejszyć koszty i zwiększyć obszar powierzchni z możliwością wykonywania zapytań, użyli konta magazynu blokowych obiektów blob w warstwie Premium z włączoną usługą Azure Data Lake Storage i wykonali obliczenia w usługach Presto i Spark w celu uzyskania szczegółowych informacji z tabel hive. Dzięki temu nawet rzadko używane dane mają taką samą moc obliczeniową, jak często używane dane.
Aby zamknąć lukę między wydajnością podrzędną usługi SQL a operacjami wyjściowymi danych wejściowych presto na sekundę (we/wy) do zewnętrznego magazynu, spójność i szybkość są krytyczne, szczególnie w przypadku obsługi małych zoptymalizowanych plików kolumnowych wierszy (ORC). Konto magazynu blokowych obiektów blob w warstwie Premium w przypadku użycia z usługą Data Lake Storage wielokrotnie demonstrowało poprawę wydajności 3X na standardowym koncie ogólnego przeznaczenia w wersji 2 w tym scenariuszu. Zapytania wykonywane wystarczająco szybko, aby czuć się lokalnie na maszynie obliczeniowej.
W innym przypadku partner przechowuje dzienniki i wysyła zapytania wygenerowane na podstawie rozwiązania zabezpieczeń. Dzienniki są generowane przy użyciu usługi Databricks, a następnie przechowywane na koncie magazynu blokowych obiektów blob w warstwie Premium z włączoną usługą Data Lake Storage. Użytkownicy końcowi wysyłają zapytania o te dane i wyszukują je przy użyciu usługi Azure Data Explorer. Wybrali ten typ konta, aby zwiększyć stabilność i zwiększyć wydajność interakcyjnych zapytań. Określają one również zasady zarządzania cyklem Delete Action życia na kilka dni, co pomaga zmniejszyć koszty. Te zasady uniemożliwiają przechowywanie danych na zawsze. Zamiast tego dane są usuwane, gdy nie są już potrzebne.
Potoki przetwarzania danych
W prawie każdej branży istnieje potrzeba, aby przedsiębiorstwa przetwarzały dane. Nieprzetworzone dane z wielu źródeł należy oczyścić i przetworzyć, aby ułatwić ich użycie w narzędziach podrzędnych, takich jak pulpity nawigacyjne danych, które ułatwiają użytkownikom podejmowanie decyzji.
Chociaż szybkość przetwarzania nie zawsze jest głównym problemem podczas przetwarzania danych, niektóre branże tego wymagają. Na przykład firmy w branży usług finansowych często muszą przetwarzać dane niezawodnie i w najszybszy możliwy sposób. Aby wykryć oszustwa, firmy te muszą przetwarzać dane wejściowe z różnych źródeł, identyfikować zagrożenia dla swoich klientów i podejmować szybkie działania.
W niektórych przypadkach partnerzy używają wielu standardowych kont magazynu do przechowywania danych z różnych źródeł. Niektóre z tych danych są następnie przenoszone do konta magazynu blokowych obiektów blob w warstwie Premium z włączoną usługą Data Lake Storage, na którym aplikacja do przetwarzania danych często odczytuje nowo przybywające dane. Wywołania listy katalogów na tym koncie były znacznie szybsze i wykonywane znacznie bardziej spójnie niż w przeciwnym razie działały na standardowym koncie ogólnego przeznaczenia w wersji 2. Szybkość i spójność oferowana przez konto zapewniała, że nowe dane były zawsze udostępniane systemom przetwarzania podrzędnego tak szybko, jak to możliwe. Pomogło to im szybko złapać i działać na potencjalne zagrożenia bezpieczeństwa.
Internet rzeczy (IoT)
IoT stała się znaczącą częścią naszego codziennego życia. IoT służy do śledzenia ruchów samochodów, świateł sterujących i monitorowania naszego zdrowia. Ma również zastosowania przemysłowe. Na przykład firmy korzystają z IoT, aby umożliwić swoim inteligentnym projektom fabryki, poprawić produkcję rolną i na platformach naftowych na potrzeby konserwacji predykcyjnej. Konta magazynu blokowych obiektów blob w warstwie Premium dodają znaczącą wartość do tych scenariuszy.
Mamy partnerów w przemyśle wydobywczym. Korzystają one z usługi Data Lake Storage, aby umożliwić konto magazynu blokowych obiektów blob w warstwie Premium wraz z usługą HDInsight (Hbase) w celu pozyskiwania danych czujników szeregów czasowych z wielu typów sprzętu wydobywczego z bardzo obciążającym profilem obciążenia. Magazyn blokowych obiektów blob w warstwie Premium pomógł zaspokoić potrzebę pozyskiwania dużej liczby próbek. Jest to również opłacalne, ponieważ magazyn blokowych obiektów blob w warstwie Premium jest zoptymalizowany pod kątem obciążeń, które wykonują dużą liczbę transakcji zapisu, a to obciążenie generuje dużą liczbę małych transakcji zapisu (w dziesiątkach tysięcy na sekundę).
Usługa Machine Learning
W wielu przypadkach wiele danych musi zostać przetworzonych w celu wytrenowania modelu uczenia maszynowego. Aby ukończyć to przetwarzanie, maszyny obliczeniowe muszą działać przez długi czas. W porównaniu z kosztami magazynowania koszty obliczeń zwykle stanowią znacznie większy procent rachunku, dzięki czemu skrócenie czasu działania maszyn obliczeniowych może prowadzić do znacznych oszczędności. Małe opóźnienie, które uzyskujesz przy użyciu magazynu blokowych obiektów blob w warstwie Premium, może znacznie skrócić ten czas i rachunek.
Mamy partnerów, którzy wdrażają potoki przetwarzania danych w klastrach spark, w których uruchamiają szkolenia i wnioskowanie uczenia maszynowego. Przechowują tabele platformy Spark (pliki parquet) i punkty kontrolne na koncie magazynu blokowych obiektów blob w warstwie Premium. Punkty kontrolne platformy Spark mogą tworzyć ogromną liczbę zagnieżdżonych plików i folderów. Operacje listy katalogów są szybkie, ponieważ łączą małe opóźnienia konta magazynu blokowych obiektów blob w warstwie Premium z hierarchiczną strukturą danych udostępnioną w usłudze Data Lake Storage.
Mamy również partnerów w branży półprzewodników z przypadkami użycia, które przecinają IoT i uczenie maszynowe. Urządzenia IoT dołączone do maszyn w zakładzie produkcyjnym wykonują zdjęcia wferów półprzewodnikowych i wysyłają je do swojego konta. Korzystając z wnioskowania uczenia głębokiego, system może poinformować maszyny lokalne, jeśli wystąpi problem z produkcją i czy należy podjąć akcję. Mogą ładować i przetwarzać obrazy szybko i niezawodnie. Użycie konta magazynu blokowych obiektów blob w warstwie Premium z włączoną usługą Data Lake Storage pomaga to umożliwić.
Analiza przesyłania strumieniowego w czasie rzeczywistym
Aby zapewnić obsługę interaktywnej analizy niemal w czasie rzeczywistym, system musi pozyskiwać i przetwarzać duże ilości danych, a następnie udostępniać te dane systemom podrzędnym. Korzystanie z konta magazynu blokowego obiektów blob w warstwie Premium z włączoną usługą Data Lake Storage jest idealne dla tego typu scenariuszy.
Firmy w branży mediów i rozrywki mogą generować dużą liczbę dzienników i danych telemetrycznych w krótkim czasie, gdy emitują wydarzenie. Niektórzy z naszych partnerów korzystają z wielu partnerów sieci dostarczania zawartości (CDN) na potrzeby przesyłania strumieniowego. Muszą podejmować decyzje niemal w czasie rzeczywistym dotyczące tego, do których partnerów CDN należy przydzielić ruch. W związku z tym dane muszą być dostępne do wykonywania zapytań przez kilka sekund po ich pozyskiwaniu. Aby ułatwić to szybkie podejmowanie decyzji, używają danych przechowywanych w magazynie blokowych obiektów blob w warstwie Premium i przetwarzają te dane w usłudze Azure Data Explorer (ADX). Wszystkie dane telemetryczne przekazywane do magazynu są przekształcane w usłudze ADX, gdzie można je przechowywać w znanym formacie, który operatorzy i kierownicy mogą wysyłać zapytania szybko i niezawodnie.
Dane są przekazywane do wielu kont usługi Blob Storage o wydajności premium. Każde konto jest połączone z zasobem usługi Event Grid i centrum zdarzeń. Usługa ADX pobiera dane z usługi Blob Storage, wykonuje wszelkie wymagane przekształcenia w celu normalizacji danych (na przykład: dekompresowanie plików zip lub konwertowanie z formatu JSON na csv). Następnie dane są udostępniane do wykonywania zapytań za pośrednictwem usługi ADX i pulpitów nawigacyjnych wyświetlanych w narzędziu Grafana. Pulpity nawigacyjne narzędzia Grafana są używane przez operatorów, kadrę kierowniczą i innych użytkowników. Klient zachowuje swoje oryginalne dzienniki w magazynie wydajności w warstwie Premium lub kopiuje je na konto magazynu ogólnego przeznaczenia w wersji 2, na którym można przechowywać je w warstwie dostępu Gorąca lub Chłodna na potrzeby długoterminowego przechowywania i przyszłej analizy.
Wprowadzenie do wersji Premium
Najpierw sprawdź, czy ulubione funkcje usługi Blob Storage są zgodne z kontami magazynu blokowych obiektów blob w warstwie Premium, a następnie utwórz konto.
Uwaga
Nie można przekonwertować istniejącego standardowego konta magazynu ogólnego przeznaczenia w wersji 2 na konto magazynu blokowych obiektów blob w warstwie Premium. Aby przeprowadzić migrację do konta magazynu blokowych obiektów blob w warstwie Premium, musisz utworzyć konto magazynu blokowych obiektów blob w warstwie Premium i zmigrować dane do nowego konta.
Sprawdzanie zgodności funkcji usługi Blob Storage
Niektóre funkcje usługi Blob Storage nie są jeszcze obsługiwane lub mają częściową obsługę na kontach magazynu blokowych obiektów blob w warstwie Premium. Przed wybraniem warstwy Premium zapoznaj się z artykułem Obsługa funkcji usługi Blob Storage na kontach usługi Azure Storage, aby ustalić, czy funkcje, które mają być używane, są w pełni obsługiwane na twoim koncie. Obsługa funkcji jest zawsze rozszerzana, dlatego należy okresowo przeglądać ten artykuł pod kątem aktualizacji.
Utwórz nowe konto magazynu
Aby utworzyć konto magazynu blokowych obiektów blob w warstwie Premium, wybierz opcję Wydajność Premium i typ konta Blokowe obiekty blob podczas tworzenia konta.
Uwaga
Niektóre funkcje usługi Blob Storage nie są jeszcze obsługiwane lub mają częściową obsługę na kontach magazynu blokowych obiektów blob w warstwie Premium. Przed wybraniem warstwy Premium zapoznaj się z artykułem Obsługa funkcji usługi Blob Storage na kontach usługi Azure Storage, aby ustalić, czy funkcje, które mają być używane, są w pełni obsługiwane na twoim koncie. Obsługa funkcji jest zawsze rozszerzana, dlatego należy okresowo przeglądać ten artykuł pod kątem aktualizacji.
Jeśli twoje konto magazynu będzie używane do analizy, zdecydowanie zalecamy korzystanie z usługi Azure Data Lake Storage wraz z kontem magazynu blokowych obiektów blob w warstwie Premium. Aby odblokować możliwości usługi Azure Data Lake Storage, włącz ustawienie Hierarchiczna przestrzeń nazw na karcie Zaawansowane na stronie Tworzenie konta magazynu.
Na poniższej ilustracji przedstawiono to ustawienie na stronie Tworzenie konta magazynu.
Aby uzyskać pełne wskazówki, zobacz Tworzenie konta magazynu.