Udostępnij za pośrednictwem

Kluczowe zagadnienia dotyczące usługi Azure Data Lake Storage

  • Artykuł

Usługa Azure Storage oferuje różne opcje magazynowania danych. Ten artykuł zawiera zagadnienia ułatwiające wybór odpowiedniej warstwy dostępu, dzięki czemu można równoważyć koszty i wydajność. Opisuje również zarządzanie cyklem życia danych w przechowywaniu, w tym funkcje i najlepsze praktyki ułatwiające efektywne korzystanie z warstw dostępu.

Zarządzanie cyklem życia

Usługa Azure Storage oferuje różne warstwy dostępu, których można użyć do przechowywania danych obiektów blob. Wybierz warstwę najlepiej dopasowaną do obciążenia, aby zoptymalizować koszty.

  • Używanie warstwy Gorąca do przechowywania często używanych danych.

  • Użyj chłodnej warstwy do przechowywania rzadko używanych danych. Ta warstwa przechowuje dane przez co najmniej 30 dni.

  • Użyj warstwy zimnej do przechowywania rzadko używanych lub zmodyfikowanych danych. Ta warstwa przechowuje dane przez co najmniej 90 dni. Warstwa dostępu Zimna ma niższe koszty magazynowania i wyższe koszty dostępu w porównaniu do warstwy Chłodna.

  • Użyj warstwy archiwum do przechowywania rzadko używanych danych. Ta warstwa przechowuje dane przez co najmniej 180 dni. Dostęp do tych danych może mieć elastyczne wymagania dotyczące opóźnień, co oznacza, że pobieranie danych może potrwać kilka godzin.

Ważne

Warstwy dostępu online (gorąca, chłodna i zimna) nie mają kompromisów w zakresie niezawodności, bezpieczeństwa, doskonałości operacyjnej ani wydajności. W związku z tym należy podejmować decyzję na podstawie kosztu każdego bloba. Rozważ rozmiar danych związanych z dostępem do obciążenia, interakcje operacyjne oraz czas przed usunięciem obiektu blob. Wybierz odpowiedni poziom dla każdego bloba na podstawie tych czynników. Aby uzyskać więcej informacji, zobacz Planowanie kosztów usługi Azure Blob Storage i zarządzanie nimi.

Podczas korzystania z warstw dostępu należy wziąć pod uwagę następujące czynniki:

  • Ustaw tylko warstwy dostępu Gorąca i Chłodna na poziomie konta. Poziom konta nie obsługuje warstwy dostępu archiwum.

  • Ustaw warstwy Gorąca, Chłodna i Archiwum na poziomie obiektu blob w trakcie przesyłania lub po jego zakończeniu.

  • Dane w warstwach o chłodnej i zimnej temperaturze mają nieco niższą dostępność, ale te warstwy oferują funkcje podobne do warstwy gorącej, takie jak wysoka trwałość, opóźnienie w pobieraniu danych i duża przepustowość. W przypadku danych w warstwach chłodnych lub zimnych, niższa dostępność i wyższe koszty dostępu są akceptowalnymi kompromisami w porównaniu z obniżonymi kosztami magazynowania w warstwie gorącej.

  • Magazyn archiwum przechowuje dane w trybie offline i oferuje najniższe koszty magazynowania. Jednak wiąże się również z najwyższymi kosztami ponownego wypełniania danych i dostępu.

Aby uzyskać więcej informacji, zobacz Warstwy dostępu dla danych obiektów blob.

Ważne

W przypadku analizy w skali chmury użyj niestandardowej mikrousługi, aby zaimplementować zarządzanie cyklem życia . Uważnie zastanów się nad wpływem przenoszenia danych możliwych do odnalezienia przez użytkownika do magazynu chłodnego. Przenieś sekcje jeziora danych do chłodnej warstwy tylko dla dobrze zrozumianych obciążeń.

Łączność z usługą Data Lake

Każde jezioro danych powinno używać prywatnych punktów końcowych, które integrujesz z siecią wirtualną strefy lądowania danych. Aby zapewnić dostęp między strefami docelowymi, połącz strefy docelowe danych za pośrednictwem komunikacji równorzędnej sieci wirtualnych. To połączenie zapewnia optymalne rozwiązanie zarówno z perspektywy kosztów, jak i kontroli dostępu.

Aby uzyskać więcej informacji, zobacz Prywatne punkty końcowe i Strefa docelowa zarządzania danymi do strefy docelowej danych.

Ważne

Strefa docelowa danych może uzyskiwać dostęp do danych w innej strefie docelowej danych za pośrednictwem peeringu sieci wirtualnych. Prywatne punkty końcowe ustanawiają połączenie skojarzone z każdym kontem usługi Data Lake. Zalecamy wyłączenie całego publicznego dostępu do jezior i korzystanie z prywatnych punktów końcowych. Zespół operacyjny platformy powinien kontrolować łączność sieciową między strefami docelowymi danych.

Usuwanie nietrwałe dla kontenerów

Miękkie usuwanie kontenerów pomaga chronić dane przed przypadkowym lub celowym usunięciem. Gdy włączysz miękkie usuwanie kontenera dla swojego konta przechowywania, magazyn przechowuje usunięte kontenery i ich zawartość przez określony czas. W okresie przechowywania danych można przywrócić wcześniej usunięte kontenery. Ta akcja powoduje również przywrócenie obiektów blob, które znajdowały się w tym kontenerze w momencie jego usunięcia.

Włącz następujące funkcje ochrony danych, aby zwiększyć całościową ochronę danych blob:

Ostrzeżenie

Po usunięciu konta magazynowego nie można cofnąć usunięcia. Miękkie usuwanie kontenera nie chroni przed usunięciem konta magazynowego, tylko przed usunięciem kontenerów w koncie. Aby chronić konto magazynu przed usunięciem, skonfiguruj blokadę zasobu konta magazynu. Aby uzyskać więcej informacji, zobacz Zablokuj zasoby, aby zapobiec nieoczekiwanym zmianom.

Monitorowanie

W strefie docelowej danych wyślij wszystkie monitorowanie do subskrypcji zarządzania strefą docelową platformy Azure na potrzeby analizy.

Aby uzyskać więcej informacji, zobacz Monitor zasobów platformy Azure za pomocą usługi Azure Monitor i Monitor Blob Storage.

Wpisy dziennika są tworzone tylko dla żądań dotyczących punktu końcowego usługi. Rejestrowane są następujące typy uwierzytelnionych żądań:

  • Żądania zakończone powodzeniem
  • Nieudane żądania, w tym przekroczenia limitu czasu, ograniczanie przepustowości, problemy z siecią, problemy z autoryzacją i inne błędy
  • Żądania korzystające z sygnatury dostępu współdzielonego (SAS) lub OAuth, w tym żądania zakończone niepowodzeniem i pomyślne
  • Żądania dotyczące danych analitycznych, takich jak klasyczne dane dziennika w $logs kontenerze i danych metryk klas w tabelach $metric

Żądania wysyłane przez samą usługę magazynu, takie jak tworzenie lub usuwanie dziennika, nie są rejestrowane. Rejestrowane są następujące typy żądań anonimowych:

  • Żądania zakończone powodzeniem
  • Błędy serwera
  • Błędy przekroczenia limitu czasu dla klienta i serwera
  • Żądania HTTP GET, które mają kod błędu 304 (Not Modified)

Inne nieudane żądania anonimowe nie są rejestrowane.

Ważne

Ustaw domyślne zasady monitorowania, aby przeprowadzać inspekcję magazynu i wysyłać dzienniki do subskrypcji zarządzania w skali przedsiębiorstwa.

Zabezpieczenia strefy usługi Data Lake

Zalecamy następujące wzorce zabezpieczeń stref data lake:

  • nieprzetworzone użycie zezwala na dostęp do danych tylko przy użyciu głównych nazw zabezpieczeń (SPN). Zalecamy używanie tożsamości zarządzanych.

  • Rozszerzone wykorzystanie umożliwia dostęp do danych, stosując wyłącznie SPNy. Zalecamy używanie tożsamości zarządzanych.

  • Wyselekcjonowane zastosowanie umożliwia uzyskanie dostępu do danych przy użyciu nazw SPN i UPN (głównych nazw użytkowników).

Aby uzyskać więcej informacji, zobacz Model kontroli dostępu w usłudze Data Lake Storage.

Następny krok