Udostępnij za pośrednictwem

Kluczowe zagadnienia dotyczące usługi Azure Data Lake Storage

  • Artykuł

Dowiedz się więcej na temat najważniejszych zagadnień dotyczących magazynu w usłudze Azure Data Lake.

Zarządzanie cyklem życia

Usługa Azure Storage oferuje różne warstwy dostępu, które umożliwiają przechowywanie danych obiektów blob w najbardziej ekonomiczny sposób. Do wyboru są następujące warstwy dostępu:

  • Gorąca: zoptymalizowana pod kątem przechowywania często używanych danych.
  • Chłodna: zoptymalizowana pod kątem przechowywania rzadko używanych danych. Dane są przechowywane przez co najmniej 30 dni.
  • Warstwa zimna: zoptymalizowana pod kątem przechowywania danych, które są rzadko używane lub modyfikowane. Dane są przechowywane przez co najmniej 90 dni. Warstwa dostępu Zimna ma niższe koszty magazynowania i wyższe koszty dostępu w porównaniu do warstwy Chłodna.
  • Archiwum: zoptymalizowane pod kątem przechowywania rzadko używanych danych. Dane są przechowywane przez co najmniej 180 dni z elastycznymi wymaganiami dotyczącymi opóźnień w kolejności godzin.

Ważne

Nie ma żadnych kompromisów niezawodności, bezpieczeństwa, doskonałości operacyjnej lub wydajności między różnymi warstwami dostępu online, co pozostawia wybór warstwy online jako decyzji finansowej, na obiekt blob, na podstawie rozmiaru danych dostępu do obciążenia, interakcji operacyjnych i czasu przed usunięciem obiektu blob. Wybierz odpowiednią warstwę na obiekt blob na podstawie obliczeń powyższych czynników. Aby uzyskać więcej informacji, zobacz Planowanie kosztów usługi Azure Blob Storage i zarządzanie nimi.

Podczas korzystania z warstw dostępu należy wziąć pod uwagę następujące informacje:

  • Na poziomie konta można ustawić tylko warstwy dostępu Gorąca i Chłodna. Warstwa dostępu Archiwum nie jest dostępna na poziomie konta.

  • Warstwy Gorąca, Chłodna i Archiwum można ustawić na poziomie obiektu blob podczas przekazywania lub po przekazaniu.

  • Dane w warstwach Chłodna i Chłodna mają nieco niższą dostępność, ale oferują tę samą wysoką trwałość, opóźnienie pobierania i charakterystykę przepływności co dane warstwy Gorąca. W przypadku danych w warstwach Chłodna lub Chłodna nieco niższa dostępność i wyższe koszty dostępu mogą być akceptowalnymi kompromisami w przypadku niższych ogólnych kosztów magazynowania w porównaniu z warstwą Gorąca.

  • Magazyn archiwum przechowuje dane w trybie offline i oferuje najniższe koszty magazynowania. Jednak wiąże się również z najwyższymi kosztami ponownego wypełniania danych i dostępu.

Aby uzyskać więcej informacji, zobacz Warstwy dostępu dla danych obiektów blob.

Uwaga

W przypadku analizy w skali chmury zalecamy zaimplementowanie zarządzania cyklem życia przy użyciu niestandardowej mikrousługi i dokładne rozważenie wpływu przenoszenia danych możliwych do odnalezienia przez użytkownika do magazynu chłodnego.

W przypadku dobrze zrozumianych obciążeń należy przenosić tylko sekcje magazynu data lake do warstwy Chłodna.

Łączność usługi Data Lake

Każde z magazynów danych powinno używać prywatnych punktów końcowych wstrzykiwanych do sieci wirtualnej strefy docelowej danych. Aby zapewnić dostęp między strefami docelowymi, połącz strefy docelowe danych za pośrednictwem komunikacji równorzędnej sieci wirtualnych. To połączenie zapewnia optymalne rozwiązanie zarówno z perspektywy kosztów, jak i kontroli dostępu.

Aby uzyskać więcej informacji, zobacz Prywatne punkty końcowe i Strefa docelowa zarządzania danymi do strefy docelowej danych.

Ważne

Dostęp do danych ze strefy docelowej danych można uzyskać z innej strefy docelowej danych za pośrednictwem komunikacji równorzędnej sieci wirtualnych między strefami. Odbywa się to przy użyciu prywatnych punktów końcowych skojarzonych z każdym kontem usługi Data Lake. Zalecamy wyłączenie całego publicznego dostępu do Twoich jezior i korzystanie z prywatnych punktów końcowych. Zespół operacyjny platformy powinien kontrolować łączność sieciową między strefami docelowymi danych.

Usuwanie nietrwałe dla kontenerów

Usuwanie nietrwałe dla kontenerów chroni dane przed przypadkowym lub złośliwym usunięciem. Jeśli włączysz usuwanie nietrwałe kontenera dla konta magazynu, usunięte kontenery i ich zawartość zostaną zachowane w usłudze Azure Storage przez dłuższy czas. W okresie przechowywania danych można przywrócić wcześniej usunięte kontenery. Przywrócenie kontenera powoduje również przywrócenie wszystkich obiektów blob znajdujących się w tym kontenerze po jego usunięciu.

Włącz następujące funkcje ochrony danych, aby zapewnić kompleksową ochronę danych obiektów blob:

Ostrzeżenie

Nie można cofnąć usuwania konta magazynu. Usuwanie nietrwałe kontenera nie chroni przed usunięciem konta magazynu, tylko przed usunięciem kontenerów w ramach konta. Aby chronić konto magazynu przed usunięciem, skonfiguruj blokadę zasobu konta magazynu. Aby uzyskać więcej informacji na temat blokowania zasobów usługi Azure Resource Manager, zobacz Blokowanie zasobów, aby zapobiec nieoczekiwanym zmianom.

Monitorowanie

W strefie docelowej danych wszystkie monitorowanie powinno zostać wysłane do subskrypcji zarządzania strefą docelową platformy Azure na potrzeby analizy.

Aby dowiedzieć się więcej na temat monitorowania danych używanych przez usługę Azure Storage, zobacz Monitorowanie zasobów platformy Azure za pomocą usługi Azure Monitor. Aby uzyskać więcej informacji na temat dzienników i metryk tworzonych przez usługę Azure Storage, zobacz Monitorowanie usługi Azure Blob Storage.

Wpisy dziennika są tworzone tylko wtedy, gdy żądania są wykonywane względem punktu końcowego usługi. Typy zarejestrowanych uwierzytelnionych żądań to:

  • Żądania zakończone powodzeniem
  • Żądania zakończone niepowodzeniem, w tym błędy limitu czasu, ograniczania przepustowości, sieci, autoryzacji i inne błędy
  • Żądania korzystające z sygnatury dostępu współdzielonego (SAS) lub OAuth, w tym żądania zakończone niepowodzeniem i pomyślne
  • Żądania dotyczące danych analitycznych, takich jak klasyczne dane dziennika w $logs kontenerze i danych metryk klas w tabelach $metric

Żądania wysyłane przez samą usługę magazynu, takie jak tworzenie lub usuwanie dziennika, nie są rejestrowane. Typy zarejestrowanych żądań anonimowych to:

  • Żądania zakończone powodzeniem
  • Błędy serwera
  • Błędy przekroczenia limitu czasu dla klienta i serwera
  • Żądania HTTP GET zakończyły się niepowodzeniem z kodem błędu 304 (Not Modified)

Wszystkie inne nieudane żądania anonimowe nie są rejestrowane.

Ważne

Ustaw domyślne zasady monitorowania, aby przeprowadzać inspekcję magazynu i wysyłać dzienniki do subskrypcji zarządzania w skali przedsiębiorstwa.

Następujące zastosowania są zalecanymi wzorcami zabezpieczeń dla każdej ze stref typu data lake:

  • Pierwotne użycie umożliwia dostęp do danych tylko przy użyciu głównych nazw zabezpieczeń (SPN) — najlepiej przy użyciu tożsamości zarządzanych.
  • Wzbogacone użycie umożliwia dostęp do danych tylko przy użyciu głównych nazw zabezpieczeń (SPN) — najlepiej przy użyciu tożsamości zarządzanych.
  • Użycie nadzorowane umożliwia dostęp do nazw głównych zabezpieczeń (SPN) i głównych nazw użytkowników (UPN).

Aby uzyskać więcej informacji, zobacz Model kontroli dostępu w usłudze Azure Data Lake Storage.

Następne kroki