Udostępnij za pośrednictwem

Co to jest usługa Azure Managed Lustre?

  • Artykuł

Azure Managed Lustre to zarządzany system plików, który oferuje skalowalny, wydajny, ekonomiczny magazyn dla obciążeń obliczeń o wysokiej wydajności (HPC).

Poniżej przedstawiono niektóre kluczowe funkcje i zalety usługi Azure Managed Lustre:

  • Przyspieszanie obciążeń HPC: oferuje rozwiązanie rozproszonego równoległego systemu plików o wysokiej wydajności, idealne dla obciążeń HPC wymagających wysokiej przepływności, małych opóźnień i zgodności z protokołem Lustre.
  • usługę zarządzaną zaprojektowaną do określonego celu: zapewnia korzyści wynikające z równoległego systemu plików Lustre bez złożoności zarządzania podstawową infrastrukturą. Azure Managed Lustre to w pełni zarządzana usługa, która upraszcza operacje, zmniejsza koszty instalacji i eliminuje złożoną konserwację.
  • integracji usługi Azure Blob Storage: umożliwia łączenie zarządzanych systemów plików Lustre platformy Azure z kontenerami usługi Azure Blob Storage w celu optymalnego umieszczania danych i zarządzania kosztami. Aby uzyskać więcej informacji, zobacz integrację usługi Azure Blob Storage .
  • Integracja z usługą Azure Kubernetes Service (AKS): Umożliwia konteneryzację obciążeń przy użyciu dostępnego sterownika CSI zgodnego z AKS. Aby uzyskać więcej informacji, zobacz Use Azure Managed Lustre with Kubernetes (Używanie rozwiązania Azure Managed Lustre z platformą Kubernetes).

Lustre to open-source'owy równoległy system plików, który może być skalowany do ogromnych rozmiarów przestrzeni magazynowej, zapewniając jednocześnie wysoką przepustowość. Lustre jest używane przez najszybsze superkomputery na świecie i w przepływach pracy skoncentrowanych na danych dla wielu typów branż. Aby uzyskać więcej informacji na temat Lustre, zobacz https://www.lustre.org.

Zabezpieczenia danych w rozwiązaniu Azure Managed Lustre

Wszystkie dane przechowywane na platformie Azure są domyślnie szyfrowane przy użyciu kluczy zarządzanych platformy Azure. Jeśli chcesz zarządzać kluczami używanymi do szyfrowania danych przechowywanych w klastrze Azure Managed Lustre, postępuj zgodnie z instrukcjami w temacie Szyfrowanie po stronie serwera usługi Azure Disk Storage.

Wszystkie informacje w zarządzanym systemie plików Lustre platformy Azure są chronione przez szyfrowanie hostowane przez maszynę wirtualną na dyskach zarządzanych, które przechowują twoje dane, nawet jeśli dodasz klucz zarządzany przez klienta dla dysków Lustre. Dodanie klucza zarządzanego przez klienta zapewnia dodatkowy poziom zabezpieczeń dla klientów z wysokimi potrzebami w zakresie zabezpieczeń. Aby uzyskać więcej informacji, zobacz Szyfrowanie po stronie serwera usługi Azure Disk Storage.

Uwaga

Usługa Azure Managed Lustre nie przechowuje danych klientów poza regionem, w którym wdrażasz wystąpienie usługi.

Odporność danych w rozwiązaniu Azure Managed Lustre

System plików Azure Managed Lustre używa dysków zarządzanych platformy Azure jako dysków danych docelowego magazynu obiektów (OST).

Wszystkie zarządzane przez Azure systemy plików Lustre, które są tworzone jako "trwały" typ systemu plików, używają Azure Premium SSD (dyski półprzewodnikowe) skonfigurowanych jako lokalnie nadmiarowa pamięć masowa (LRS). Zawartość dysku LRS jest replikowana trzy razy w lokalnym centrum danych w celu ochrony przed awariami dysków i stojaków serwerowych.

Sam system plików Azure Managed Lustre przyczynia się również do odporności danych za pośrednictwem procesów magazynowania obiektów używanych do przechowywania danych na tych dyskach.

Jeśli potrzebujesz regionalnej lub globalnej nadmiarowości danych, możesz zintegrować system plików z usługą Azure Blob Storage. Po zintegrowaniu można zainicjować zadanie eksportu w celu wyeksportowania plików do kontenera usługi Azure Blob Storage z innymi zasadami nadmiarowości na potrzeby długoterminowego przechowywania. Skonfiguruj nadmiarowość usługi Azure Blob Storage dla konta magazynu. Podczas tworzenia konta magazynu można wybrać nadmiarowość danych strefowych (ZRS) lub globalną nadmiarowość danych (GRS). Aby dowiedzieć się więcej na temat opcji nadmiarowości danych dla plików Lustre zarządzanych przez platformę Azure, zobacz Obsługiwane typy kont magazynu.

Integracja usługi Azure Blob Storage

Usługa Azure Blob Storage jest zintegrowana z Azure Managed Lustre, co pozwala na wskazanie plików do importowania z kontenera blob na potrzeby użycia systemu plików. Integracja usługi Azure Blob Storage to aplikacja do zarządzania magazynem hierarchicznym Lustre (HSM). Nie ma potrzeby importowania całego zestawu danych dla każdego zadania. Zamiast tego można utworzyć inny system plików dla różnych zadań i przechowywać dane w kontenerach obiektów blob platformy Azure o niższych kosztach między użyciem. Po zakończeniu zadań obliczeniowych o wysokiej wydajności można wyeksportować zmienione dane do usługi Azure Blob Storage i usunąć system Azure Managed Lustre.

Usługa Azure Managed Lustre jest dostosowywana do bezproblemowej pracy z usługą Azure Blob Storage. Możesz określić istniejący kontener obiektów blob, aby jego istniejące dane były dostępne z poziomu systemu plików Azure Managed Lustre. Możesz również określić pusty kontener wypełniony danymi lub użyć go do przechowywania danych wyjściowych. Instalacja i konserwacja są wykonywane. Wystarczy określić kontener obiektów blob do użycia.

W przypadku integracji usługi Azure Blob Storage podczas tworzenia systemu plików Lustre można użyć funkcji Lustre HSM. Jeśli nie chcesz korzystać z zalet modułu HSM Lustre, możesz zaimportować i wyeksportować dane dla systemu plików Azure Managed Lustre za pomocą poleceń klienta bezpośrednio.

Aby dowiedzieć się więcej na temat tej funkcji, zobacz integracja usługi Azure Blob Storage.

Korzystanie z rozwiązania Azure Managed Lustre z platformą Kubernetes

Jeśli chcesz użyć systemu magazynu Azure Managed Lustre z kontenerami Kubernetes, możesz użyć sterownika interfejsu obsługi kontenera Azure Lustre (CSI) dla platformy Kubernetes, który jest zgodny z usługą Azure Kubernetes Service (AKS). Inne typy instalacji platformy Kubernetes nie są obecnie obsługiwane.

Platforma Kubernetes może uprościć konfigurowanie i wdrażanie wirtualnych punktów końcowych klienta dla obciążenia Azure Managed Lustre, automatyzując zadania konfiguracji, takie jak:

  • Tworzenie zestawów skalowania maszyn wirtualnych platformy Azure używanych przez usługę Azure Kubernetes Service (AKS) do uruchamiania zasobników.
  • Ładowanie poprawnego oprogramowania klienckiego Lustre na wystąpieniach maszyn wirtualnych.
  • Określanie punktu instalacji usługi Azure Managed Lustre i propagowanie tych informacji do zasobników klienta.

Sterownik Azure Lustre CSI dla platformy Kubernetes może zautomatyzować instalowanie oprogramowania klienckiego i dysków instalacyjnych. Sterownik udostępnia wtyczkę kontrolera CSI jako wdrożenie z dwiema replikami domyślnie i wtyczkę węzła CSI jako daemonSet. Liczbę replik możesz zmienić.

Aby dowiedzieć się więcej na temat tej funkcji, zobacz Użyj sterownika Azure Managed Lustre CSI z Azure Kubernetes Service.

Aby dowiedzieć się, które wersje sterowników mają być używane, zobacz Zgodne wersje platformy Kubernetes.

Powiązana zawartość