Freigeben über

Was ist Azure Managed Lustre?

  • Artikel

Der Azure Managed Lustre-Dienst bietet Ihnen die Möglichkeit, schnell ein Azure-basiertes Lustre-Dateisystem für cloudbasierte Hochleistungs computing-Aufträge zu erstellen.

Lustre ist ein paralleles Open-Source-Dateisystem, das auf enorme Speichergrößen skalieren kann und gleichzeitig einen Hochleistungsdurchsatz bietet. Lustre wird von den weltweit schnellsten Supercomputern und in datenorientierten Workflows für viele Branchen verwendet. Weitere Informationen finden Sie unter https://www.lustre.org.

Azure Managed Lustre spart Ihnen die Bereitstellung, Konfiguration und Verwaltung Ihres eigenen Lustre-Dateisystems. Mit einem Befehl "Erstellen" in der Azure-Portal können Sie schnell ein Lustre-Dateisystem in der benötigten Größe bereitstellen, Ihre Clients verbinden und bereit für die Verwendung des Systems sein.

Microsoft Azure Blob Storage ist in Azure Managed Lustre integriert, sodass Sie Dateien angeben können, die aus einem BLOB-Container für die Verwendung des Dateisystems importiert werden sollen. Nach Abschluss der Hochleistungsverarbeitungsaufträge können Sie geänderte Daten in Azure Blob Storage exportieren und das Azure Managed Lustre-System löschen. Weitere Informationen finden Sie in der Azure Blob Storage-Integration weiter unten in diesem Artikel.

Sie können Ihr Azure Managed Lustre-Dateisystem auch mit Ihren Azure Kubernetes Service (AKS)-Containern verwenden. Weitere Informationen finden Sie unter Verwenden von Azure Managed Lustre mit Kubernetes.

Datensicherheit in Azure Managed Lustre

Alle in Azure gespeicherten Daten werden standardmäßig mit azure verwalteten Schlüsseln verschlüsselt. Wenn Sie die Schlüssel verwalten möchten, die zum Verschlüsseln der in Ihrem Azure Managed Lustre-Cluster gespeicherten Daten verwendet werden, befolgen Sie die Anweisungen in der serverseitigen Verschlüsselung des Azure-Datenträgerspeichers.

Alle Informationen in einem Azure Managed Lustre-Dateisystem sind auch durch VM-Hostverschlüsselung auf den verwalteten Datenträgern geschützt, die Ihre Daten enthalten, auch wenn Sie einen vom Kunden verwalteten Schlüssel für die Lustre-Datenträger hinzufügen. Das Hinzufügen eines vom Kunden verwalteten Schlüssels bietet eine zusätzliche Sicherheitsstufe für Kunden mit hohen Sicherheitsanforderungen. Weitere Informationen finden Sie unter serverseitige Verschlüsselung des Azure-Datenträgerspeichers.

Hinweis

Azure Managed Lustre speichert keine Kundendaten außerhalb der Region, in der Sie die Dienstinstanz bereitstellen.

Datenresilienz in Azure Managed Lustre

Ihr Azure Managed Lustre-Dateisystem verwendet azure managed disks as object storage target (OST) data disks.

Alle Azure Managed Lustre-Dateisysteme, die als "dauerhafter" Dateisystemtyp erstellt werden, verwenden Azure Premium SSD -Datenträger (Solid State Drive), die als lokal redundanter Speicher (LRS) konfiguriert sind. LRS-Datenträgerinhalte werden dreimal innerhalb des lokalen Rechenzentrums repliziert, um vor Laufwerks- und Servergestellfehlern zu schützen.

Das Azure Managed Lustre-Dateisystem selbst trägt auch zur Datenresilienz durch die Objektspeicherprozesse bei, die zum Speichern von Daten auf diesen Datenträgern verwendet werden.

Wenn Sie regionale oder globale Datenredundanz benötigen, können Sie Ihr Dateisystem in Azure Blob Storage integrieren. Nach der Integration können Sie einen Exportauftrag initiieren, um Dateien in einen Azure Blob Storage-Container mit einer anderen Redundanzrichtlinie für den langfristigen Speicher zu exportieren. Konfigurieren Sie Azure Blob Storage-Redundanz für das Speicherkonto. Wenn Sie das Speicherkonto erstellen, können Sie ZRS (Zonal Data Redundanz) oder globale Datenredundanz (GLOBAL Data Redundanz, GRS) auswählen. Weitere Informationen zu Datenredundanzoptionen für Ihre Azure Managed Lustre-Dateien finden Sie unter Unterstützte Speicherkontotypen.

Azure Blob Storage-Integration

Microsoft Azure Blob Storage ist in Azure Managed Lustre integriert, sodass Sie Dateien angeben können, die aus einem BLOB-Container für die Verwendung des Dateisystems importiert werden sollen. Die Azure Blob Storage-Integration ist eine Anwendung der Lustre-hierarchischen Speicherverwaltung (HSM). Es ist nicht erforderlich, den gesamten Datensatz für jeden Auftrag zu importieren. Stattdessen können Sie ein anderes Dateisystem für unterschiedliche Aufträge erstellen und Daten in kostengünstigen Azure-Blob-Containern zwischen verwendungen speichern. Nach Abschluss der Hochleistungsverarbeitungsaufträge können Sie geänderte Daten in Azure Blob Storage exportieren und das Azure Managed Lustre-System löschen.

Azure Managed Lustre ist so angepasst, dass sie nahtlos mit Azure Blob Storage zusammenarbeiten. Sie können einen vorhandenen BLOB-Container angeben, um die vorhandenen Daten über ihr Azure Managed Lustre-Dateisystem zugänglich zu machen, oder einen leeren Container angeben, den Sie mit Daten auffüllen oder zum Speichern Ihrer Ausgabe verwenden. Die Einrichtung und Wartung erfolgt für Sie. Sie geben einfach an, welcher Blobcontainer verwendet werden soll.

Wenn Sie Azure Blob Storage integrieren, wenn Sie ein Lustre-Dateisystem erstellen, können Sie Lustre HSM-Features verwenden. Wenn Sie die Vorteile von Lustre-HSM nicht benötigen, können Sie Daten für das Azure Managed Lustre-Dateisystem mithilfe von Clientbefehlen direkt importieren und exportieren.

Verwenden von Azure Managed Lustre mit Kubernetes

Wenn Sie ein Azure Managed Lustre Storage System mit Ihren Kubernetes-Containern verwenden möchten, können Sie den Azure Lustre Container Support Interface (CSI)-Treiber für Kubernetes verwenden, der mit Azure Kubernetes Service (AKS) kompatibel ist. Andere Kubernetes-Installationstypen werden derzeit nicht unterstützt.

Kubernetes können das Konfigurieren und Bereitstellen von virtuellen Clientendpunkten für Ihre Azure Managed Lustre-Workload vereinfachen und Setupaufgaben automatisieren, z. B.:

  • Erstellen von Azure Virtual Machine Scale Sets, die von Azure Kubernetes Service (AKS) zum Ausführen der Pods verwendet werden.
  • Laden der richtigen Lustre-Clientsoftware auf VM-Instanzen.
  • Angeben des Azure Managed Lustre-Bereitstellungspunkts und Verteilen dieser Informationen an die Client-Pods.

Der Azure Lustre CSI-Treiber für Kubernetes kann die Installation der Clientsoftware und Montagelaufwerke automatisieren. Der Treiber stellt ein CSI-Controller-Plug-In als Bereitstellung mit zwei Replikaten standardmäßig und ein CSI-Knoten-Plug-In als DaemonSet bereit. Sie können die Anzahl der Replikate ändern.

Informationen zu den zu verwendenden Treiberversionen finden Sie unter Kompatible Kubernetes-Versionen.

Nächste Schritte