Freigeben über

Speicher für HPC im Finanzsektor

  • Artikel

Dieser Artikel enthält Empfehlungen für die Implementierung von Speicher in HPC-Umgebungen für den Finanzsektor. Herkömmliche Clouddateisysteme sind den Anforderungen, die umfangreiche HPC-Workloads in Finanzumgebungen in puncto Datenspeicherung und -zugriff haben, nicht gewachsen.

Überlegungen zum Entwurf

Um zu entscheiden, welche Speicherlösung verwendet werden soll, müssen Sie die folgenden Anwendungsanforderungen berücksichtigen.

  • Latency
  • IOPS
  • Throughput
  • Dateigrößen und -anzahl
  • Auftragslaufzeit
  • Anfallende Kosten
  • Affinität zum Speicherort: lokal oder unter Azure

Entwurfsempfehlungen

  • Verwenden Sie Azure Blob Storage im Tarif „Standard“ oder „Premium“ für Speicher mit hohem Durchsatz und geringer Latenz. Dies bietet folgende Vorteile:

    • Exabyte-Zugriff mit hohen Durchsatz, niedrigen Wartezeiten (bei Bedarf), ein vertrautes Dateisystem sowie Zugriff über mehrere Protokolle (REST, HDFS, NFS).
    • Kosteneffizienz.
    • Sie können Blob Storage als Dateisystem mithilfe von BlobFuse einbinden. Auf diese Weise ist es einfach, mehreren Knoten zu erlauben, denselben Container für Nur-Lese-Szenarien einzubinden.
    • Unterstützung für NFS 3.0 am Blobdienst-Endpunkt für Workloads mit hohem Durchsatz und leseintensiven Workloads.
    • Zum Optimieren der Kosten können Sie Daten auf kühlere Ebenen verschieben, indem Sie Lebenszyklusverwaltung mit intelligentem Tiering (letzte Aktualisierung/Zugriffszeit) und anpassbaren Richtlinien durchführen.

  • Verwenden Sie Azure NetApp Files für ReadWriteMany (eindeutig) oder Anwendungen mit einmaligem Schreib- und Lesezugriff. Dies bietet die folgenden Vorteile:

    • Eine große Auswahl an Dateiprotokollen (NFSv3, NFSv4.1, SMB3).
    • Leistung, die mit der lokalen Leistung vergleichbar ist, und mehrere Tarife (Ultra, Premium, Standard).
    • Bereitstellung in wenigen Minuten sowie eine Vielzahl von Tarifen und Flexibilität.
    • Flexible Kapazitätspooltypen und -leistung, bei denen die QoS pro Volume automatisch basierend auf dem Tarif des Pools und dem Volumekontingent zugewiesen wird.

Die folgende Tabelle bietet einen Vergleich von Blob Storage, Azure Files, Azure Managed Lustre und Azure NetApp Files.

Blob Storage Azure Files Azure Managed Lustre Azure NetApp Files
Anwendungsfälle Eignet sich am besten für umfangreiche Workloads mit vielen Lesevorgängen und sequenziellem Zugriff, wobei Daten einmal erfasst und nur minimal geändert werden.

Niedrige Gesamtkosten bei leichter Wartung.		 Ein hoch verfügbarer Dienst, der sich am besten für Workloads mit zufälligem Zugriff eignet.

Für NFS-Freigaben bietet Azure Files vollständige POSIX-Dateisystemunterstützung. Der integrierte CSI-Treiber ermöglicht die einfache Verwendung über Containerplattformen wie Azure Container Instances und Azure Kubernetes Service (AKS), zusätzlich zu VM-basierten Plattformen.		 Azure Managed Lustre ist ein vollständig verwaltetes paralleles Dateisystem, das am besten für mittlere bis große HPC-Workloads geeignet ist.

Durch die Bereitstellung vertrauter Funktionen, Verhaltensweisen und der Leistung paralleler Lustre-Dateisysteme ermöglicht es die Ausführung von HPC-Anwendungen in der Cloud, ohne die Anwendungskompatibilität zu beeinträchtigen, und sichert auf diese Weise langfristige Investitionen in Anwendungen.		 Ein vollständig verwalteter Dateidienst in der Cloud, der von NetApp unterstützt wird und erweiterte Verwaltungsfunktionen bietet.

Azure NetApp Files eignet sich für Workloads, die zufälligen Zugriff erfordern. Bietet umfassende Protokollunterstützung und verbesserten Datenschutz.
Verfügbare Protokolle NFS 3.0

REST

Azure Data Lake Storage		 SMB

NFS 4.1

(Keine Interoperabilität zwischen den Protokollen)		 Lustre NFS 3.0 und 4.1

SMB


Schlüsselfunktionen Integriert in Azure HPC Cache für Workloads mit geringer Wartezeit.

Integrierte Verwaltung, einschließlich Lebenszyklusverwaltung, unveränderliche Blobs, Datenfailover und Metadatenindex.		 Zonenredundant für Hochverfügbarkeit

Konsistente Wartezeit im einstelligen Millisekundenbereich

Vorhersagbare Leistung und Kosten entsprechend der Kapazität		 Hohe Speicherkapazität bis zu 2,5 PB.

Geringe Latenz (~2 ms).

Starten neuer Cluster in nur wenigen Minuten.

Unterstützt Containerworkloads mit AKS.		 Extrem niedrige Wartezeit (unter einer Millisekunde).

Umfangreiche NetApp ONTAP-Verwaltungsfunktionen wie SnapMirror Cloud.

Konsistente Hybrid Cloud-Umgebung
Leistung (pro Volume) Bis zu 20.000 IOPS. Bis zu 100 GiB/s Durchsatz. Bis zu 100.000 IOPS. Bis zu 80 GiB/s Durchsatz. Bis zu 100.000 IOPS, bis zu 500 GiB/s Durchsatz. Bis zu 460.000 IOPS. Bis zu 36 GiB/s Durchsatz.
Skalierung Bis zu 2 PiB für ein einzelnes Volume.

Bis zu rund 4,75 TiB für eine einzelne Datei.

Keine Mindestkapazitätsanforderungen		 Bis zu 100 TiB für ein einzelnes Volume.

Bis zu 4 TiB für eine einzelne Datei.

100 GiB minimale Kapazität.		 Bis zu 2.5 PiB für ein einzelnes Volume.

Bis zu 32 PB für eine einzelne Datei.

4 TiB Mindestkapazität.		 Bis zu 100 TiB für ein einzelnes Volume.

Bis zu 16 TiB für eine einzelne Datei.

Konsistente Hybrid Cloud-Umgebung
Preise Preise für Azure Blob Storage Preise für Azure Files Azure Managed Lustre – Preise Preise für Azure NetApp Files

Nächste Schritte

Die folgenden Artikel enthalten Anleitungen, die Sie in verschiedenen Phasen des Cloudeinführungsprozesses möglicherweise hilfreich finden. Sie können Ihnen helfen, in Ihrem Cloudeinführungsszenario für HPC im Finanzsektor erfolgreich zu sein.