Bearbeiten

Freigeben über

Ausführen von Software zur Reservoirsimulation in Azure

Azure CycleCloud
Azure-Schlüsseltresor
Azure Virtual Machines

Die Reservoirsimulation verwendet datenintensive Computermodelle, um komplexe Strömungen von Flüssigkeiten wie Öl, Wasser und Gas unter der Erdoberfläche vorherzusagen. In diesem Beispiel wird die Software zur Reservoirsimulation in einer Azure High Performance Computing-Infrastruktur (HPC) eingerichtet. Azure ermöglicht die Ausführung dieser Art von Workloads mit maximaler Leistung, Skalierbarkeit und Kosteneffizienz.

Aufbau

Diagramm, das die Architektur der Speichersimulation veranschaulicht.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Workflow

Dieses Diagramm bietet eine allgemeine Übersicht über die Architektur, die im Beispiel verwendet wird. Der folgende Workflow wird verwendet:

  1. Benutzer melden sich über SSH beim Hauptknoten an, um ihre Modelle für die Computeressourcen vorzubereiten.

  2. PBS Pro 19.1 wird auf dem Hauptknoten ausgeführt und plant die Aufträge auf den Serverknoten.

  3. OPM Flow wird auf den Serverknoten ausgeführt. Die Compute-VMs werden als VM-Skalierungsgruppe bereitgestellt. Dabei handelt es sich um eine Gruppe identischer VMs, die Skalierungen durchführen, um die Anforderungen der Computeaufträge zu erfüllen.

  4. OPM Flow sendet berechnete Ergebnisse an eine Dateifreigabe auf dem Hauptknoten. Ein Premiumdatenträger ist mit dem Hauptknoten verbunden und wird als NFS-Server für die Computeknoten und die Visualisierungs-VM eingerichtet.

  5. Die Software OPM ResInsight, die auf einer Windows-VM vom Typ „Standard-NV6“ ausgeführt wird, zeigt 3D-Visualisierungen der Ergebnisse an. Benutzer können über RDP auf die Visualisierungs-VM zugreifen.

Komponenten

Die wichtigsten für die Implementierung dieser Architektur verwendeten Technologien sind:

Szenariodetails

Die Architektur in diesem Beispiel unterstützt OPM Flow, ein gängiges Open-Source-Paket zur Simulation von Öl- und Gasreservoirs aus der OPM-Initiative (Open Porous Media). Die OPM Flow-Software wird auf virtuellen Azure HPC-Computern (Virtual Machines, VMs) ausgeführt, die eine Leistung ähnlich der aktuellen lokalen Infrastruktur oder sogar eine bessere Leistung bereitstellt.

Benutzer stellen eine Verbindung mit einer Linux-Hauptknoten-VM her, um Modelle über die Auftragsplanungssoftware PBS Pro 19.1 an die HPC-Ressourcen zu übermitteln. Die HPC-Ressourcen führen OPM Flow aus und senden berechnete Ergebnisse an eine Dateifreigabe. In diesem Beispiel handelt es sich bei der Dateifreigabe um einen Speicher für Netzwerkdateisysteme (Network File System, NFS) mit 4 Terabyte (TB) auf der Hauptknoten-VM. Abhängig von Ihrem Modell sowie Ihren Eingabe- und Ausgabeanforderungen (E/A) können Sie andere Optionen für den Speicher verwenden.

Eine Microsoft Azure-VM mit OPM ResInsight, ein Open-Source-Visualisierungstool, greift auf die Dateifreigabe zu, um die berechneten Ergebnisse zu modellieren und zu visualisieren. Benutzer können über das Remotedesktopprotokoll (RDP) eine Verbindung mit der VM herstellen, um die Visualisierungen anzuzeigen.

Durch die Verwendung einer Azure-VM werden die Kosten für eine High-End-Visualisierungsarbeitsstation eingespart. Die OPM-Anwendungen profitieren von HPC-Hardware und einem gemeinsamen Speicherort für die Ein- und Ausgabedateien.

Mögliche Anwendungsfälle

  • Erstellen Sie 3D-Modelle von Reservoirs, und visualisieren Sie seismische Daten.

  • Testen Sie INTERSECT, einen Reservoirsimulator mit hoher Auflösung von Schlumberger. Ein Beispiel einer INTERSECT-Implementierung finden Sie auf GitHub.

  • Testen Sie Nexus von Landmark-Halliburton mithilfe eines ähnlichen Setups in Azure.

Überlegungen

Diese Überlegungen beruhen auf den Säulen des Azure Well-Architected Frameworks, d. h. einer Reihe von Grundsätzen, mit denen die Qualität von Workloads verbessert werden kann. Weitere Informationen finden Sie unter Microsoft Azure Well-Architected Framework.

In diesem Beispiel wird die HB-Serie der Hochleistungs-VMs verwendet. Die HB-Serie ist für Anwendungen optimiert, für die die Speicherbandbreite eine wichtige Rolle spielt, z. B. Numerische Strömungsmechanik (Computational Fluid Dynamics, CFD). Die VM „Standard_HB120rs_v2“ ist die neueste VM der Serie. Bei Intel-basierter Hardware ist die VM Standard_HC44rs eine Option.

Um diese OPM Flow-Architektur in Azure zu testen, installiert die GitHub-Beispielimplementierung den Norne-Fall, einen Open-Benchmark-Fall eines echten Ölfelds im Europäischen Nordmeer. Zum Ausführen dieses Testfalls sind folgende Schritte erforderlich:

  • Verwenden Sie Azure Key Vault zum Speichern von Schlüsseln und Geheimnissen. Dies ist eine Anforderung der GitHub-Setupskripts.

  • Installieren Sie die LAPACK-Bibliotheken (Linear Algebra PACKage) auf allen Serverknoten. Diese Schritte sind in den GitHub-Installationsskripts enthalten.

  • Installieren Sie HP Remote Graphics Software (RGS) auf jedem Computer, den Sie als Empfänger für die Visualisierungen verwenden möchten. In diesem Beispiel stellt ein Benutzer eine Verbindung mit der Visualisierungs-VM her, um ResInsight auszuführen und den Norne-Fall anzuzeigen.

Auftragsplaner

Rechenintensive Workloads profitieren von der HPC-Orchestrierungssoftware, welche die HPC-Computeinfrastruktur und -Speicherinfrastruktur bereitstellen und verwalten kann. Die Beispielarchitektur bietet zwei Möglichkeiten zur Bereitstellung von Compute: das azurehpc-Framework und Azure CycleCloud.

Azure CycleCloud ist ein Tool zum Erstellen, Verwalten, Ausführen und Optimieren von HPC- und Big Compute-Clustern in Azure. Sie können damit Azure HPC-Cluster dynamisch bereitstellen und Daten sowie Aufträge für Hybrid- und Cloudworkflows orchestrieren. Azure CycleCloud unterstützt außerdem mehrere Workloadmanager für Ihre HPC-Workloads in Azure, z. B. Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm und Symphony.

Netzwerk

In dieser Beispielworkload werden die VMs in unterschiedlichen Subnetzen bereitgestellt. Um die Sicherheit zu erhöhen, können Sie für jedes Subnetz Netzwerksicherheitsgruppen definieren. Beispielsweise können Sie Sicherheitsregeln festlegen, die den Netzwerkdatenverkehr zu oder von den verschiedenen Knoten zulassen oder verweigern. Wenn Sie dieses Maß an Sicherheit nicht benötigen, sind für diese Implementierung keine separaten Subnetze erforderlich.

Storage

Die Anforderungen an Datenspeicher und -zugriff sind je nach Umfang der Workload sehr unterschiedlich. Azure unterstützt mehrere Ansätze zur Verwaltung der Geschwindigkeit und Kapazität von HPC-Anwendungen. Das GitHub-Repository azurehpc enthält Beispiele für Azure HPC-Skripts.

Die folgenden Ansätze sind in der Öl- und Gasbranche üblich. Wählen Sie die Lösung, die sich am besten für Ihre individuellen E/A- und Kapazitätsanforderungen eignet.

  • Führen Sie für Workloads mit geringem Umfang wie dem aktuellen Beispiel ggf. NFS auf dem Hauptknoten aus, und verwenden Sie dabei in Abhängigkeit von Ihren Anforderungen eine speicheroptimierte VM der Lsv2-Serie mit großen kurzlebigen Datenträgern oder VMs der D-Serie mit Azure Storage Premium. Diese Lösung eignet sich für Workloads mit höchstens 500 Kernen, einem Durchsatz von bis zu 1,5 Gigabyte pro Sekunde (GiB/s), einem Arbeitsspeicher von bis zu 19 TB und einem Speicher von 100 TB.

  • Leseintensive Workloads mit mittlerem und großem Umfang: Verwenden Sie ggf. Avere vFXT for Azure (6 bis 24 Knoten). Diese Lösung ist für Workloads von bis zu 50.000 Kernen, einen Durchsatz von bis zu 2 GiB/s für Schreibvorgänge und bis zu 14 GiB/s für Lesevorgänge, einen Cache von bis zu 192 TB und einen Dateiserver mit bis zu 2 Petabytes (PB) geeignet.

  • Ausgeglichene oder schreibintensive mittelgroße Workloads: Verwenden Sie ggf. Azure NetApp Files für Workloads von bis zu 4.000 Kernen, einen Durchsatz von bis zu 6,5 GiB/s, einen Speicher von bis zu 100 TB/Volume und einer maximalen Dateigröße von 12 TB.

  • Umfangreiche Workloads: Verwenden Sie einen orchestrierten parallelen Dateidienst wie Lustre oder BeeGFS. Dieser Ansatz ist für bis zu 50.000 Kerne mit Lese-/Schreibraten bis zu 50 GiB/s und 500 TB Speicher geeignet. Bei größeren Clustern ist ein Bare-Metal-Ansatz möglicherweise kostengünstiger. Cray ClusterStor ist beispielsweise eine verwaltete HPC-Speicherlösung, die größere elastische Cluster im laufenden Betrieb flexibel unterstützen kann.

Bereitstellen dieses Szenarios

Eine Beispielimplementierung dieser OPM Flow-Architektur finden Sie auf GitHub.

Nächste Schritte