Edytuj

Udostępnij za pośrednictwem

Uruchamianie oprogramowania do symulacji złóż na platformie Azure

Azure CycleCloud
Azure Key Vault
Azure Virtual Machines

Symulacja zbiorników używa modeli komputerowych intensywnie korzystających z danych do przewidywania złożonych przepływów płynów, takich jak olej, woda i gaz pod powierzchnią ziemi. W tym przykładzie skonfigurowaliśmy oprogramowanie do symulacji zbiorników w infrastrukturze obliczeń o wysokiej wydajności (HPC) platformy Azure. Platforma Azure umożliwia uruchamianie tego typu obciążenia z maksymalną wydajnością, skalowalnością i wydajnością kosztów.

Architektura

Diagram przedstawiający architekturę symulacji zbiorników.

Pobierz plik programu Visio z tą architekturą.

Przepływ pracy

Ten diagram zawiera ogólne omówienie architektury używanej w tym przykładzie. Przepływ pracy wygląda następująco:

  1. Użytkownicy logują się do węzła głównego za pośrednictwem protokołu SSH, aby przygotować swoje modele do zasobów obliczeniowych.

  2. Usługa PBS Pro 19.1 działa w węźle głównym i planuje zadania w węzłach obliczeniowych.

  3. Przepływ OPM działa w węzłach obliczeniowych. Maszyny wirtualne obliczeniowe są wdrażane jako zestaw skalowania maszyn wirtualnych— grupa identycznych maszyn wirtualnych skalowanych w celu spełnienia wymagań zadań obliczeniowych.

  4. Przepływ OPM wysyła obliczone wyniki do udziału plików w węźle głównym. Dysk w warstwie Premium jest połączony z węzłem głównym i skonfigurowany jako serwer NFS dla węzłów obliczeniowych i maszyny wirtualnej wizualizacji.

  5. Platforma OPM ResInsight uruchomiona na maszynie wirtualnej z systemem Windows w warstwie Standardowa-NV6 wyświetla wizualizacje wyników 3D. Użytkownicy mogą uzyskiwać dostęp do maszyny wirtualnej wizualizacji za pośrednictwem protokołu RDP.

Składniki

Kluczowe technologie używane do implementowania tej architektury:

Szczegóły scenariusza

Architektura w tym przykładzie obsługuje usługę OPM Flow, popularny pakiet symulacji ropy naftowej i gazu typu open source z inicjatywy Open Porous Media (OPM). Oprogramowanie OPM Flow działa na maszynach wirtualnych HPC platformy Azure, które zapewniają wydajność zbliżoną do lub lepszej niż bieżąca infrastruktura lokalna.

Użytkownicy łączą się z maszyną wirtualną węzła głównego systemu Linux w celu przesyłania modeli do zasobów HPC za pośrednictwem oprogramowania pbS Pro 19.1 do planowania zadań. Zasoby HPC uruchamiają przepływ OPM i wysyłają wyniki obliczeniowe do udziału plików. W tym przykładzie udział plików to 4 terabajt (TB) miejsce systemu plików sieciowych (NFS) na maszynie wirtualnej węzła głównego. W zależności od modelu i wymagań dotyczących danych wejściowych i wyjściowych (we/wy) można użyć innych opcji magazynu .

Maszyna wirtualna platformy Microsoft Azure z uruchomioną usługą OPM ResInsight, narzędziem do wizualizacji typu open source, uzyskuje dostęp do udziału plików w celu modelowania i wizualizowania obliczonych wyników. Użytkownicy mogą łączyć się z maszyną wirtualną za pośrednictwem protokołu RDP (Remote Desktop Protocol), aby wyświetlić wizualizacje.

Korzystanie z maszyny wirtualnej platformy Azure oszczędzi wydatki na stację roboczą wizualizacji wysokiej klasy. Aplikacje OPM korzystają ze sprzętu HPC i udostępnionej lokalizacji magazynu dla plików wejściowych i wyjściowych.

Potencjalne przypadki użycia

  • Do modelowania zbiorników 3D i wizualizacji danych sejsmicznych.

  • Przetestuj INTERSECT, symulator zbiorników o wysokiej rozdzielczości z Schlumberger. Przykładowa implementacja INTERSECT jest widoczna w witrynie GitHub.

  • Przetestuj nexus według Landmark-Halliburton przy użyciu podobnej konfiguracji na platformie Azure.

Kwestie wymagające rozważenia

Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.

W tym przykładzie użyto serii HB maszyn wirtualnych o wysokiej wydajności. Seria HB jest zoptymalizowana pod kątem aplikacji opartych na przepustowości pamięci, takich jak obliczeniowa dynamika płynów (CFD), a maszyna wirtualna Standard_HB120rs_v2 jest najnowsza z serii. W przypadku sprzętu opartego na technologii Intel Standard_HC44rs maszyna wirtualna jest opcją.

Aby przetestować tę architekturę przepływu OPM na platformie Azure, przykładowa implementacja usługi GitHub instaluje przypadek Norne, otwarty przypadek porównawczy rzeczywistego pola naftowego morza norweskiego. Aby uruchomić ten przypadek testowy, należy wykonać następujące czynności:

  • Usługa Azure Key Vault służy do przechowywania kluczy i wpisów tajnych, co wymaga skryptów konfiguracji usługi GitHub.

  • Zainstaluj biblioteki LINEAR Algebra PACKage (LAPACK) na wszystkich węzłach obliczeniowych. Skrypty instalacji usługi GitHub obejmują ten krok.

  • Zainstaluj oprogramowanie HP Remote Graphics Software (RGS) na dowolnym komputerze, który ma być używany jako odbiornik wizualizacji. W tym przykładzie użytkownik łączy się z maszyną wirtualną wizualizacji, aby uruchomić usługę ResInsight i wyświetlić przypadek Norne.

Harmonogram zadań

Obciążenia intensywnie korzystające z obliczeń korzystają z oprogramowania orkiestracji HPC, które może wdrażać infrastrukturę obliczeniową i magazynową HPC oraz zarządzać nią. Przykładowa architektura obejmuje dwa sposoby wdrażania zasobów obliczeniowych: platformę azurehpc lub usługę Azure CycleCloud.

Azure CycleCloud to narzędzie do tworzenia, zarządzania, obsługi i optymalizowania klastrów HPC i dużych obliczeń na platformie Azure. Służy do dynamicznego aprowizowania klastrów HPC platformy Azure oraz organizowania danych i zadań dla przepływów pracy hybrydowych i w chmurze. Usługa Azure CycleCloud obsługuje również kilka menedżerów obciążeń HPC na platformie Azure, takich jak Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm i Symphony.

Sieć

To przykładowe obciążenie wdraża maszyny wirtualne w różnych podsieciach. Aby uzyskać dodatkowe zabezpieczenia, można zdefiniować sieciowe grupy zabezpieczeń dla każdej podsieci. Można na przykład ustawić reguły zabezpieczeń, które zezwalają na ruch sieciowy do lub z różnych węzłów lub zezwalają na ruch sieciowy. Jeśli nie potrzebujesz tego poziomu zabezpieczeń, nie potrzebujesz oddzielnych podsieci dla tej implementacji.

Storage

Magazyn danych i wymagania dotyczące dostępu różnią się w zależności od skali obciążenia. pomoc techniczna platformy Azure kilka podejść do zarządzania szybkością i pojemnością aplikacji HPC. Repozytorium azurehpc GitHub zawiera przykładowe skrypty hpc platformy Azure.

Poniższe podejścia są powszechne w przemyśle naftowym i gazowym. Wybierz rozwiązanie najlepiej dopasowane do unikatowych wymagań dotyczących operacji we/wy i pojemności.

  • W przypadku obciążeń o niskiej skali, takich jak w bieżącym przykładzie, rozważ uruchomienie systemu plików NFS w węźle głównym przy użyciu maszyny wirtualnej serii Lsv2 zoptymalizowanej pod kątem magazynu z dużymi dyskami efemeracyjnymi lub maszynami wirtualnymi serii D z usługą Azure Premium Storage, w zależności od wymagań. To rozwiązanie odpowiada obciążeniom z 500 rdzeniami lub mniejszą przepływnością do 1,5 gigabajtów na sekundę (GiB/s) oraz do 19 TB pamięci RAM i 100 TB miejsca do magazynowania.

  • Średnie i duże obciążenia intensywnie korzystające z odczytu: rozważ użycie rozwiązania Avere vFXT dla platformy Azure (od 6 do 24 węzłów). To rozwiązanie działa w przypadku obciążeń o rozmiarze do 50 000 rdzeni, przepływności do 2 GiB/s dla zapisów i maksymalnie 14 GiB/s dla operacji odczytu, pamięci podręcznej do 192 TB i serwera plików do 2 petabajtów (PB).

  • Obciążenia o zrównoważonym lub średnim rozmiarze zapisu: rozważ użycie usługi Azure NetApp Files dla obciążeń o rozmiarze do 4000 rdzeni z przepływnością do 6,5 GiB/s, magazynem do 100 TB/woluminem i maksymalizuj rozmiar pliku o rozmiarze 12 TB.

  • Obciążenia na dużą skalę: użyj zaaranżowanej równoległej usługi plików, takiej jak Lustre lub BeeGFS. To podejście działa w przypadku maksymalnie 50 000 rdzeni z szybkością odczytu/zapisu do 50 GiB/s i 500 TB miejsca do magazynowania. W przypadku jeszcze większych klastrów podejście bez systemu operacyjnego może być bardziej ekonomiczne. Na przykład Cray ClusterStor to zarządzane rozwiązanie magazynu HPC z elastycznością obsługi większych klastrów elastycznych na bieżąco.

Wdrażanie tego scenariusza

Uzyskaj przykładową implementację tej architektury przepływu OPM w usłudze GitHub.

Następne kroki