Azure HPC 運作方式
HPC 系統有四個主要元件：運算、儲存體、網路功能和視覺效果。
計算
Azure 幾乎是無限制地提供高效能運算資源。 您可以針對記憶體、圖形和受控應用程式使用不同的 H 系列、N 系列和 Cray。
- H 系列虛擬機器適用於記憶體密集型應用程式
- N 系列虛擬機器適用於圖形密集型和 CUDA/OpenCL 型應用程式
- Cray 適用於以受控服務形式提供、完全專用且自訂的超級電腦
儲存體
高度安全的雲端儲存體可供大規模客戶使用。 它可讓 HPC 應用程式有效率地使用它，並透過 HPC Cache 或 Azure NetApp 檔案或 Cray ClusterSor 進行自訂。
- 透過 HPC Cache 使用儲存在內部部署 NAS 裝置中的資料，將 HPC 應用程式高載至 Azure。
- 透過 Azure NetApp Files 以低於毫秒的延遲存取大量 I/O，提供如同原生於 Azure 資料中心內部的 Azure 服務。
- 若是高輸送量儲存體解決方案，請使用 Cray ClusterSor，這是與 Azure 完全整合、以 Lustre 為基礎的裸機 HPC 儲存體解決方案。
網路
Azure 可讓您在雲端中建立私人虛擬網路，這可簡化網路結構，並藉由停用向公用網際網路公開的資料來保護端點之間的連線。
- 使用 Azure ExpressRoute 建立私人安全通道以用於混合式雲端的連線。
- 利用 Linux 遠端直接記憶體存取 (RDMA) 搭配 InfiniBand，以用於資料中心內部訊息傳遞介面 (MPI) 的工作負載。
視覺效果
使用 HPC 和 Azure 虛擬機器執行視覺效果工作負載，可提升生產力、降低成本，以及進行具有彈性的部署。
- 將模擬資料視覺化，在搭載 GPU 的 Azure NV 系列虛擬機器 (VM) 上執行串流、遊戲、編碼和 VDI 案例。
- 若是最極端的 GPU 加速圖形應用程式，例如 3D CAD 模型、3D 轉譯和科學視覺效果，請使用高效能的 NVv3 系列 VM。
- NVv3 VM 支援進階儲存體，隨附的系統記憶體 (RAM) 是先前 NV VM 的兩倍。
將 Azure VM 和儲存體產品對應至 HPC 系統中的元件
Azure 計算的虛擬機器解決方案
具有低延遲的 VM (HPC SKU)
下列 H 系列和 N 系列 VM 支援的 RDMA，可透過低延遲和高頻寬的 InfiniBand 網路進行通訊。 這類互連的 RDMA 功能對於提升分散式節點 HPC 和 AI 工作負載的可擴縮性和效能非常重要。
具有加速器的 VM
| CPU | GP-GPU | VISUAL |
|---|---|---|
| HB 系列 VM 最適用於需要大量記憶體的應用程式，例如流體力學、顯性有限元素分析和氣象模型。 HC 系列 VM 最適用於需要密集運算的應用程式，例如分子動力學、隱性有限元素分析和計算化學。 |
NC 系列 VM 採用 NVIDIA Tesla K80 顯示卡和 Intel Xeon E5-2690 v3 (Haswell) 處理器。 使用者可使用 CUDA 更快速地處理資料，以進行能源探勘應用、撞擊模擬、光線追蹤成像、深度學習等等。 ND 系列 VM 是 GPU 系列的新成員，專為 AI 和深度學習工作負載所設計。 其透過 RDMA 提供具有次要低延遲、高輸送量網路的設定，以及 InfiniBand 連線能力，可執行橫跨數個 GPU 的大規模訓練作業。 |
NV 系列 VM 是專為桌面加速應用程式和虛擬桌面打造的虛擬機器，客戶可在其中將資料或模擬視覺化。 可讓使用者在 NV 執行個體上，將其圖形密集型的工作流程視覺化以獲得優異的圖形功能，此外還可執行單一精確度的工作負載，例如編碼和轉譯。 |
Azure 儲存體解決方案
Azure Blob 儲存體
允許高度可調整且安全的物件儲存體，適用於雲端原生的工作負載、封存、資料湖、高效能運算及機器學習。 其可調整，最適用於搭配全方位資料管理的資料湖。
主要設計功能包括：
- 直接提供映像或文件給瀏覽器。
- 儲存檔案供分散式存取。
- 串流影片和音訊。
- 寫入至記錄檔。
- 儲存資料以供備份和還原、災害復原和封存。
- 儲存資料供內部部署或 Azure 裝載服務進行分析。
Azure NetApp Files
可讓企業營運和儲存體專業人員輕鬆地移轉及執行複雜的檔案型應用程式，而無須變更程式碼。 在各種情境下做為基礎共用的檔案儲存體服務，例如符合 POSIX 規範的 Linux 和 Windows 應用程式的隨即轉移、SAP HANA、資料庫和企業 Web 應用程式。
主要優點包括：
- 99.99% 的可用性、高效能、安全。
- PaaS 服務 – 容易使用和管理。
- 線上相應增加/減少大小和/或服務層級。
- 使用跨區域複寫進行資料保護。
- 進階的企業資料管理功能。
Azure 檔案
Azure 檔案儲存體提供雲端中完全受控的檔案共用，其可透過業界標準伺服器訊息區 (SMB) 通訊協定或網路檔案系統 (NFS) 通訊協定來存取。
- 可同時掛接至雲端或內部部署。
- 可從 Windows、Linux 和 macOS 用戶端存取 Azure 檔案儲存體 SMB 檔案共用。
- 可從 Linux 或 macOS 用戶端存取 Azure 檔案儲存體 NFS 檔案共用。
- 此外，可透過 Azure 檔案同步，在 Windows Server 上快取 Azure 檔案儲存體 SMB 檔案共用，以便在資料的使用位置附近快速存取。
適用於：
- 取代或補充內部部署檔案伺服器。
- 隨即轉移的應用程式。
- 簡化雲端開發。
- 容器化。
主要優點包括：
- 共用存取
- 完全受控
- 可使用指令碼和工具
- 復原
- 熟悉的可程式性
Azure HPC Cache
Azure HPC Cache 可加快資料存取速度，以進行高效能運算 (HPC) 工作。
- 藉由在 Azure 中快取檔案，Azure HPC Cache 會將雲端運算的延展性帶入您現有的工作流程。
- 甚至可以用於跨 WAN 連結儲存資料的工作流程，例如在您本機資料中心的網路連接儲存裝置 (NAS) 環境中。
使用時機：
- 需進行大量讀取的檔案存取工作流程。
- 儲存在可存取 NFS 儲存體、Azure Blob 或兩者中的資料。
- 最多 75,000 個 CPU 核心的運算中心。
主要優點包括：
- 可輕鬆地從 Azure 入口網站啟動並進行監視。 現有的 NFS 儲存體或新的 Blob 容器可以成為其彙總命名空間的一部分，這使得用戶端存取變得簡單，即使您變更後端儲存體目標也是如此。
- 最高 8 GB/秒輸送量的高效能，降低可快取工作負載的延遲。
- 可調整以符合不斷變更的運算需求。
- 彙總命名空間將多個檔案來源結合在一起。
以 VM 為基礎的檔案系統
單一 VM NAS
- 雲端式網路連接儲存裝置 (NAS) 使用與內部部署 NAS 系統相同的結構，協助您解決在雲端方面的儲存體需求。
- 提供組織如內部部署 NAS 的高效能儲存體，以及新增可在雲端中相應縮小的能力，而且不需要對現有的應用程式介面和程式進行重大變更。
- NAS 是集中式儲存設備，可讓應用程式和服務從網路中的集中位置存取資料。
- 虛擬 NAS 是 NAS 系統的虛擬設備版本，可在 VMware、Hyper-V 等虛擬化平台上執行。
主要優點包括：
- 存取虛擬 NAS 儲存裝置的網路裝置可以繼續使用相同的通訊協定，不必重新設定。
- 容量管理也比較容易，因為任何必要的儲存體都可以從基礎虛擬化層配置。
多節點的平行檔案系統
- 平行檔案系統將區塊層級儲存體分散到多個網路儲存體節點。
- 檔案資料會散佈在這些節點之間，這表示檔案資料散佈在多個儲存體裝置之間。 系統會在透過通用命名空間可存取的多個儲存體節點之間，聚集任何個別的儲存體 I/O 要求。
- 利用多個儲存體裝置和資料的多個路徑來提供高度的平行處理原則，以減少一次只存取單一節點所加諸的瓶頸。
- 平行檔案系統分成兩個主要部分：
- 中繼資料服務 - 儲存命名空間中繼資料，例如檔案名稱、目錄、存取權限和檔案配置。 根據平行檔案系統，中繼資料服務會做為整體儲存體節點散發的整合部分，或透過另一個伺服器叢集提供。
- 物件儲存體 - 物件儲存體包含實際的檔案資料。 用戶端從中繼資料服務提取檔案和目錄的位置，然後直接存取檔案儲存體。
- 分散式儲存體和絕佳 I/O 效能的優點讓平行檔案系統在大部分的 HPC 案例中比 NFS 更好，特別是當共用工作儲存空間時。
Cray ClusterStor
Azure 儲存體系統中的 Cray ClusterStor 是可以加速 HPC 模擬的高容量和高輸送量儲存體解決方案。
這是一種裸機設備，完全整合於 Azure 網狀架構之中，可供大多數的其他 Azure 服務進行存取。
Azure 中的 Cray ClusterStor 提供在 Microsoft Azure 中，以 Lustre 為基礎、單一租用戶、裸機且完全受控的 HPC 環境。
主要優點包括：
- 可與 Cray XC 和 CS 系列超級電腦搭配使用，現在也支援在 Azure 的 H 系列虛擬機器上執行 HPC 作業的資料處理。
- 可將 Azure 中的資料從開始的高效能移至溫 Azure Blob 儲存體和冷封存儲存體。
- 在模擬期間獲取高效能和容量。 將模擬後資料移至備援且成本較低的雲端儲存體解決方案，以便輕鬆地散發或提供給下一個模擬使用。
- 使每個 Lustre Object Storage Server (OSS) 的輸送量 (GB/秒) 超過目前可用 Lustre 所提供的輸送量三倍以上。