摘要

  • 10 分鐘

在此課程模組中，我們討論了在 Azure 中選擇 HPC 儲存體時所涉及的主要因素。 現在是時候來合併資訊，並建立可用來評估各種 Azure 儲存體選項的工具。

讓我們將建立一份檢查清單來概括主要的儲存體考量。 您可能想知道為何需要檢查清單，特別是當您已長期監督目前的儲存體環境時。 目標是要合併其他專案關係人的資訊，包括可能正在與您合作的 Azure 小組成員和合作夥伴。 此檢查清單將有助於簡化決策流程，並將有關特定儲存體解決方案功能 (或缺乏的功能) 的任何誤解降至最低。

根據下列考量清單來建立檢查清單。

工作負載流量的分佈

考慮 HPC 環境將產生並處理的流量類型。 如果您計劃執行多個類型的工作負載，並計劃針對其他用途使用該儲存體，則此步驟特別重要。

例如，您的 HPC 工作負載可能會從來自大量 HPC 機器的大型檔案循序讀取資料 (例如，來自轉譯作業的媒體資產或基因定序檔案)。 同時，可能需要操作資料庫 (例如，搭配您的 HPC 排程器使用)。 流量類型不同，而且可能需要部署在不同的儲存體解決方案上。

儲存體解決方案可能是設計來針對不同項目進行最佳化。 從執行本機 NVMe 磁碟的 Ubuntu 建置的 NAS 檔案管理工具很適合單一資料流的活動，例如，會將資料從 NAS 複製到本機磁碟的單一用戶端。 但它可能無法針對大量用戶端的同時存取調整規模。

此外，您可能需要針對大量小型檔案進行最佳化的解決方案。 傳統的 NAS 解決方案 (例如 Azure NetApp Files) 可為此類流量提供最佳效能。 但您可能也需要處理然後存放大型檔案，並將執行此作業的成本降到最低。 具有階層處理的 Azure Blob 儲存體可在這些情況下提供彈性，但可能無法為單一資料流複製作業提供絕佳效能。

在檢查清單中記錄下列流量類型：

  • 單一資料流流量與多個資料流流量
  • 讀取流量對寫入流量的比率
  • 平均檔案大小與計數
  • 隨機與循序存取模式

例如，您的檢查清單可能反映：

  • 多個資料流流量。
  • 大量讀取 (75% 對 25%)。
  • 10 GB 到 200 GB 之間的平均檔案大小。 大約 50,000 個檔案。
  • 大量循序 (80% 對 20%)。

您也應該考慮您打算在架構上執行的主要工作負載。 如果有一或兩個以上，請確定需求沒有顯著的差異。

資料位置

下一個類別會解釋資料位置。 您需要在內部部署保留資料嗎？ 當您執行 HPC 工作負載時，是否考慮到資料修改？ 您是否打算只在內部部署、僅限 Azure 或兩個位置進行資料修改？

以下是您檢查清單的一些位置項目：

  • 來源資料位於內部部署、Azure 上或兩者中？
  • 結果資料位於內部部署、Azure 上或兩者中？
  • Azure 中的 HPC 工作負載是否會與來源資料修改時間軸進行協調？
    • 時間軸將有助於通知過時資料的風險。
  • 敏感性/HIPAA 資料？
    • 資料敏感度將有助於通知所需的驗證和加密層級。

位置感知將協助您判斷是否可以使用複製、快取或同步處理作為資料移動策略。

效能需求

您的效能需求應該看起來如下：

  • 單一資料流輸送量 (以每秒 GB 數為單位)
  • 多重資料流輸送量 (以每秒 GB 數為單位)
  • 預期的 IOPS 上限
  • 平均延遲 (毫秒)

每個考量都會影響效能，因此，這些數字代表特定解決方案應達成的指南。 例如，您的 HPC 工作負載可能會在工作流程中執行大量的檔案建立和刪除作業。 那些作業可能會影響整體輸送量。

存取方法

需要適用於用戶端存取通訊協定的帳戶。 如我們所討論，有不同版本的 NFS (和 SMB 這個 Windows 用戶端通訊協定)。 如果您計劃使用 NFSv4，請清楚了解需要哪些通訊協定功能 (例如 ACL)。

以下是您檢查清單的一些項目：

  • 需要的 NFS 版本
    • 如果是 v4，預期的通訊協定行為 (ACL、加密)
  • 平行檔案系統解決方案

總容量需求

Azure 中的儲存體容量是下一個考量。 它有助於通知解決方案的整體成本。 如果您計劃長期存放大量資料，建議您考慮將「階層處理」作為儲存體解決方案的一部分。 階層處理提供較低成本的儲存體選項，並與經常性儲存層中成本較高但效能較高的儲存體合併。

適用於您清單的一些項目：

  • 所需的總容量
  • 所需的經常性儲存層總容量
  • 所需的一般性儲存層總容量
  • 所需的非經常性儲存層總容量

有關非經常性儲存層容量的注意事項：封存層合併了較低的存放資料成本，以及較高的擷取資料異動成本。 此外，封存層的資料擷取時間很長。 您不應將它們視為經常性或一般性儲存層的一部分。

驗證/授權方法

將您的驗證/授權需求新增至檢查清單。 至少，新增它們可確保您會在架構中包含適當的支援系統，例如，LDAP 伺服器或 Active Directory 環境。 但是，如果您需要支援諸如 UID/GID 對應至 Active Directory 使用者的功能，您必須確認儲存體解決方案支援該功能。

針對您的清單：

  • 本機 (僅限檔案伺服器上的 UID/GID)
  • 目錄 (LDAP、Active Directory)
  • UID/GID 對應至 Active Directory 使用者？

進一步閱讀