共用方式為


建立共用的資料科學虛擬機器集區

在本文中,您將了解如何為小組建立資料科學虛擬機器 (DSVM) 的共用集區。 使用共用集區提供重要的優點:

  • 提升資源使用率
  • 更容易共用和共同作業
  • 更有效率地管理 DSVM 資源

您可以使用許多方法和技術來建立 DSVM 集區。 本文著重於互動式虛擬機器 (VM) 的集區。 替代的受控計算基礎結構涉及 Azure Machine Learning Compute。 如需詳細資訊,請瀏覽建立計算叢集

互動式虛擬機器集區

由整個 AI/資料科學小組共用的互動式 VM 集區,為使用者提供登入可用 DSVM 執行個體的方式,而不是讓每組使用者擁有專用執行個體。 此方法提供更佳的可用性和更有效率的資源使用率。

使用 Azure 虛擬機器擴展集技術來建立互動式 VM 集區。 可以使用擴展集來建立和管理一組負載平衡且可自動調整的相同 VM。

使用者登入主要集區的 IP 或 DNS 位址。 擴展集會自動將工作階段路由傳送至擴展集內的可用 DSVM。 因為使用者想要一致且熟悉的環境,無論他們登入的 VM 為何,擴展集中 VM 的所有執行個體都會掛接共用網路磁碟機。 這類似於 Azure 檔案儲存體共用或網路檔案系統 (NFS) 共用。 使用者的共用工作區通常會保存在已掛接在每個執行個體上的共用檔案存放區。

您可以在 GitHub 上找到使用 Ubuntu DSVM 執行個體建立擴展集的 Azure Resource Manager 範本範例。 相同位置會託管 Azure Resource Manager 範本的參數檔範例。

在 Azure CLI 中指定參數檔案的值,以透過 Azure Resource Manager 範本建立擴展集:

az group create --name [[NAME OF RESOURCE GROUP]] --location [[ Data center. For eg: "West US 2"]
az deployment group create --resource-group  [[NAME OF RESOURCE GROUP ABOVE]]  --template-uri https://raw.githubusercontent.com/Azure/DataScienceVM/master/Scripts/CreateDSVM/Ubuntu/dsvm-vmss-cluster.json --parameters @[[PARAMETER JSON FILE]]

這些命令假設您有:

  • 參數檔案的複本,內含針對您的擴展集執行個體指定的值
  • 虛擬機器執行個體的數目
  • Azure 檔案儲存體共用的指標
  • 每個 VM 上將掛接的儲存體帳戶的認證

命令會在本機參考參數檔案。 您也可以透過內嵌方式傳遞參數,或在指令碼中提示這些參數。

上述範本可在前端擴展集到後端 Ubuntu DSVM 集區之間實現 SSH 和 Jupyterhub 連接埠。 身為使用者,您會照常在安全殼層 (SSH) 或 JupyterHub 上登入 VM。 因為 VM 執行個體可以動態擴大或縮小,所以任何狀態都必須儲存在掛接的 Azure 檔案儲存體共用中。 您可以使用相同的方法來建立 Windows DSVM 集區。

在 GitHub 的 Azure DataScienceVM 存放庫中也可取得可掛接 Azure 檔案服務共用的指令碼。 此指令碼會在參數檔案中指定的掛接點掛接 Azure 檔案服務共用。 此指令碼也會在初始使用者的主目錄中建立所掛接磁碟機的軟式連結。 Azure 檔案儲存體共用中的使用者特定 Notebook 目錄會暫時連結至 $HOME/notebooks/remote 目錄,以便使用者存取、執行及儲存其 Jupyter Notebook。 在虛擬機器上建立更多使用者,以將每個使用者的 Jupyter 工作區指向 Azure 檔案服務共用時,也可以使用相同的慣例。

虛擬機器擴展集支援自動調整。 您可以設定規則來決定何時建立更多執行個體及何時縮小執行個體。 例如,您可以縮小為零個執行個體,以在完全不使用 VM 時節省雲端硬體使用成本。 虛擬機器擴展集文件頁面會提供自動調整的詳細步驟。

下一步