使用 Azure 資料箱系列的時機

  • 7 分鐘

Azure 資料箱系列裝置不是將資料匯入 Azure 的唯一方法。 針對您的自駕車資料，建議您在下訂單之前，先確定資料箱磁碟是您的最佳選擇。

在此單元中，您會了解何時使用資料箱裝置，以及何時使用其他解決方案。

資料箱裝置的使用案例

資料箱非常適合在網路連線能力受限或沒有網路的情況下，傳輸大小為 TB 的資料。 資料移動可以是單次或定期的，或一開始是大量資料傳輸，然後繼之以定期傳輸。

以下是可以使用資料箱裝置來將資料匯入 Azure 的各種案例。

  • 單次移轉 - 有大量的內部部署資料移至 Azure 時。

    • 將媒體櫃從離線磁帶移至 Azure 以建立線上媒體櫃。
    • 將 VM 陣列、SQL 伺服器與應用程式移轉到 Azure。
    • 將歷程記錄資料移至 Azure 以使用 HDInsight 進行深入分析和報告。

  • 初始大量傳輸：使用資料箱 (種子) 完成初始大量傳輸，然後透過網路進行累加式傳輸。

  • 定期上傳：定期產生大量資料而需要移至 Azure 時。 例如，在進行能源探勘時，鑽井平台和風車農場會產生視訊內容。

以下是可以使用資料箱來將資料從 Azure 匯出的各種案例。 資料箱磁碟和 Data Box Heavy 不支援從 Azure 匯出資料。

  • 災害復原：用於將 Azure 中的資料複本還原至內部部署網路時。 在典型的災害復原案例中，會將大量的 Azure 資料匯出至資料箱。 接著，Microsoft 會提供此資料箱，讓資料可快速地在您的內部部署環境中還原。

  • 安全性需求：當您由於政府或安全性需求而必須匯出 Azure 的資料時。 例如，Azure 儲存體可在美國的「機密」和「最高機密」雲端中使用，而且您可以使用料箱將資料從 Azure 匯出。

  • 移轉回到內部部署環境或另一個雲端服務提供者：當您想要將所有資料移回內部部署環境或另一個雲端服務提供者時，可以透過資料箱匯出資料來移轉工作負載。

離線傳輸選項

將您的資料移至 Azure 的離線選項包括資料箱裝置和 Azure 匯入/匯出。

資料箱磁碟

若要將資料匯入 Azure，您可以將資料載入至實體裝置，並將其傳送至 Azure 資料中心。 在那裡，資料會複製到您的 Azure 訂用帳戶中。 正如您在單元 2 中所見，有三個資料箱產品以這種方式運作:

  • 資料箱
  • 資料箱磁碟
  • Data Box Heavy

如果您不是在 Azure 資料箱系列支援的區域中，請考慮使用 Azure 匯入/匯出將資料匯入至 Azure。

Azure 匯入/匯出

使用實體裝置將資料傳輸到 Azure 的另一項服務是 Azure 匯入/匯出。 Azure 匯入/匯出允許您使用自己的磁碟。 您可以將資料從 Blob 儲存體離線傳輸到磁碟。 Azure 匯入/匯出也允許將資料從 Azure 匯出回您自己的資料中心，並允許資料跨國際邊界傳輸。

使用 Azure 匯入/匯出來匯入資料的設定程序比 Azure 資料箱系列更難。 您必須處理所有的運送詳細資訊和裝置準備。 我們建議使用 Azure 資料箱，這是一個已為您完成的服務，可讓您透過經濟實惠且安全的方式，將大量資料移至 Azure 所需的工作減到最少。

網路傳輸選項

將資料匯入 Azure 的另一種方法是透過網際網路傳送。 您可以使用其他幾種工具在網路上傳輸資料。

資料箱閘道

如單元 2 中所述，Data Box Gateway 是一種虛擬設備。 它是以您在內部部署環境中佈建的虛擬機器為基礎。 您可以使用 NFS 和 SMB 通訊協定，將資料寫入虛擬裝置。 裝置接著將您的資料傳輸到 Azure 區塊 Blob、分頁 Blob 或 Azure 檔案。

Azure 儲存體總管

Azure 儲存體總管是可下載的免費應用程式，可以在 Windows、Mac 或 Linux 上執行。 它提供了一個圖形化使用者介面 (GUI)，您可以使用它來探索 Azure 儲存體帳戶中的 Blob、檔案、佇列與資料表。 如果您一次只傳送幾個檔案而不需要自動傳輸，則儲存體總管是理想的解決方案。

如果您不想要安裝應用程式，但您有瀏覽器，則可以使用 Azure 入口網站中的 [儲存體總管] 頁面來傳輸檔案。

Azure Stack Edge

Azure Stack Edge 也會使用實體裝置將資料傳輸至 Azure。 與資料箱裝置不同的是，Azure Stack Edge 裝置向任何邊緣位置提供 Azure 功能，例如計算、儲存體、網路和硬體加速機器學習。 在下列案例中使用 Azure Stack Edge 裝置：

  • 使用 Azure Machine Learning 進行推斷：執行 ML 模型，以便在將資料傳送到雲端之前，快速取得可採取動作的結果。 您可以選擇傳輸完整資料集，以繼續重新定型並改善您的 ML 模型。

  • 前置處理資料 - 先透過計算選項 (例如容器化工作負載和虛擬機器) 轉換資料，再將資料傳送至 Azure，以建立更容易操作的資料集。 您可以使用前置處理來：

    • 彙總資料。
    • 修改資料，例如移除個人資料。
    • 將資料劃分為子集以將儲存體與頻寬最佳化，或用於進一步分析。
    • 分析並對 IoT 事件做出反應。

  • 透過網路將資料傳輸到 Azure - 輕鬆又快速地將資料傳輸至 Azure，以進行進一步的計算和分析，或用於封存用途。

Azure Data Factory

Azure Data Factory 是一個服務，可讓您組織、移動和轉換來自許多不同來源的大量資料。 在 Data Factory 中，您可以建立從關聯式資料庫、NoSQL 資料庫和其他系統中擷取資料的資料管線。 您可以使用 Azure Machine Learning、Hadoop、Spark 與其他服務來處理及轉換該資料。 然後，在管線的結尾，您可以將已轉換的資料發佈到 Azure SQL 資料倉儲、Azure SQL Database、Azure CosmosDB 與 Azure 儲存體。

如果您有複雜的資料轉換需求，但不想要撰寫指令碼或編譯程式碼，您可以使用此服務。

已編寫指令碼或程式設計傳輸

Microsoft 提供了一系列優化的命令列工具，您可以使用這些工具呼叫個別的命令或組合成指令碼，並將資料移至 Azure。 這些工具包括:

  • AzCopy。 您可以從任何指令碼呼叫此命令列程式，以將 Blob 或檔案傳送至 Azure 儲存體帳戶。
  • Azure PowerShell。 PowerShell 是一種指令碼介面和語言，其設計目的是要透過執行稱為 Cmdlet 的命令來協助系統管理員自動執行複雜的工作。 Azure PowerShell 模組提供了一系列的 Cmdlet 來與 Azure 搭配使用。 其中包括可用於將資料上傳至 Azure 儲存體帳戶、Azure SQL Database、Azure CosmosDB 與其他目的地的 Cmdlet。 例如，若要將檔案上傳至 Azure 儲存體 Blob，您可以使用 Set-AzStorageBlobContent Cmdlet。
  • Azure CLI。 Azure CLI 是一種命令列工具，您可以從 PowerShell 與 Bash 指令碼呼叫它以搭配 Azure 使用。 它包含可將資料移至 Azure 位置的選項。 例如，您可以使用 az storage blob upload 命令將檔案上傳至 Azure 儲存體 Blob。

系統管理員和非開發人員可以輕鬆使用指令碼工具。 如果您的人員具有能夠撰寫已編譯代碼的開發人員技能，則可以考慮使用程式設計語言來協調將資料傳輸到 Azure。 您的程式碼必須呼叫 Azure 儲存體具象狀態傳輸 (REST) 應用程式開發介面 (API)。 REST API 是一組 Web 服務，您可以從許多不同的程式設計語言呼叫它們。 開發人員可以使用 .NET 語言、JAVA、Python、Node.js、C++、PHP 與其他語言來呼叫這些 API。 開發人員可以選擇他們最熟悉的語言。

選擇資料傳輸方法

若要從這些系統選擇傳輸方法，請考慮下列問題：

  • 資料大小為何？
  • 我多久要傳輸一次資料？
  • 有多少網路頻寬可用？

如果您想要偶爾傳輸一些檔案，您可以選擇 Azure 儲存體總管或使用 Azure 入口網站。

如果網路頻寬不足或費用過高，而且您有大量資料，您可以使用實體裝置來傳輸資料。 如果要使用自己的磁碟，請選擇 Azure 匯入/匯出。 如果您偏好使用 Microsoft 硬體的便利性，請選擇 Azure 資料箱產品。 您可以根據資料箱、資料箱磁碟和 Data Box Heavy 的最大資料量來選擇。

如果您有足夠的可用網路頻寬，而且想要定期或持續傳輸資料，您可以選擇網路傳輸方法。 如果您想要在傳輸資料時進行轉換而不使用程式碼，請考慮使用 Azure Data Factory。 如果您可以投入時間並擁有撰寫程式碼的技能，您可以針對 REST API 使用指令碼工具或已開發的編譯程式碼。 如果您想要透過網路傳輸大型資料集，而且您有可用的高頻寬，您可以選擇 Data Box Gateway 或 Azure Stack Edge 裝置。

自駕車的資料傳輸

在您的組織中，您希望以快速、相對便宜且安全的方式將自駕車遙測資料上傳至 Azure，而不會佔用網路。 該案例是 Azure 資料箱磁碟的主要使用案例。

您可以將 Azure 資料箱磁碟用於不同類型的資料傳輸情節。 Azure 資料箱磁碟適用於一次性遷移，例如將最多 35 TB的資料從離線磁帶移至 Azure 非經常性儲存體。 如果上傳超過 35 TB，您可以建立額外的訂單。 您可以回顧一下您在第一個單元中探索的其他資料箱系列選項，因為可能有更合適的候選項目。 累加傳輸也適用。 資料箱磁碟是用來提供初始的大型種子，之後會使用標準的網路技術來複製增量的資料。