共用方式為

使用 Databricks 資產套件組合開發 DLT 管線

  • 發行項

Databricks 資產套件組合，也稱為 套件組合，可讓您以程式設計方式驗證、部署和執行 Azure Databricks 資源，例如 DLT 管線。 請參閱什麼是 Databricks Asset Bundles？。

本文說明如何建立套件組合，以程式設計方式管理管線。 請參閱 什麼是 DLT？。 套件組合是使用適用於 Python 的 Databricks 資產套件組合預設套件組合範本建立的，其中包含一個筆記本，以及用於執行它的管線和工作定義。 接著，您會在 Azure Databricks 工作區中驗證、部署和執行已部署的管線。

提示

如果您有使用 Azure Databricks 使用者介面或 API 建立的現有管線，並想要將其移至套件組合，則必須在套件組合的設定檔中加以定義。 Databricks 建議您先使用下列步驟建立套件組合，然後驗證套件組合是否運作。 接著，您可以將其他定義、筆記本和其他來源新增至套件組合。 請參閱將現有的管線定義新增至套件組合。

需求

  • Databricks CLI 0.218.0 版或更新版本。 若要檢查您已安裝的 Databricks CLI 版本，請執行命令 databricks -v。 若要安裝 Databricks CLI，請參閱 安裝或更新 Databricks CLI。
  • 遠端工作區必須已啟用工作區檔案。 請參閲工作區檔案是什麼？。

(選用)安裝 Python 模組以支援本機管線開發

Databricks 提供 Python 模組，在您於 IDE 中撰寫程式碼時提供語法檢查、自動完成和資料類型檢查，以協助本機開發 DLT 管線程式碼。

適用於本機開發的 Python 模組可在 PyPi 上使用。 若要安裝模組，請參閱針對 DLT Python 存根。

使用專案範本建立套件組合

使用適用於 Python 的 Azure Databricks 預設套件組合範本建立套件組合。 此範本包含一個筆記本，用於定義 DLT 管線，該管線會從原始數據集中篩選數據。 如需套件組合範本的詳細資訊，請參閱 Databricks Asset Bundle 專案範本。

如果您想要從頭開始建立套件組合，請參閱手動建立套件組合。

步驟 1：設定驗證

在此步驟中，您會在開發機器上的 Databricks CLI 與 Azure Databricks 工作區之間設定驗證。 本文假設您想要使用 OAuth 使用者對機器 (U2M) 驗證，以及名為 DEFAULT 的對應 Azure Databricks 組態設定檔進行驗證。

注意

U2M 驗證適用於即時試用這些步驟。 針對完全自動化的工作流程，Databricks 建議您改用 OAuth 機器對機器 (M2M) 驗證。 請參閱驗證中的 M2M 驗證設定指示。

  1. 使用 Databricks CLI 在本地啟動 OAuth 權杖管理，並針對每個目標工作區執行下列命令。

    在下列命令中，將 <workspace-url> 取代為您的 Azure Databricks 個別工作區網址，例如 https://adb-1234567890123456.7.azuredatabricks.net。

    databricks auth login --host <workspace-url>

  2. Databricks CLI 會提示您儲存輸入為 Azure Databricks 組態設定檔的資訊。 按 Enter 以接受建議的設定檔名稱，或輸入新或現有設定檔的名稱。 任何具有相同名稱的現有設定檔，會以您輸入的資訊覆寫。 您可使用設定檔，在多個工作區之間快速切換身份驗證。

    若要取得任何現有設定檔的清單，請在個別的終端機或命令提示字元中，使用 Databricks CLI 執行命令 databricks auth profiles。 若要檢視特定設定檔的現有設定，請執行 databricks auth env --profile <profile-name> 命令。

  3. 在網頁瀏覽器中，完成畫面上的指示，登入 Azure Databricks 工作區。

  4. 若要檢視設定檔目前的 OAuth 權杖值和權杖即將到期的時間戳記，請執行下列其中一個命令：

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    如果您有多個具有相同 --host 值的設定檔，您可能需要一起指定 --host 和 -p 選項，以協助 Databricks CLI 尋找正確的相符 OAuth 權杖資訊。

步驟 2：建立套件組合

使用預設的 Python 套件組合專案範本初始化套件組合。

  1. 使用終端機或命令提示字元，切換至本機開發電腦上的目錄，其中包含範本產生的套件組合。

  2. 使用 Databricks CLI 執行 bundle init 命令：

    databricks bundle init

  3. 針對 Template to use，按 default-python，保留 Enter 的預設值。

  4. 針對 Unique name for this project，保留 my_project 的預設值，或輸入不同的值，然後按 Enter。 這會決定此套件組合的根目錄名稱。 此根目錄是在您目前的工作目錄中建立的。

  5. 針對 Include a stub (sample) notebook，選取 no 並按 Enter。 這會指示 Databricks CLI 目前不要新增範例筆記本，因為與此選項相關聯的範例筆記本中沒有 DLT 程式代碼。

  6. 對於 Include a stub (sample) DLT pipeline，請按下 Enter，以保留 yes 的預設值。 這會指示 Databricks CLI 新增包含 DLT 程式代碼的範例筆記本。

  7. 針對 Include a stub (sample) Python package，選取 no 並按 Enter。 這會指示 Databricks CLI 不要將範例 Python Wheel 套件檔案或相關的建置指示新增至套件組合。

步驟 3：探索套件組合

若要檢視範本產生的檔案，請切換至新建立套件組合的根目錄。 特別值得注意的檔案如下所示：

  • databricks.yml：此檔案會指定套件組合的程式設計名稱，包括管線定義的參考，以及指定目標工作區的相關設定。
  • resources/<project-name>_job.yml 和 resources/<project-name>_pipeline.yml：這些檔案會定義包含管線重新整理工作的工作，以及管線的設定。
  • src/dlt_pipeline.ipynb：此檔案是運行管線時所使用的筆記本。

對於自訂管道，管道宣告中的對應會對應至 REST API 參照中 POST /api/2.0/pipelines 所定義之建立管道作業的要求酬載，以 YAML 格式表示。

步驟 4：驗證專案的套件組合設定檔

在此步驟中，您會檢查套件組合設定是否有效。

  1. 從根目錄，使用 Databricks CLI 執行 bundle validate 命令，如下所示：

    databricks bundle validate

  2. 如果傳回套件組合設定的摘要，則驗證成功。 如果傳回任何錯誤，請修正錯誤，然後重複此步驟。

如果您在此步驟後對套件組合進行任何變更，您應該重複此步驟，以檢查套件組合設定是否仍然有效。

步驟 5：將本地專案部署到遠端工作區

在此步驟中，您會將本機筆記本部署至遠端 Azure Databricks 工作區，並在工作區內建立 DLT 管線。

  1. 從套件組合根目錄，使用 Databricks CLI 執行 bundle deploy 命令，如下所示：

    databricks bundle deploy -t dev

  2. 檢查是否已部署本地筆記本：在 Azure Databricks 工作區的側邊欄中，點擊 工作區。

  3. 點擊進入使用者><your-username>>.bundle><project-name>>開發>檔案>src資料夾。 筆記本應該位於此資料夾中。

  4. 檢查管線是否已建立：在 Azure Databricks 工作區的側邊欄中，點擊 DLT。

  5. 在 [DLT] 索引標籤上，按兩下 [dev <your-username>] <project-name>_pipeline。

如果您在此步驟後對套件組合進行任何變更，您應該重複步驟 4-5，以檢查套件組合設定是否仍然有效，然後重新部署專案。

步驟 6：執行部署的專案

在此步驟中，您會從命令行觸發工作區中的 DLT 管線執行。

  1. 從根目錄，使用 Databricks CLI 執行 bundle run 命令 (如下所示)，將 <project-name> 取代 為步驟 2 中的專案名稱：

    databricks bundle run -t dev <project-name>_pipeline

  2. 複製終端機中顯示的 Update URL 的值，並將此值貼到您的網頁瀏覽器中，以開啟您的 Azure Databricks 工作區。

  3. 在 Azure Databricks 工作區中，在管線順利完成之後，按下 [taxi_raw] 檢視和 [filtered_taxis] 具體化檢視，以查看詳細資料。

如果您在此步驟後對套件組合進行任何變更，您應該重複步驟 4-6，以檢查套件組合設定是否仍然有效，重新部署專案並執行重新部署的專案。

步驟 7：清理

在此步驟中，您會從工作區中刪除已部署的筆記本和管線。

  1. 從根目錄，使用 Databricks CLI 執行 bundle destroy 命令，如下所示：

    databricks bundle destroy -t dev

  2. 確認管線刪除請求：當提示您永久刪除資源時，請輸入 y 並按 Enter。

  3. 確認筆記本刪除要求：提示您永久終結先前部署的資料夾及其所有檔案時，請輸入 y 並按 Enter。

  4. 如果您也想要從開發電腦刪除套件組合，您現在可以刪除步驟 2 中建立的本機目錄。

將現有的管線定義新增至套件組合

您可以使用現有的 DLT 管線定義作為基礎，在套件組合組態檔中定義新的管線。 若要取得現有的管線定義，您可以使用 UI 手動擷取，或使用 Databricks CLI 以程式設計方式產生。

使用 UI 取得現有的管線定義

若要從 Azure Databricks 工作區 UI 取得現有管線定義的 YAML 表示法：

  1. 在 Azure Databricks 工作區的側邊欄中，按下 [工作流程]。

  2. 在 [DLT] 索引標籤上，按一下您的管線 名稱 連結。

  3. 按下 [開發] 按鈕旁，按下 kebab，然後按下 [檢視設定YAML]。

  4. 按下複製圖示，在 [管線設定 YAML] 對話方塊中，將管線定義的 YAML 複製到本機剪貼簿。

  5. 將您複製的 YAML 添加到套件的 databricks.yml 文件中，或者在套件專案的 resources 資料夾中為您的管線建立設定檔，然後從 databricks.yml 文件中引用它。 請參閱資源。

  6. 將參考的任何 Python 檔案和筆記本下載並新增至套件組合的專案來源。 一般而言，套件組合成品位於套件組合的 src 目錄中。

    提示

    您可以從 Azure Databricks 筆記本使用者介面按下 [檔案] .ipynb [匯出] > "IPython Notebook">，將現有的筆記本從 Azure Databricks 工作區匯出為 格式。

    將筆記本、Python 檔案和其他工件新增至捆綁包後，請確定您的管線定義正確參考它們。 例如，對於位於套件的 src/ 目錄中名為 hello.ipynb 的筆記本：

    resources:
  pipelines:
    hello-pipeline:
      name: hello-pipeline
      libraries:
        - notebook:
            path: ../src/hello.ipynb

使用 Databricks CLI 產生現有的管線定義

若要以程式設計方式產生現有管線的套件組合設定：

  1. 在 UI 中，從 [管線詳細資料] 側欄取得現有管線的 ID，或使用 Databricks CLI databricks pipelines list-pipelines 命令。

  2. 執行 bundle generate pipelineDatabricks CLI 命令，設定管線 ID：

    databricks bundle generate pipeline --existing-pipeline-id 6565621249

    此命令會在套件組合的 resources 資料夾中建立管線的套件組合設定檔，並將任何參考的成品下載至 src 資料夾。

    提示

    如果您先使用 bundle deployment bind 將某個套件組合中的資源繫結至工作區中，則工作區中的資源將基根據在下一次 bundle deploy 之後繫結的套件組合所定義的設定進行更新。 如需 bundle deployment bind 的資訊，請參閱綁定套件資源。