在管道中使用 Notebook 活動
在 Azure Databricks 工作區的 Azure Data Factory 中建立連結服務之後,您可以使用該工作區來定義管線中 Notebook 活動的連線。
若要使用 Notebook 活動,請從 Databricks 類別建立管線,並將 Notebook 活動新增至管線設計工具介面。
使用 Notebook 活動的下列屬性進行設定:
類別 | 設定 | Description |
---|---|---|
一般 | 名稱 | 活動的唯一名稱。 |
描述 | 有意義的描述。 | |
Timeout | 活動應該在自動取消之前執行多久時間。 | |
重試 | 失敗前 Azure Data Factory 應該嘗試多少次。 | |
重試間隔 | 重試前要等候的時間長度。 | |
設定輸入和輸出 | 判斷是否記錄輸入和輸出值。 | |
Azure Databricks | Azure Databricks 連結服務 | 包含 Notebook 之 Azure Databricks 工作區的連結服務。 |
設定 | Notebook 路徑 | 工作區中 Notebook 檔案的路徑。 |
基本參數 | 用來傳遞參數給 Notebook 的方法。 | |
附加程式庫 | 預設不會安裝的必要程式碼程式庫。 | |
使用者屬性 | 將使用者定義屬性升階。 |
執行管線
發佈包含 Notebook 活動的管線時,您可以藉由定義觸發程式來加以執行。 然後,您可以在 Azure Data Factory Studio 的 [監視] 區段中監視管線執行。