計算
Azure Databricks 計算指選取 Azure Databricks 工作區中可用的計算資源。 使用者需要存取計算以執行資料工程、資料科學和資料分析工作負載,例如生產 ETL 管線、串流分析、臨機操作分析和機器學習。
如果具有適當的權限,使用者可以連線到現有的計算,也可以建立新的計算。
您可以使用工作區的 [計算] 區段來檢視有權存取的計算:
計算類型
這些是 Azure Databricks 中可用的計算類型:
筆記本的無伺服器計算:隨選、可調整的計算,用於在筆記本中執行 SQL 和 Python 程式碼。
工作的無伺服器計算:隨選、可調整的計算,用於執行 Databricks 工作,不需設定及部署基礎結構。
全用途計算:已佈建的計算,用於分析筆記本中的資料。 您可以使用 UI、CLI 或 REST API 建立、終止和重新啟動此計算。
工作計算:已佈建的計算,用於執行自動化的工作。 每當工作設定為在新計算上執行時,Azure Databricks Job Scheduler 就會自動建立工作計算。 計算會在工作完成時終止。 您無法重新啟動工作計算。 請參閱設定作業的計算。
執行個體集區:使用現成可用的閑置執行個體計算,用於縮短啟動和自動調整時間。 可以使用 UI、CLI 或 REST API 建立此計算。
無伺服器 SQL 倉儲:隨選的彈性計算,用於對 SQL 編輯器或互動式筆記本中的資料物件執行 SQL 命令。 可以使用 UI、CLI 或 REST API 建立 SQL 倉儲。
傳統 SQL 倉儲:用於對 SQL 編輯器或互動式筆記本中的資料物件執行 SQL 命令。 可以使用 UI、CLI 或 REST API 建立 SQL 倉儲。
本節中的文章說明如何使用 Azure Databricks UI 處理計算資源。 如需其他方法,請參閱什麼是 Databricks CLI?和 Databricks REST API 參照。
Databricks Runtime
Databricks Runtime 是在您的計算上執行的一組核心元件。 Databricks Runtime 是全用途工作計算中的可設定設定,但在 SQL 倉儲中則是自動選取。
每個 Databricks Runtime 版本都包含可提高大資料分析的可用性、效能和安全性的更新。 計算上的 Databricks Runtime 新增了許多功能,包括:
- Delta Lake 是建置在 Apache Spark 之上的下一代儲存層,可提供 ACID 交易、最佳化的版面配置和索引,以及建置資料管線的執行引擎改進。 請參閱什麼是 Delta Lake?。
- 已安裝 Java、Scala、Python 和 R 程式庫。
- Ubuntu 及其隨附的系統程式庫。
- 已啟用 GPU 之叢集的 GPU 程式庫。
- 與平台其他元件整合的 Azure Databricks 服務,例如筆記本、工作和叢集管理。
如需每個 run-time 版本內容的相關資訊,請參閱版本資訊。
執行階段版本設定
Databricks Runtime 版本定期發行:
- 長期支援版本用 LTS 限定詞表示 (例如 3.5 LTS)。 針對每個主要版本,我們會宣告「正式的」功能版本,並提供三年的完整支援。 如需詳細資訊,請參閱 Databricks 支援生命週期。
- 主要版本以小數點之前的版本號碼遞增表示 (例如從 3.5 跳至 4.0)。 它們會在有重大變更時發行,有些可能與回溯相容。
- 功能版本以小數點後面的版本號碼遞增表示 (例如從 3.4 跳至 3.5)。 每個主要版本包含多個功能版本。 功能版本在主要版本中一律與舊版回溯相容。