Azure Databricks 的串流

您可以使用 Azure Databricks 針對串流資料進行近即時資料擷取、處理、機器學習和 AI。

Azure Databricks 為串流和累加處理提供許多最佳化，包括：

• Delta Live Tables 提供增量處理的宣告式語法。 請參閱 Delta Live 是什麼 Tables?。
• 自動載入器可簡化雲端物件儲存體的累加擷取。 請參閱 什麼是自動載入器？。
• Unity Catalog 將資料治理功能納入串流負載。 請參閱 使用 Unity Catalog 搭配結構化串流。

Delta Lake 針對這些積分提供儲存體圖層。 請參閱 Delta table 串流讀取與寫入。

如需即時模型服務，請參閱 《使用 Azure Databricks 提供模型》。

• 教學課程

  瞭解在 Azure Databricks 上使用結構化串流進行近即時和累加處理的基本概念。

• 概念

  瞭解使用結構化串流設定累加和近即時工作負載的核心概念。

• 可設定狀態的串流

  管理具可設定狀態的結構化串流查詢的中間狀態資訊，有助於防止非預期的延遲和生產問題。

• 生產考量

  本文章包含使用 Azure Databricks 結構化串流設定生產增量處理工作負載的建議，以滿足即時或批次應用程式的延遲和成本要求。

• 監視串流

  瞭解如何監視 Azure Databricks 上的結構化串流應用程式。

• Unity Catalog 整合

  瞭解如何善用 Unity Catalog 搭配 Azure Databricks 上的結構化串流。

• 使用 Delta 串流

  瞭解如何使用 Delta Lake tables 作為串流來源和匯入端。

• 範例

  請參閱在 Azure Databricks 中使用 Spark 結構化串流搭配 Cassandra、Azure Synapse Analytics、Python 筆記本和 Scala 筆記本的範例。

Azure Databricks 具有使用 Avro、通訊協定緩衝和 JSON 資料酬載中包含的半結構化資料欄位的特定功能。 若要深入瞭解，請參閱：

• 讀取和寫入串流 Avro 資料
• 讀取和寫入通訊協定緩衝區
• 查詢 JSON 字串

其他資源

Apache Spark 提供 結構化串流程式設計指南，其中包含關於結構化串流的詳細資訊。

如需關於結構化串流的參考資訊，Azure Databricks 建議下列 Apache Spark API 參照資料：

• Python
• Scala
• Java