在 Azure Databricks 上的串流

您可以使用 Azure Databricks 針對串流資料進行近即時資料擷取、處理、機器學習和 AI。

Azure Databricks 為串流和累加處理提供許多最佳化，包括：

• DLT 提供累加處理的宣告式語法。 請參閱 什麼是 DLT？。
• 自動載入工具簡化了從雲端物件儲存中的逐步擷取過程。 請參閱 什麼是自動載入器？。
• Unity Catalog 將數據控管引入到串流作業。 請參閱 使用 Unity Catalog 搭配結構化串流。

Delta Lake 提供這些整合的儲存層。 請參閱 Delta 資料表串流讀取和寫入。

如需即時模型服務，請參閱 使用馬賽克 AI 模型服務部署模型。

• 教學課程
• 概念
• 可設定狀態的串流
• 自定義具狀態應用程式
• 生產考量
• 監視串流
• Unity 資料目錄整合
• 使用 Delta 串流
• 範例

Azure Databricks 具有用於 Avro、協議緩衝區和 JSON 資料負載中包含的半結構化資料欄位的特定功能。 若要深入瞭解，請參閱：

• 讀取和寫入串流 Avro 資料
• 讀取和寫入通訊協定緩衝區
• 查詢 JSON 字串

其他資源

Apache Spark 提供 結構化串流程式設計指南，其中包含關於結構化串流的詳細資訊。

如需關於結構化串流的參考資訊，Azure Databricks 建議下列 Apache Spark API 參照資料：

• Python
• Scala
• Java