使用 Databricks 進行數據工程
Databricks 提供一組豐富的數據工程功能,包括強大的環境,可供數據科學家、工程師和分析師共同作業。 透過其中心是內嵌和轉換數據的管線。 為了輕鬆設計最有效率的數據流水線,Databricks 提供結構化串流和 Delta Live Tables。 請參閱 Azure Databricks 和
如需了解為何由 Structured Streaming 和 Delta Live Tables 提供的增量資料流處理是資料管線的最佳選擇,請參閱 為何要進行增量資料流處理?。
其他數據工程資源
Databricks 為許多其他案例的數據工程工作提供功能:
- Databricks 筆記本 是共同作業的熱門工具。
- 使用 Databricks 作業排程及協調工作流程。
- 如果您要建構機器學習解決方案,請參閱 Databricks 馬賽克 AI 。
注意
如果您主要使用 SQL 查詢和 BI 工具,請參閱 Databricks SQL。
如需入門教學課程和入門資訊,請參閱 開始使用 Azure Databricks 和 什麼是 Azure Databricks?。
名稱 | 當您想要實現下列目標時,即可使用: |
---|---|
Delta Live Tables | 瞭解如何使用 Databricks Delta 實時數據表建置數據管線來擷取和轉換。 |
結構化串流 | 瞭解 Databricks 上結構化串流所提供的串流、增量和即時工作負載。 |