使用 Databricks 進行數據工程
Databricks 提供一組豐富的數據工程功能,包括強大的環境,可供數據科學家、工程師和分析師共同作業。 透過其中心是內嵌和轉換數據的管線。 為了輕鬆設計最有效率的管線,Databricks 提供結構化串流和差異實時數據表。 請參閱 Azure Databricks 上的串流和 什麼是 Delta 實時數據表?。
如需結構化串流和差異實時數據表所提供數據的累加串流處理為何是數據管線的最佳選項的概觀,請參閱 為何要進行累加數據流處理?。
其他數據工程資源
Databricks 為許多其他案例的數據工程工作提供功能:
- Databricks 筆記本 是共同作業的熱門工具。
- 使用 Databricks 作業排程及協調工作流程。
- 如果您要建構機器學習解決方案,請參閱 Databricks 馬賽克 AI 。
注意
如果您主要使用 SQL 查詢和 BI 工具,請參閱 Databricks SQL。
如需入門教學課程和簡介資訊,請參閱 開始使用 Azure Databricks 和 什麼是 Azure Databricks?。
名稱 | 當您想要實現下列目標時,即可使用: |
---|---|
Delta Live Tables | 瞭解如何使用 Databricks 差異即時資料表建立資料擷取與轉換管線。 |
結構化串流 | 瞭解 Databricks 上結構化串流所提供的串流、增量和即時工作負載。 |