資料工程師 的 Livy API 是什麼？ （預覽）
注意
適用於 Fabric 資料工程的 Livy API 正在預覽中。
適用於：✅Microsoft Fabric 中的資料工程和資料科學
Microsoft Fabric Livy API 可讓使用者在與 Fabric Lakehouse 相關聯的 Spark 計算中提交和執行 Spark 程式代碼，而不需要建立任何 Notebook 或 Spark 作業定義成品。 這與 Lakehouse 整合可確保直接存取儲存在 OneLake 上的數據。
功能
Fabric Livy API 允許以兩種不同的模式提交作業：
- 會話作業
- Livy 工作階段任務需要建立一個 Spark 工作階段，以確保在與 Livy API 互動期間維持其活躍狀態。 Livy 會話對於互動式工作負載很有用。
- Spark 工作階段會在提交作業時啟動，並維持到用戶結束工作階段，或在系統因閒置 20 分鐘後終止。 在整個會話期間，許多作業可以運行，並在運行之間共享狀態和快取資料。
- 批次作業
- Livy 批次作業需要提交 Spark 應用程式以進行單一作業執行。 相較於 Livy session 作業，批次作業不會維持持續的 Spark 工作階段。
- 使用 Livy 批次作業時，每個作業都會啟動一個新的 Spark 工作階段，並在該作業完成後隨即結束。 此方法適用於不依賴先前計算或需要維護作業之間狀態的工作。
開始使用 Livy API
瞭解如何使用 Fabric 中的 Livy API 建立和執行 Spark 作業，方法是選擇使用 Livy API 提交 Spark 會話作業，或使用 Livy API 提交 Spark 批次作業。