什么是适用于数据工程的 Livy API？

注意

适用于 Fabric 数据工程的 Livy API 目前为预览版。

适用于：✅Microsoft Fabric 中的数据工程和数据科学

Microsoft Fabric Livy API 支持用户在与 Fabric Lakehouse 关联的 Spark 计算内提交和执行 Spark 代码，而无需创建任何笔记本或 Spark 作业定义项目。这种与 Lakehouse 的集成可确保直接访问 OneLake 上存储的数据。

功能

Fabric Livy API 支持以两种不同的模式提交作业：

会话作业
- Livy 会话作业需要建立一个 Spark 会话，该会话在与 Livy API 的交互过程中保持活动状态。 Livy 会话对于交互式工作负载非常有用。
- Spark 会话在提交作业时启动，并持续到用户结束该作业或在作业处于非活动状态达到 20 分钟后系统将其终止。在整个会话过程中，多个作业可以同时运行，在两次运行之间共享状态和缓存的数据。
批处理作业
- Livy 批处理作业需要提交 Spark 应用程序来执行单个作业。与 Livy 会话作业相比，批处理作业不会保持正在进行的 Spark 会话。
- 使用 Livy 批处理作业，每个作业都会启动一个新的 Spark 会话，该会话在作业完成时结束。这种方法适用于不依赖先前的计算或不需要在作业之间保持状态的任务。