Что такое API Livy для Инжиниринг данных?
Примечание.
API Livy для Fabric Инжиниринг данных находится в предварительной версии.
Область применения:✅ Инжиниринг данных и Обработка и анализ данных в Microsoft Fabric
API Microsoft Fabric Livy позволяет пользователям отправлять и выполнять код Spark в вычислительных ресурсах Spark, связанных с Fabric Lakehouse, что устраняет необходимость создания артефактов определения заданий Spark и записных книжек или Spark. Эта интеграция с Lakehouse обеспечивает простой доступ к данным, хранящимся в OneLake.
Функции
API Fabric Livy позволяет отправлять задания в двух разных режимах:
- Задания сеанса
- Задание сеанса Livy подразумевает создание сеанса Spark, который остается активным во время взаимодействия с API Livy. Сеансы Livy полезны для интерактивных рабочих нагрузок.
- Сеанс Spark запускается при отправке задания и длится до тех пор, пока пользователь не завершит его или система завершит работу после 20 минут бездействия. На протяжении всего сеанса несколько заданий могут выполняться, совместно использовать состояние и кэшированные данные между выполнением.
- Пакетные задания
- Пакетное задание Livy влечет за собой отправку приложения Spark для выполнения одного задания. В отличие от задания сеанса Livy пакетное задание не поддерживает текущий сеанс Spark.
- При пакетных заданиях Livy каждое задание инициирует новый сеанс Spark, который заканчивается после завершения задания. Этот подход хорошо подходит для задач, которые не используют предыдущие вычисления или требуют поддержания состояния между заданиями.
Начало работы с API Livy
Узнайте, как создавать и запускать задания Spark с помощью API Livy в Fabric , выбрав задания сеанса Submit Spark с помощью API Livy или пакетного задания Spark с помощью API Livy.