¿Qué es Livy API para Ingeniería de datos?
Nota:
Livy API para Ingeniería de datos de Fabric está en versión preliminar.
Se aplica a:✅ Ingeniería de datos y ciencia de datos en Microsoft Fabric
Microsoft Fabric Livy API permite a los usuarios enviar y ejecutar código Spark dentro del proceso de Spark asociado a Fabric Lakehouse, lo que elimina la necesidad de crear artefactos de definición de trabajos de Spark o cuadernos. Esta integración con Lakehouse garantiza un acceso sencillo a los datos almacenados en OneLake.
Características
Fabric Livy API permite enviar trabajos en dos modos diferentes:
- Trabajos de sesión
- Un trabajo de sesión de Livy implica establecer una sesión de Spark que permanezca activa durante la interacción con Livy API. Las sesiones de Livy son útiles para cargas de trabajo interactivas.
- Una sesión de Spark se inicia cuando se envía un trabajo y dura hasta que el usuario finaliza o el sistema lo finaliza después de 20 minutos de inactividad. Durante la sesión, varios trabajos pueden ejecutarse, compartir el estado y almacenar en caché los datos entre ejecuciones.
- Trabajos por lotes
- Un trabajo por lotes de Livy implica el envío de una aplicación Spark para una sola ejecución de trabajo. A diferencia de un trabajo de sesión de Livy, un trabajo por lotes no admite una sesión de Spark en curso.
- Con los trabajos por lotes de Livy, cada trabajo inicia una nueva sesión de Spark que finaliza cuando finaliza el trabajo. Este enfoque funciona bien para las tareas que no dependen de cálculos anteriores o requieren mantener el estado entre trabajos.
Introducción a Livy API
Aprenda a Crear y ejecutar trabajos de Spark mediante Livy API en Fabric mediante la elección de un envío de trabajos de sesión de Spark mediante livy API o un Envío de trabajos por lotes de Spark mediante Livy API.