Wat is de Livy-API voor Data-engineer ing?
Notitie
De Livy-API voor Fabric Data-engineer ing is in preview.
Van toepassing op:✅ Data-engineer ing en Datawetenschap in Microsoft Fabric
Met de Microsoft Fabric Livy-API kunnen gebruikers Spark-code verzenden en uitvoeren binnen Spark-berekeningen die zijn gekoppeld aan een Fabric Lakehouse, waardoor er geen notebook- of Spark-taakdefinitieartefacten hoeven te worden gemaakt. Deze integratie met Lakehouse zorgt voor eenvoudige toegang tot gegevens die zijn opgeslagen in OneLake.
Functies
Met de Fabric Livy-API kunnen taken in twee verschillende modi worden ingediend:
- Sessietaken
- Een Livy-sessietaak omvat het tot stand brengen van een Spark-sessie die actief blijft tijdens de interactie met de Livy-API. Livy-sessies zijn handig voor interactieve workloads.
- Een Spark-sessie wordt gestart wanneer een taak wordt verzonden en duurt totdat de gebruiker deze beëindigt of het systeem het beëindigt na 20 minuten inactiviteit. Tijdens de sessie kunnen meerdere taken worden uitgevoerd, de status en de gegevens in de cache tussen uitvoeringen worden gedeeld.
- Batchtaken
- Een Livy-batchtaak omvat het indienen van een Spark-toepassing voor één taakuitvoering. In tegenstelling tot een Livy-sessietaak ondersteunt een batchtaak geen doorlopende Spark-sessie.
- Met Livy-batchtaken start elke taak een nieuwe Spark-sessie die eindigt wanneer de taak is voltooid. Deze aanpak werkt goed voor taken die niet afhankelijk zijn van eerdere berekeningen of waarvoor de status tussen taken moet worden onderhouden.
Aan de slag met de Livy-API
Meer informatie over het maken en uitvoeren van Spark-taken met behulp van de Livy-API in Fabric door een Spark-sessietaken verzenden te kiezen met behulp van de Livy-API of een Spark-batchtaken verzenden met behulp van de Livy-API.