Qu’est-ce que l’API Livy pour l’engineering données ?
Remarque
L’API Livy pour Ingénieurs de données Fabric est en préversion.
S’applique à :✅ l’engineering et la science des données dans Microsoft Fabric
L’API Livy de Microsoft Fabric permet aux utilisateurs d’envoyer et d’exécuter du code Spark au sein d’un calcul Spark associé d’un lakehouse Fabric, ce qui élimine la nécessité de créer des artefacts de notebook ou de définition de tâche Spark. Cette intégration au lakehouse garantit un accès simple aux données stockées sur OneLake.
Fonctionnalités
L’API Livy Fabric permet d’envoyer des travaux en deux modes différents :
- Travaux de session
- Un travail de session Livy implique l’établissement d’une session Spark qui reste active tout au long de l’interaction avec l’API Livy. Les sessions Livy sont utiles pour les charges de travail interactives.
- Une session Spark démarre lorsqu’un travail est envoyé et dure jusqu’à ce que l’utilisateur le termine ou que le système l’arrête après 20 minutes d’inactivité. Tout au long de la session, plusieurs travaux peuvent s’exécuter, partager l’état et les données mises en cache entre les exécutions.
- Programmes de traitement par lots
- Un programme de traitement par lots Livy implique l’envoi d’une application Spark pour une seule exécution de travail. Contrairement à un travail de session Livy, un programme de traitement par lots ne maintient pas une session Spark en cours.
- Avec les,programmes de traitement par lots Livy, chaque travail lance une nouvelle session Spark qui se termine lorsque le travail se termine. Cette approche fonctionne bien pour les tâches qui ne s’appuient pas sur les calculs précédents ou qui ne nécessitent pas une maintenance de l’état entre les travaux.
Bien démarrer avec l’API Livy
Découvrez comment Créer et exécuter des travaux Spark à l’aide de l’API Livy dans Fabric en choisissant soit Envoyer des travaux de session Spark à l’aide de l’API Livy ou soit Envoyer des programmes de traitement par lots Spark à l’aide de l’API Livy.