Vad är Livy API för Dataingenjör ing?
Kommentar
Livy API för Fabric Dataingenjör ing finns i förhandsversion.
Gäller för:✅ Dataingenjör ing och Datavetenskap i Microsoft Fabric
Med Microsoft Fabric Livy API kan användare skicka och köra Spark-kod i Spark-beräkning som är associerad med en Fabric Lakehouse, vilket eliminerar behovet av att skapa artefakter för notebook- eller Spark-jobbdefinition. Den här integreringen med Lakehouse säkerställer enkel åtkomst till data som lagras på OneLake.
Funktioner
Api:et Fabric Livy tillåter att jobb skickas i två olika lägen:
- Sessionsjobb
- Ett Livy-sessionsjobb innebär att upprätta en Spark-session som förblir aktiv under interaktionen med Livy-API:et. Livy-sessioner är användbara för interaktiva arbetsbelastningar.
- En Spark-session startar när ett jobb skickas och varar tills användaren avslutar det eller systemet avslutar det efter 20 minuters inaktivitet. Under hela sessionen kan flera jobb köras, dela tillstånd och cachelagrade data mellan körningar.
- Batch-jobb
- Ett Livy-batchjobb innebär att skicka ett Spark-program för en enda jobbkörning. Till skillnad från ett Livy-sessionsjobb upprätthåller inte ett batchjobb en pågående Spark-session.
- Med Livy batch-jobb initierar varje jobb en ny Spark-session som avslutas när jobbet är klart. Den här metoden fungerar bra för uppgifter som inte förlitar sig på tidigare beräkningar eller kräver underhåll mellan jobb.
Kom igång med Livy API
Lär dig hur du skapar och kör Spark-jobb med livy-API:et i Infrastrukturresurser genom att välja antingen ett Skicka Spark-sessionsjobb med livy-API: et eller skicka Spark-batchjobb med livy-API:et.