Hva er Livy-API-en for Dataingeniør ing?
Merk
Livy API for Fabric Dataingeniør ing er i forhåndsvisning.
Gjelder for:✅ Dataingeniør ing og datavitenskap i Microsoft Fabric
Microsoft Fabric Livy API lar brukere sende inn og kjøre Spark-kode i Spark-databehandling knyttet til en Fabric Lakehouse, noe som eliminerer behovet for å opprette notatblokk- eller Spark Job Definition-artefakter. Denne integreringen med Lakehouse sikrer enkel tilgang til data som er lagret på OneLake.
Funksjoner
Fabric Livy API gjør det mulig å sende inn jobber i to forskjellige moduser:
- Øktjobber
- En Livy-øktjobb innebærer å etablere en Spark-økt som forblir aktiv gjennom hele samhandlingen med Livy-API-en. Livy-økter er nyttige for interaktive arbeidsbelastninger.
- En Spark-økt starter når en jobb sendes inn og varer til brukeren avslutter den eller systemet avslutter den etter 20 minutter med inaktivitet. Gjennom hele økten kan flere jobber kjøre, dele tilstand og bufrede data mellom kjøringer.
- Satsvise jobber
- En Livy-satsvis jobb innebærer å sende inn en Spark-søknad om kjøring av én enkelt jobb. I motsetning til en Livy-øktjobb opprettholder ikke en satsvis jobb en pågående Spark-økt.
- Med Livy-satsvise jobber starter hver jobb en ny Spark-økt som avsluttes når jobben er ferdig. Denne tilnærmingen fungerer bra for oppgaver som ikke er avhengige av tidligere beregninger eller krever vedlikehold av tilstand mellom jobber.
Komme i gang med Livy-API-en
Lær hvordan du oppretter og kjører Spark-jobber ved hjelp av Livy-API-en i Fabric ved å velge enten en Send spark-øktjobb ved hjelp av Livy API-en eller en Send spark-satsvise jobber ved hjelp av Livy-API-en.