Co to jest interfejs API usługi Livy na potrzeby inżynierowie danych?
Uwaga
Interfejs API usługi Livy dla usługi Fabric inżynierowie danych jest w wersji zapoznawczej.
Dotyczy:✅ inżynierowie danych i Nauka o danych w usłudze Microsoft Fabric
Interfejs API usługi Livy usługi Microsoft Fabric umożliwia użytkownikom przesyłanie i wykonywanie kodu Platformy Spark w ramach obliczeń platformy Spark skojarzonych z usługą Fabric Lakehouse, eliminując konieczność tworzenia dowolnego notesu lub artefaktów definicji zadań platformy Spark. Ta integracja z usługą Lakehouse zapewnia prosty dostęp do danych przechowywanych w usłudze OneLake.
Funkcje
Interfejs API usługi Livy sieci szkieletowej umożliwia przesyłanie zadań w dwóch różnych trybach:
- Zadania sesji
- Zadanie sesji usługi Livy wiąże się z ustanowieniem sesji platformy Spark, która pozostaje aktywna w trakcie interakcji z interfejsem API usługi Livy. Sesje usługi Livy są przydatne w przypadku obciążeń interaktywnych.
- Sesja platformy Spark rozpoczyna się po przesłaniu zadania i trwa do momentu zakończenia go przez użytkownika lub zakończenia systemu po upływie 20 minut braku aktywności. W trakcie sesji można uruchamiać wiele zadań, udostępniać stan i buforowane dane między przebiegami.
- Zadania wsadowe
- Zadanie wsadowe usługi Livy wiąże się z przesłaniem aplikacji Spark na potrzeby pojedynczego wykonania zadania. W przeciwieństwie do zadania sesji usługi Livy zadanie wsadowe nie utrzymuje trwającej sesji platformy Spark.
- W przypadku zadań wsadowych usługi Livy każde zadanie inicjuje nową sesję platformy Spark, która kończy się po zakończeniu zadania. Takie podejście działa dobrze w przypadku zadań, które nie opierają się na poprzednich obliczeniach lub wymagają utrzymania stanu między zadaniami.
Wprowadzenie do interfejsu API usługi Livy
Dowiedz się, jak tworzyć i uruchamiać zadania platformy Spark przy użyciu interfejsu API usługi Livy w usłudze Fabric , wybierając zadania sesji Prześlij platformę Spark przy użyciu interfejsu API usługi Livy lub prześlij zadania wsadowe platformy Spark przy użyciu interfejsu API usługi Livy.