Was ist die Livy-API for Data Engineering?
Hinweis
Die Livy-API für Fabric Datentechnik befindet sich in der Vorschau.
Gilt für:✅ Datentechnik und Data Science in Microsoft Fabric
Mit der Microsoft Fabric Livy-API können Benutzer Spark-Code innerhalb von Spark Compute, das mit einem Fabric Lakehouse verbunden ist, einreichen und ausführen. So müssen keine Artifacts wie Notebooks oder Spark-Auftragsdefinitionen erstellt werden. Diese Integration mit dem Lakehouse gewährleistet einen einfachen Zugriff auf die in OneLake gespeicherten Daten.
Funktionen
Die Fabric Livy-API ermöglicht die Übermittlung von Aufträgen in zwei verschiedenen Modi:
- Sitzungsaufträge
- Ein Livy-Sitzungsauftrag umfasst die Einrichtung einer Spark-Sitzung, die während der gesamten Interaktion mit der Livy-API aktiv bleibt. Livy-Sitzungen sind nützlich für interaktive Workloads.
- Eine Spark-Sitzung beginnt, wenn ein Auftrag übermittelt wird, und endet, wenn der Benutzer sie beendet oder das System sie nach 20 Minuten Inaktivität beendet. Während der Sitzung können mehrere Jobs ausgeführt werden, wobei Zustand- und zwischengespeicherte Daten zwischen den Ausführungen ausgetauscht werden.
- Batchaufträge
- Ein Livy-Batchauftrag umfasst das Einreichen einer Spark-Anwendung für eine einzelne Jobausführung. Im Gegensatz zu einem Livy-Sitzungsauftrag wird bei einem Batchauftrag keine laufende Spark-Sitzung aufrechterhalten.
- Bei Livy-Batchaufträgen wird mit jedem Auftrag eine neue Spark-Sitzung initiiert, die endet, wenn der Auftrag abgeschlossen ist. Dieser Ansatz eignet sich gut für Aufgaben, die nicht auf vorherigen Berechnungen basieren oder die Aufrechterhaltung des Status zwischen Aufträgen erfordern.
Erste Schritte mit der Livy-API
Erfahren Sie, wie Sie Spark-Aufträge mithilfe der Livy-API in Fabric erstellen und ausführen. Wählen Sie dazu entweder Spark-Sitzungsjobs mithilfe der Livy-API senden oder Spark-Batchaufträge mithilfe der Livy-API senden aus.