Κοινή χρήση μέσω

Χρήση του API Livy για την υποβολή και εκτέλεση εργασιών Spark

  • Άρθρο

Σημείωμα

Το Livy API για τη Μηχανική δεδομένων Fabric είναι σε προεπισκόπηση.

Ισχύει για:✅ Διαχείριση δεδομένων και Επιστήμη δεδομένων στο Microsoft Fabric

Ξεκινήστε με το Livy API για τη μηχανική δεδομένων Fabric δημιουργώντας ένα Lakehouse. έλεγχος ταυτότητας με διακριτικό εφαρμογής Microsoft Entra, υποβάλετε εργασίες δέσμης ή περιόδου λειτουργίας από ένα απομακρυσμένο πρόγραμμα-πελάτη στην υπολογιστική fabric Spark. Θα ανακαλύψετε το τελικό σημείο του API Livy. την υποβολή θέσεων εργασίας· και παρακολουθήστε τα αποτελέσματα.

Προαπαιτούμενα στοιχεία

Επιλογή προγράμματος-πελάτη REST API

Μπορείτε να χρησιμοποιήσετε διάφορες γλώσσες προγραμματισμού ή προγράμματα-πελάτες GUI για να αλληλεπιδράσετε με τελικά σημεία REST API. Σε αυτό το άρθρο, χρησιμοποιούμε Κώδικα Visual Studio. Οι παράμετροι του Visual Studio Code πρέπει να ρυθμιστούν με τα Jupyter Notebooks, PySpark και τη Βιβλιοθήκη ελέγχου ταυτότητας της Microsoft (MSAL) για Python

Πώς μπορείτε να εξουσιοδοτήσετε τις αιτήσεις API Livy

Για να εργαστείτε με API Fabric συμπεριλαμβανομένου του API Livy, πρέπει πρώτα να δημιουργήσετε μια εφαρμογή Microsoft Entra και να λάβετε ένα διακριτικό. Η εφαρμογή σας πρέπει να καταχωρηθεί και ρυθμιστεί επαρκώς για την εκτέλεση κλήσεων API στο Fabric. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Καταχώρηση μιας εφαρμογής με την πλατφόρμα ταυτότητας της Microsoft.

Υπάρχουν πολλά δικαιώματα εμβέλειας Microsoft Entra που απαιτούνται για την εκτέλεση εργασιών Livy. Αυτό το παράδειγμα χρησιμοποιεί απλό κώδικα Spark + πρόσβαση στον χώρο αποθήκευσης + SQL:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Item.ReadWrite.All
  • Lakehouse.Execute.All
  • Lakehouse.Read.All
  • Workspace.ReadWrite.All

Στιγμιότυπο οθόνης που εμφανίζει δικαιώματα Livy API στο Κέντρο διαχείρισης Microsoft Entra.

Σημείωμα

Κατά τη διάρκεια της δημόσιας προεπισκόπησης θα προσθέσουμε μερικές επιπλέον λεπτομερείς εμβέλειες και αν χρησιμοποιήσετε αυτή την προσέγγιση, όταν προσθέσουμε αυτές τις πρόσθετες εμβέλειες η εφαρμογή Livy θα διακοπεί. Ελέγξτε αυτήν τη λίστα καθώς θα ενημερώνεται με τις πρόσθετες εμβέλειες.

Ορισμένοι πελάτες θέλουν πιο λεπτομερή δικαιώματα από την προηγούμενη λίστα. Θα μπορούσατε να καταργήσετε την Item.ReadWrite.All και να αντικαταστήσετε αυτά τα πιο λεπτομερή δικαιώματα εμβέλειας:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Lakehouse.Execute.All
  • Lakehouse.ReadWrite.All
  • Workspace.ReadWrite.All
  • Notebook.ReadWrite.All
  • SparkJobDefinition.ReadWrite.All
  • MLModel.ReadWrite.All
  • MLExperiment.ReadWrite.All
  • Dataset.ReadWrite.All

Όταν καταχωρήσετε την εφαρμογή σας, θα χρειαστείτε το αναγνωριστικό εφαρμογής (πρόγραμμα-πελάτης) και το αναγνωριστικό καταλόγου (μισθωτής).

Στιγμιότυπο οθόνης που εμφανίζει την επισκόπηση της εφαρμογής API Livy στο Κέντρο διαχείρισης Microsoft Entra.

Ο εξουσιοδοτημένος χρήστης που καλεί το API Livy πρέπει να είναι μέλος του χώρου εργασίας όπου βρίσκονται τόσο το API όσο και τα στοιχεία προέλευσης δεδομένων με ρόλο Συμβάλλοντα. Για περισσότερες πληροφορίες, ανατρέξτε στο θέμα Παροχή πρόσβασης στους χρήστες σε χώρους εργασίας.

Πώς να ανακαλύψετε το τελικό σημείο API Fabric Livy

Ένα αντικείμενο σχεδίασης Lakehouse απαιτείται για πρόσβαση στο τελικό σημείο Livy. Μόλις δημιουργηθεί το Lakehouse, το τελικό σημείο του Livy API μπορεί να βρίσκεται στον πίνακα ρυθμίσεων.

Στιγμιότυπο οθόνης που εμφανίζει τα τελικά σημεία του API Livy στις ρυθμίσεις του Lakehouse.

Το τελικό σημείο του API Livy θα ακολουθήσει το εξής μοτίβο:

https://api.fabric.microsoft.com/v1/workspaces/ < >ws_id/lakehouses/<lakehouse_id>/livyapi/versions/2023-12-01/

Η διεύθυνση URL προσαρτάται με <περιόδους λειτουργίας> ή <δέσμες> ανάλογα με αυτό που επιλέγετε.

Ενοποίηση με περιβάλλοντα Fabric

Για κάθε χώρο εργασίας Fabric, παρέχεται μια προεπιλεγμένη ομάδα εκκίνησης, η εκτέλεση όλων των spark code χρησιμοποιούν αυτή την ομάδα εκκίνησης από προεπιλογή. Μπορείτε να χρησιμοποιήσετε περιβάλλοντα Fabric για να προσαρμόσετε τις εργασίες Livy API Spark.

Λήψη των αρχείων Livy API Swagger

Τα πλήρη αρχεία swagger για το API Livy είναι διαθέσιμα εδώ.

Υποβολή εργασιών API Livy

Τώρα που ολοκληρώθηκε η εγκατάσταση του API Livy, μπορείτε να επιλέξετε να υποβάλετε εργασίες δέσμης ή περιόδου λειτουργίας.

Τρόπος παρακολούθησης του ιστορικού αιτήσεων

Μπορείτε να χρησιμοποιήσετε το Κέντρο παρακολούθησης για να δείτε τις προηγούμενες υποβολές σας API Livy και να εντοπίσετε σφάλματα στις υποβολές σας.

Στιγμιότυπο οθόνης που εμφανίζει προηγούμενες υποβολές API Livy στο Κέντρο παρακολούθησης.

Σχετικό περιεχόμενο