Del via

Brug Livy-API'en til at sende og udføre Spark-job

  • Artikel

Bemærk

Livy API til Fabric Dataudvikler ing er en prøveversion.

Gælder for:✅ Dataudvikler ing og datavidenskab i Microsoft Fabric

Kom i gang med Livy API til Fabric Dataudvikler ing ved at oprette en Lakehouse, godkende med et Microsoft Entra-apptoken. Send enten batch- eller sessionjob fra en ekstern klient til Fabric Spark-beregning. Du finder Livy API-slutpunktet. sende job; og overvåge resultaterne.

Forudsætninger

Valg af en REST API-klient

Du kan bruge forskellige programmeringssprog eller GUI-klienter til at interagere med REST API-slutpunkter. I denne artikel bruger vi Visual Studio Code. Visual Studio Code skal konfigureres med Jupyter Notebooks, PySpark og Microsoft Authentication Library (MSAL) til Python

Sådan godkender du Livy API-anmodninger

Hvis du vil arbejde med Fabric API'er, herunder Livy-API'en, skal du først oprette et Microsoft Entra-program og hente et token. Dit program skal registreres og konfigureres korrekt for at kunne udføre API-kald mod Fabric. Du kan få flere oplysninger under Registrer et program med Microsoft-identitetsplatform.

Der kræves mange Tilladelser til Microsoft Entra-område for at udføre Livy-job. I dette eksempel bruges simpel Spark-kode + lageradgang + SQL:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Item.ReadWrite.All
  • Lakehouse.Execute.All
  • Lakehouse.Read.All
  • Workspace.ReadWrite.All

Skærmbillede, der viser Livy API-tilladelser i Microsoft Entra Administration.

Bemærk

Under den offentlige prøveversion tilføjer vi et par ekstra detaljerede områder, og hvis du bruger denne fremgangsmåde, brydes din Livy-app, når vi tilføjer disse yderligere områder. Kontrollér denne liste, da den opdateres med de ekstra områder.

Nogle kunder ønsker mere detaljerede tilladelser end den tidligere liste. Du kan fjerne Item.ReadWrite.All og erstatte med disse mere detaljerede områdetilladelser:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Lakehouse.Execute.All
  • Lakehouse.ReadWrite.All
  • Workspace.ReadWrite.All
  • Notebook.ReadWrite.All
  • SparkJobDefinition.ReadWrite.All
  • MLModel.ReadWrite.All
  • MLExperiment.ReadWrite.All
  • Dataset.ReadWrite.All

Når du har registreret dit program, skal du både bruge program-id'et (klient)-id'et og mappe-id'et (lejeren).

Skærmbillede, der viser oversigt over Livy API-app i Microsoft Entra Administration.

Den godkendte bruger, der kalder Livy-API'en, skal være medlem af arbejdsområdet, hvor både API- og datakildeelementer er placeret med rollen Bidragyder. Du kan få flere oplysninger under Giv brugere adgang til arbejdsområder.

Sådan finder du Fabric Livy API-slutpunktet

Der kræves en Lakehouse-artefakt for at få adgang til Livy-slutpunktet. Når Lakehouse er oprettet, kan Livy API-slutpunktet placeres i indstillingspanelet.

Skærmbillede, der viser Livy API-slutpunkter i indstillingerne for Lakehouse.

Slutpunktet for Livy-API'en følger dette mønster:

https://api.fabric.microsoft.com/v1/workspaces/ < >ws_id/lakehouses/<lakehouse_id>/livyapi/versions/2023-12-01/

URL-adressen tilføjes med enten <sessioner> eller <batches> , afhængigt af hvad du vælger.

Integration med Fabric-miljøer

For hvert Fabric-arbejdsområde er der klargjort en standardstartgruppe. Udførelsen af al spark-koden bruger som standard denne startgruppe. Du kan bruge Fabric Environments til at tilpasse Livy API Spark-job.

Download Livy API Swagger-filerne

De fulde swagger-filer til Livy-API'en er tilgængelige her.

Send et Livy API-job

Nu, hvor konfigurationen af Livy-API'en er fuldført, kan du vælge at sende enten batch- eller sessionsjob.

Sådan overvåger du anmodningsoversigten

Du kan bruge Overvågningshub til at se dine tidligere Livy API-indsendelser og foretage fejlfinding af eventuelle indsendelsesfejl.

Skærmbillede, der viser tidligere Livy API-indsendelser i overvågningshubben.

Relateret indhold