Del via

Bruk Livy-API-en til å sende inn og utføre Spark-jobber

  • Artikkel

Merk

Livy API for Fabric Dataingeniør ing er i forhåndsvisning.

Gjelder for:✅ Dataingeniør ing og datavitenskap i Microsoft Fabric

Kom i gang med Livy API for Fabric Dataingeniør ing ved å opprette en Lakehouse, godkjenne med et Microsoft Entra-apptoken, sende inn enten batch- eller øktjobber fra en ekstern klient til Fabric Spark-databehandling. Du vil oppdage Livy API-endepunktet. sende inn jobber; og overvåk resultatene.

Forutsetning

Velge en REST-API-klient

Du kan bruke ulike programmeringsspråk eller GUI-klienter til å samhandle med REST API-endepunkter. I denne artikkelen bruker vi Visual Studio Code. Visual Studio Code må konfigureres med Jupyter-notatblokker, PySpark og Microsoft Authentication Library (MSAL) for Python

Slik godkjenner du Livy API-forespørsler

Hvis du vil arbeide med Stoff-API-er, inkludert Livy API, må du først opprette et Microsoft Entra-program og skaffe et token. Programmet må være registrert og konfigurert tilstrekkelig til å utføre API-anrop mot Fabric. Hvis du vil ha mer informasjon, kan du se Registrere et program med Microsofts identitetsplattform.

Det er mange tillatelser for Microsoft Entra-omfang som kreves for å utføre Livy-jobber. Dette eksemplet bruker enkel Spark-kode + lagringstilgang + SQL:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Item.ReadWrite.All
  • Lakehouse.Execute.All
  • Lakehouse.Read.All
  • Workspace.ReadWrite.All

Skjermbilde som viser Livy API-tillatelser i administrasjonssenteret for Microsoft Entra.

Merk

Under offentlig forhåndsvisning legger vi til noen ekstra detaljerte omfang, og hvis du bruker denne fremgangsmåten, vil Livy-appen brytes når vi legger til disse ekstra omfangene. Kontroller denne listen fordi den oppdateres med de ekstra omfangene.

Noen kunder ønsker mer detaljerte tillatelser enn den forrige listen. Du kan fjerne Item.ReadWrite.All og erstatte med disse mer detaljerte omfangstillatelsene:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Lakehouse.Execute.All
  • Lakehouse.ReadWrite.All
  • Workspace.ReadWrite.All
  • Notebook.ReadWrite.All
  • SparkJobDefinition.ReadWrite.All
  • MLModel.ReadWrite.All
  • MLExperiment.ReadWrite.All
  • Dataset.ReadWrite.All

Når du har registrert programmet, trenger du både program-ID-en (klient) og katalog-ID-en (leier).

Skjermbilde som viser oversikt over Livy API-appen i administrasjonssenteret for Microsoft Entra.

Den godkjente brukeren som kaller Livy-API-en, må være et arbeidsområdemedlem der både API-en og datakildeelementene er plassert med en bidragsyterrolle. Hvis du vil ha mer informasjon, kan du se Gi brukere tilgang til arbeidsområder.

Slik oppdager du Fabric Livy API-endepunktet

En Lakehouse-artefakt er nødvendig for å få tilgang til Livy-endepunktet. Når Lakehouse er opprettet, kan Livy API-endepunktet være plassert i innstillingspanelet.

Skjermbilde som viser Livy API-endepunkter i Lakehouse-innstillinger.

Endepunktet for Livy-API-en følger dette mønsteret:

https://api.fabric.microsoft.com/v1/workspaces/ < >ws_id/lakehouses/<lakehouse_id>/livyapi/versions/2023-12-01/

NETTADRESSEn legges til med økter <> eller <grupper>, avhengig av hva du velger.

Integrering med stoffmiljøer

For hvert Fabric-arbeidsområde klargjøres et standard startutvalg, kjøringen av all spark-koden bruker dette startutvalget som standard. Du kan bruke Stoffmiljøer til å tilpasse Livy API Spark-jobbene.

Last ned Livy API Swagger-filene

De fullstendige swagger-filene for Livy-API-en er tilgjengelige her.

Sende inn en Livy API-jobb

Nå som oppsettet av Livy-API-en er fullført, kan du velge å sende inn enten satsvise jobber eller øktjobber.

Slik overvåker du forespørselsloggen

Du kan bruke overvåkingshuben til å se dine tidligere Livy API-innsendinger, og feilsøke eventuelle innsendingsfeil.

Skjermbilde som viser tidligere Livy API-innsendinger i overvåkingshuben.

Relatert innhold