Jaa

Livy-ohjelmointirajapinnan avulla voit lähettää ja suorittaa Spark-töitä

  • Artikkeli

Muistiinpano

Fabric Data Engineeringin Livy-ohjelmointirajapinta on esikatselussa.

Koskee seuraavia:✅ Microsoft Fabricin tietotekniikka ja datatiede

Aloita Livy-ohjelmointirajapinnan käyttäminen Fabric Data Engineering -suunnittelussa luomalla Lakehouse; todentaminen Microsoft Entra -sovellustunnuksen avulla; lähettää joko erän tai istunnon työt etäasiakkaasta Fabric Spark -käsittelyyn. Voit tutustua Livy-ohjelmointirajapinnan päätepisteeseen. lähetä työt; ja valvoa tuloksia.

Edellytykset

REST-ohjelmointirajapintaasiakkaan valitseminen

Voit käyttää eri ohjelmointikieliä tai GUI-asiakasohjelmia REST-ohjelmointirajapinnan päätepisteiden kanssa vuorovaikuttamiseen. Tässä artikkelissa käytetään Visual Studio Code -. Visual Studio Code on määritettävä Jupyter Notebooksin, PySparkin ja Pythonin Microsoft Authentication Libraryn (MSAL) kanssa.

Livy-ohjelmointirajapintapyyntöjen valtuuttaminen

Jos haluat käyttää Fabric-ohjelmointirajapintoja, kuten Livy-ohjelmointirajapintaa, sinun on ensin luotava Microsoft Entra -sovellus ja hankittava tunnus. Sovellus on rekisteröitävä ja määritettävä riittävästi, jotta se voi suorittaa API-kutsuja Fabricia vastaan. Lisätietoja on kohdassa Sovelluksen rekisteröiminen Microsoftin käyttäjätietoympäristössä.

Livy-töiden suorittamiseen vaaditaan useita Microsoft Entra -vaikutusalueen käyttöoikeuksia. Tässä esimerkissä käytetään yksinkertaista Spark-koodia ja tallennustilan käyttöoikeutta + SQL:ää:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Item.ReadWrite.All
  • Lakehouse.Execute.All
  • Lakehouse.Read.All
  • Workspace.ReadWrite.All

Näyttökuva, jossa näkyy Livy-ohjelmointirajapinnan käyttöoikeudet Microsoft Entra -hallintakeskuksessa.

Muistiinpano

Julkisen esikatselun aikana lisäämme joitakin eriytettyjä vaikutusalueita. Jos käytät tätä lähestymistapaa, livy-sovelluksesi katkeaa, kun lisäämme näitä lisäalueita. Tarkista tämä luettelo, koska se päivitetään lisälaajuuteen.

Jotkut asiakkaat haluavat enemmän eriytettyjä käyttöoikeuksia kuin aiempi luettelo. Voit poistaa Item.ReadWrite.All-arvon ja korvata seuraavilla eriytetymmillä vaikutusalueoikeuksilla:

  • Code.AccessAzureDataExplorer.All
  • Code.AccessAzureDataLake.All
  • Code.AccessAzureKeyvault.All
  • Code.AccessFabric.All
  • Code.AccessStorage.All
  • Lakehouse.Execute.All
  • Lakehouse.ReadWrite.All
  • Workspace.ReadWrite.All
  • Notebook.ReadWrite.All
  • SparkJobDefinition.ReadWrite.All
  • MLModel.ReadWrite.All
  • MLExperiment.ReadWrite.All
  • Dataset.ReadWrite.All

Kun olet rekisteröinyt sovelluksesi, tarvitset sekä Sovelluksen (asiakkaan) tunnuksen että hakemiston (vuokraajan) tunnuksen.

Näyttökuva, jossa näkyy Livy-ohjelmointirajapintasovelluksen yleiskatsaus Microsoft Entra -hallintakeskuksessa.

Livy-ohjelmointirajapintaa kutsuvan todennetun käyttäjän on oltava työtilan jäsen, jossa sekä ohjelmointirajapinnan että tietolähteen kohteet sijaitsevat Osallistuja-roolissa. Lisätietoja on artikkelissa Työtilojen käyttöoikeuksien antaminen käyttäjille.

Fabric Livy -ohjelmointirajapinnan päätepisteen löytäminen

Lakehouse-artefakti vaaditaan Livy-päätepisteen käyttämiseksi. Kun Lakehouse on luotu, Livy-ohjelmointirajapinnan päätepiste voi sijaita asetuspaneelin sisällä.

Näyttökuva, jossa näkyy Livy-ohjelmointirajapinnan päätepisteet Lakehouse-asetuksissa.

Livy-ohjelmointirajapinnan päätepiste noudattaa seuraavaa kaavaa:

https://api.fabric.microsoft.com/v1/workspaces/ < >ws_id/lakehouses/<lakehouse_id>/livyapi/versions/2023-12-01/

URL-osoitteeseen liitetään joko <istuntoja> tai <eriä> sen mukaan, mitä valitset.

Integrointi Fabric-ympäristöihin

Jokaisessa Fabric-työtilassa valmistellaan oletusaloitusvaranto, ja kaiken spark-koodin suorittaminen käyttää oletusarvoisesti tätä aloitussarjaa. Fabric-ympäristöjen avulla voit mukauttaa Livy API Spark -töitä.

Livy API Swagger -tiedostojen lataaminen

Livy-ohjelmointirajapinnan täydet swagger-tiedostot ovat saatavilla täällä.

Livy-ohjelmointirajapintatöiden lähettäminen

Nyt kun Livy-ohjelmointirajapinnan määritys on valmis, voit lähettää joko erän tai istuntotyöt.

Pyyntöhistorian seuranta

Valvontakeskuksen avulla voit tarkastella livy-ohjelmointirajapinnan aiempia lähetyksiä ja korjata lähetysvirheet.

Näyttökuva, jossa näkyvät aiemmat Livy-ohjelmointirajapintalähetykset valvontakeskuksessa.

Liittyvä sisältö