Jaa

Apache Spark -työmääritysten luominen ja hallinta Visual Studio Codessa

  • Artikkeli

Synapsen Visual Studio (VS) -koodilaajennus tukee täysin CURD-toimintoja (luo, päivitä, lue ja poista) Spark-työmääritelmiä Fabricissa. Kun olet luonut Spark-työmääritelmän, voit ladata lisää viitatut kirjastot, lähettää pyynnön Spark-työn määrityksen suorittamiseksi ja tarkistaa suoritushistorian.

Spark-työn määrityksen luominen

Uuden Spark-työn määrityksen luominen:

  1. Valitse VS Code Explorerissa Luo Spark-työn määritys -vaihtoehto.

    VS Code Explorerin näyttökuva, joka näyttää, mistä voit valita Luo spark-työn määritys -vaihtoehdon.

  2. Kirjoita ensimmäiset pakolliset kentät: nimi, viittaukset Lakehouse ja oletus lakehouse.

  3. Pyyntöprosessit ja juuri luomasi Spark-työmääritelmän nimi näkyvät Spark-työnmäärityksen pääsolmussa VS Code Explorerissa. Spark-työn määrityksen nimisolmussa on kolme alisolmua:

    • Tiedostot: Luettelo päämääritelmätiedostosta ja muista viitatuista kirjastoista. Voit ladata uusia tiedostoja tästä luettelosta.
    • Lakehouse: Luettelo kaikista lakehouseista, joihin on viitattu tässä Spark-työn määrityksessä. Oletussäilö on merkitty luetteloon, ja voit käyttää sitä suhteellisen polun Files/…, Tables/…kautta .
    • Suorita: Luettelo tämän Spark-työn määrityksen suoritushistoriasta ja kunkin suorituksen työn tilasta.

Päämääritystiedoston lataaminen viitattuun kirjastoon

Jos haluat ladata päämääritystiedoston tai korvata sen, valitse Lisää päätiedosto - vaihtoehto.

VS Code Explorerin näyttökuva, jossa näkyy Lisää päätiedosto -vaihtoehto.

Jos haluat ladata palveluun kirjastotiedoston, johon päämääritelmätiedosto viittaa, valitse Lisää Lib-tiedosto - vaihtoehto.

Näyttökuva, jossa näkyy Latauskirjasto-painike.

Kun olet ladannut tiedoston, voit ohittaa sen napsauttamalla Päivitä tiedosto -vaihtoehtoa ja lataamalla uuden tiedoston. Voit myös poistaa tiedoston Poista-vaihtoehdon avulla.

VS Code Explorerin näyttökuva, joka näyttää, mistä päivitystiedosto- ja poistoasetukset löytyvät.

Suorita-pyynnön lähettäminen

Voit lähettää pyynnön Spark-työn määrityksen suorittamiseksi VS Codesta seuraavasti:

  1. Valitse suoritettavan Spark-työn määrityksen nimen oikealla puolella olevista vaihtoehdoista Suorita Spark-työ .

    VS Code Explorerin näyttökuva, jossa näkyy, missä voit valita Spark-työn suorittamisen.

  2. Kun olet lähettänyt pyynnön, uusi Apache Spark -sovellus näkyy Resurssienhallinta-luettelon Suorita-solmussa . Voit peruuttaa käynnissä olevan työn valitsemalla Peruuta spark-työ -vaihtoehdon.

    Näyttökuva VS Code Explorerista, jossa on uusi Spark-sovellus Suoritus-solmun alla ja joka näyttää, mistä löydät Peruuta Spark-työn -vaihtoehdon.

Spark-työn määrityksen avaaminen Fabric-portaalissa

Voit avata Spark-työn määrityksen luontisivun Fabric-portaalissa valitsemalla Avaa selaimessa -vaihtoehdon.

Voit myös valita Valmis suoritus -kohdan vieressä Avaa selaimessa , jolloin näet suorituksen yksityiskohtaisen valvontasivun.

VS Code Explorerin näyttökuva, jossa näkyy Avaa selaimessa -vaihtoehdon valitseminen.

Spark-työn määrityksen lähdekoodin (Python) virheenkorjaus

Jos Spark-työn määritys luodaan PySparkin (Python) avulla, voit ladata päämääritystiedoston ja viitatun tiedoston .py komentosarjan ja korjata lähdekomentosarjan VS Codessa.

  1. Voit ladata lähdekoodin valitsemalla Spark-työn määrityksen oikealla puolella olevan Virheenkorjaus Spark-työn määritys -vaihtoehdon.

    Näyttökuva, jossa näkyy Lataa lähde -painike.

  2. Kun lataus on valmis, lähdekoodin kansio avautuu automaattisesti.

  3. Valitse Luota tekijöihin -vaihtoehto pyydettäessä. (Tämä vaihtoehto näkyy vain, kun avaat kansion ensimmäisen kerran. Jos et valitse tätä vaihtoehtoa, et voi korjata lähdekomentosarjaa tai suorittaa sitä. Lisätietoja on kohdassa Visual Studio Code Workspace Trust Security.)

  4. Jos olet ladannut lähdekoodin aiemmin, sinua pyydetään vahvistamaan, että haluat korvata paikallisen version uudella latauksella.

    Huomautus

    Järjestelmä luo lähdekomentosarjan pääkansioon alikansion nimeltä conf. Tässä kansiossa tiedosto nimeltä lighter-config.json sisältää joitakin järjestelmän metatietoja, joita tarvitaan etäsuorausta varten. ÄLÄ tee siihen muutoksia.

  5. tiedosto nimeltä sparkconf.py sisältää koodikatkelman, joka on lisättävä SparkConf-objektin määrittämiseksi. Ota etäkorjaus käyttöön varmista, että SparkConf-objekti on määritetty oikein. Seuraavassa kuvassa näkyy lähdekoodin alkuperäinen versio.

    Koodimallin näyttökuva, joka näyttää lähdekoodin ennen muutosta.

    Seuraava kuva on päivitetty lähdekoodi, kun olet kopioinut ja liittänyt katkelman.

    Koodimallin näyttökuva, joka näyttää lähdekoodin muutoksen jälkeen.

  6. Kun olet päivittänyt lähdekoodin tarvittavalla conf-funktiolla, sinun on valittava oikea Python-tulkki. Varmista, että valitset asennetun synapse-spark-kernel conda -ympäristöstä.

Spark-työmäärityksen ominaisuuksien muokkaaminen

Voit muokata Spark-työmääritysten yksityiskohtaisia ominaisuuksia, kuten komentoriviargumentteja.

  1. Avaa settings.yml tiedosto valitsemalla Päivitä SJD-määritys -vaihtoehto. Olemassa olevat ominaisuudet täyttävät tämän tiedoston sisällön.

    Näyttökuva, jossa näkyy, missä voit valita Päivitä SJD-määritys -vaihtoehdon Spark-työn määritykselle.

  2. Päivitä ja tallenna .yml tiedosto.

  3. Valitse julkaise SJD-ominaisuus oikeassa yläkulmassa synkronoidaksesi muutoksen takaisin etätyötilaan.

    Näyttökuva, jossa näkyy, missä spark-työn määrityksen Julkaise SJD-ominaisuus -vaihtoehto valitaan.

Liittyvä sisältö