Apache Spark -sovelluksen yksityiskohtien valvonta
Microsoft Fabricilla voit Apache Sparkin avulla suorittaa muistikirjoja, töitä ja muita sovelluksia työtilassasi. Tässä artikkelissa kerrotaan, miten voit seurata Apache Spark -sovellustasi, jotta voit pitää silmällä viimeisintä suoritustilaa, ongelmia ja työsi edistymistä.
Näytä Apache Spark -sovellukset
Voit tarkastella kaikkia Apache Spark -sovelluksia Spark-työmäärityksestä, tai muistikirjakohteen pikavalikossa näkyy viimeisin suoritusvaihtoehto –> Viimeaikaiset suoritukset.
Voit valita sovellusluettelossa tarkasteltavan sovelluksen nimen sovelluksen tietosivulla.
Apache Spark -sovelluksen tilan valvonta
Avaa muistikirjan Viimeisimmät suorittamiset -sivu tai Spark-työmääritelmä. Voit tarkastella Apache-sovelluksen tilaa.
- Onnistui
- Jonossa
- Keskeytetty
- Peruutettu
- Epäonnistui
Projektit
Avaa Apache Spark -sovellustyö Spark-työmääritelmä- tai muistikirjakohteen pikavalikosta, jossa näkyy Viimeisin suoritus -vaihtoehto -> Viimeaikaiset suoritukset –> valitse työ viimeaikaisissa suorituksissa -sivu.
Apache Spark -sovelluksen valvontatietosivulla työn suoritusluettelo näytetään Työt-välilehdellä. Siellä voit tarkastella kunkin työn tietoja, mukaan lukien työn tunnus, kuvaus, tila, vaiheet, tehtävät, kesto, käsitelty, tietojen lukeminen, kirjoitettu tieto ja koodikatkelma.
- Työtunnuksen napsauttaminen voi laajentaa tai kutistaa työn.
- Napsauta työn kuvausta, voit siirtyä työn tai vaiheen sivulle spark-käyttöliittymässä.
- Napsauta koodikatkelman työtä, niin voit tarkistaa ja kopioida tähän työhön liittyvän koodin.
Resurssit (esikatselu)
Suoritettavan suoritustiedoston käyttökaavio näyttää visuaalisesti Spark-työn suoritustiedostojen ja resurssien käytön kohdistuksen. Tällä hetkellä vain spark 3.4:n tai uudemmat suorituspalvelutiedot näyttävät tämän ominaisuuden. Valitse resurssit (esikatselu), niin suoritettavan tiedostokäytön neljä tyyppikäyrää luonnostetaan, mukaan lukien käynnissä, idled, varattu, suurin esiintymät.
Kun on käytössä Varattu, viittaa ydintilanteeseen, joka kohdennetaan Spark-sovelluksen suorittamisen aikana.
Kohdassa Maksimiesiintymät viittaa Spark-sovellukselle varattujen ytimien enimmäismäärään.
Kun kyseessä on Suorittaminen, viittaa Spark-sovelluksen käytössä olevien ydinten todelliseen määrään. Napsauta jotakin ajankohtaa, kun spark-sovellus on käynnissä. Näet käynnissä olevan suoritettavan kohteen ydinvarauksen tiedot kaavion alareunassa.
Idled-tapauksessa se on käyttämättömien ytimien määrä Spark-sovelluksen ollessa käynnissä.
Joissakin tapauksissa tehtävien määrä voi joissakin tapauksissa ylittää suoritettavan ytimien kapasiteetin (ts. tehtävänumerot > yhteensä suoritettavan kohteen ytimiä / spark.task.cpus). Tämä on odotetusti, koska käynnissä olevaksi merkityn tehtävän ja suoritettavan tehtävän välillä on aikaero. Jotkin tehtävät voidaan siis näyttää käynnissä oleviksi, mutta niitä ei suoriteta missään ytimessä.
Valitse värikuvake, jos haluat valita vastaavan sisällön tai poistaa sen valinnan koko kaaviosta.
Yhteenvetopaneeli
Avaa yhteenvetopaneeli tai kutista se napsauttamalla Apache Spark -sovelluksen valvontasivulla Ominaisuudet-painiketta . Voit tarkastella tämän sovelluksen tietoja kohdassa Tiedot.
- Tämän spark-sovelluksen tila.
- Tämän Spark-sovelluksen tunnus.
- Kokonaiskesto.
- Tämän spark-sovelluksen keston suorittaminen.
- Tämän spark-sovelluksen jonossa olevan keston.
- Livy ID
- Tämän spark-sovelluksen lähettäjä.
- Tämän spark-sovelluksen lähetysaika.
- Suoritettavien suoritusten määrä.
Lokit
Lokit-välilehdessä voit tarkastella Livyn, Prelaunch:n ja Kuljettajan lokin koko lokia vasemmanpuoleisesta paneelista valituilla eri asetuksilla. Voit myös suoraan noutaa vaaditut lokitiedot etsimällä avainsanoja ja tarkastella lokeja suodattamalla lokin tilan. Lataa lokitiedot paikallisesti valitsemalla Lataa loki.
Joskus lokeja ei ole käytettävissä, kuten työn tila on jonossa ja klusterin luominen epäonnistui.
Reaaliaikaiset lokit ovat käytettävissä vain, kun sovelluksen lähettäminen epäonnistuu ja myös ohjainlokit tarjotaan.
Tiedot
Tiedot-välilehdellä voit kopioida tietoluettelon leikepöydälle, ladata tietoluettelon ja yksittäiset tiedot ja tarkistaa kunkin tiedon ominaisuudet.
- Vasenta ruutua voi laajentaa tai kutistaa.
- Syöte- ja tulostetiedostojen nimi, lukumuoto, koko sekä polku näkyvät tässä luettelossa.
- Syötteessä ja tulosteissa olevat tiedostot voidaan ladata, kopioida polku ja tarkastella ominaisuuksia.
Kohteen tilannevedokset
Kohteen tilannevedokset -välilehden avulla voit selata ja tarkastella Apache Spark -sovellukseen liittyviä kohteita, kuten Muistikirjoja, Spark-työn määritystä ja/tai Putkia. Kohteen tilannevedosten sivulla näytetään koodin ja parametrien arvojen tilannevedos muistikirjojen suoritushetkellä. Se näyttää myös tilannevedoksen kaikista asetuksista ja parametreista Spark-työmääritysten lähetyshetkellä. Jos Apache Spark -sovellus on liitetty jaksoon, liittyvä kohdesivu näyttää myös vastaavan putken ja Spark-aktiviteetin.
Kohteen tilannevedokset -näytössä voit:
- Selata ja siirtyä aiheeseen liittyvissä kohteissa hierarkkisessa puussa.
- Napsauta kolmen pisteen kuvaketta Lisää toimintoja -kuvaketta, niin voit suorittaa eri toimintoja.
- Voit tarkastella sen sisältöä napsauttamalla tilannevedoskohdetta.
- Tarkastele navigointipolkua, jotta näet polun valitusta kohteesta pääkansioon.
Muistiinpano
Muistikirjatilannevedokset-ominaisuus ei tällä hetkellä tue muistikirjoja, jotka ovat käynnissä tai samanaikaisissa Spark-istunnossa.
Diagnostiikka
Diagnostiikkapaneeli tarjoaa käyttäjille reaaliaikaisia suosituksia ja virheanalyysia, jotka Spark Advisor luo käyttäjän koodin analyysin kautta. Sisäänrakennettujen mallien avulla Apache Spark Advisor auttaa käyttäjiä välttämään yleisiä virheitä ja analysoi virheitä, joiden vuoksi heidän pääsyynsä tunnistetaan.
Liittyvä sisältö
Seuraava vaihe Apache Spark -sovelluksen tietojen tarkastelun jälkeen on tarkastella Spark-työn edistymistä muistikirjan solun alapuolella. Voit viitata seuraaviin: