Apache Spark -sovelluksen yksityiskohtien valvonta
Microsoft Fabricilla voit Apache Sparkin avulla suorittaa muistikirjoja, töitä ja muita sovelluksia työtilassasi. Tässä artikkelissa kerrotaan, miten voit seurata Apache Spark -sovellustasi, jotta voit pitää silmällä viimeisintä suoritustilaa, ongelmia ja työsi edistymistä.
Näytä Apache Spark -sovellukset
Voit tarkastella kaikkia Apache Spark -sovelluksia Spark-työmäärityksestä, tai muistikirjakohteen pikavalikossa näkyy viimeisin suoritusvaihtoehto –> Viimeaikaiset suoritukset.
Voit valita sovellusluettelossa tarkasteltavan sovelluksen nimen sovelluksen tietosivulla.
Apache Spark -sovelluksen tilan valvonta
Avaa muistikirjan Viimeisimmät suorittamiset -sivu tai Spark-työmääritelmä. Voit tarkastella Apache-sovelluksen tilaa.
- Onnistui
- Jonossa
- Keskeytetty
- Peruutettu
- Epäonnistui
Projektit
Avaa Apache Spark -sovellustyö Spark-työmääritelmä- tai muistikirjakohteen pikavalikosta>sivu.
Apache Spark -sovelluksen valvontatietosivulla työn suoritusluettelo näytetään Työt-välilehdellä. Siellä voit tarkastella kunkin työn tietoja, mukaan lukien työn tunnus, kuvaus, tila, vaiheet, tehtävät, kesto, käsitelty, tietojen lukeminen, kirjoitettu tieto ja koodikatkelma.
- Työtunnuksen napsauttaminen voi laajentaa tai kutistaa työn.
- Napsauta työn kuvausta, voit siirtyä työn tai vaiheen sivulle spark-käyttöliittymässä.
- Napsauta koodikatkelman työtä, niin voit tarkistaa ja kopioida tähän työhön liittyvän koodin.
Varat
Resources -välilehden suoritettavan tiedoston käyttökaavio visualisoi Spark-suoritusten varaamisen ja käytön nykyiselle Spark-sovellukselle lähes reaaliaikaisesti Spark-suorituksen aikana. Voit viitata seuraaviin: Monitor Apache Spark Applications Resource Utilization.
Yhteenvetopaneeli
Avaa yhteenvetopaneeli tai kutista se napsauttamalla Apache Spark -sovelluksen valvontasivulla Ominaisuudet-painiketta . Voit tarkastella tämän sovelluksen tietoja kohdassa Tiedot.
- Tämän spark-sovelluksen tila.
- Tämän Spark-sovelluksen tunnus.
- Kokonaiskesto.
- Tämän spark-sovelluksen keston suorittaminen.
- Tämän spark-sovelluksen jonossa olevan keston.
- Livy ID
- Tämän spark-sovelluksen lähettäjä.
- Tämän spark-sovelluksen lähetysaika.
- Suoritettavien suoritusten määrä.
Lokit
Lokit-välilehdessä voit tarkastella Livyn, Prelaunch:n ja Kuljettajan lokin koko lokia vasemmanpuoleisesta paneelista valituilla eri asetuksilla. Voit myös suoraan noutaa vaaditut lokitiedot etsimällä avainsanoja ja tarkastella lokeja suodattamalla lokin tilan. Lataa lokitiedot paikallisesti valitsemalla Lataa loki.
Joskus lokeja ei ole käytettävissä, kuten työn tila on jonossa ja klusterin luominen epäonnistui.
Reaaliaikaiset lokit ovat käytettävissä vain, kun sovelluksen lähettäminen epäonnistuu ja myös ohjainlokit tarjotaan.
Tiedot
Tiedot-välilehdellä voit kopioida tietoluettelon leikepöydälle, ladata tietoluettelon ja yksittäiset tiedot ja tarkistaa kunkin tiedon ominaisuudet.
- Vasenta ruutua voi laajentaa tai kutistaa.
- Syöte- ja tulostetiedostojen nimi, lukumuoto, koko sekä polku näkyvät tässä luettelossa.
- Syötteessä ja tulosteissa olevat tiedostot voidaan ladata, kopioida polku ja tarkastella ominaisuuksia.
Kohteen tilannevedokset
Kohteen tilannevedokset -välilehden avulla voit selata ja tarkastella Apache Spark -sovellukseen liittyviä kohteita, kuten Muistikirjoja, Spark-työn määritystä ja/tai Putkia. Kohteen tilannevedosten sivulla näytetään koodin ja parametrien arvojen tilannevedos muistikirjojen suoritushetkellä. Se näyttää myös tilannevedoksen kaikista asetuksista ja parametreista Spark-työmääritysten lähetyshetkellä. Jos Apache Spark -sovellus on liitetty jaksoon, liittyvä kohdesivu näyttää myös vastaavan putken ja Spark-aktiviteetin.
Kohteen tilannevedokset -näytössä voit:
- Selata ja siirtyä aiheeseen liittyvissä kohteissa hierarkkisessa puussa.
- Napsauta kolmen pisteen kuvaketta Lisää toimintoja -kuvaketta, niin voit suorittaa eri toimintoja.
- Voit tarkastella sen sisältöä napsauttamalla tilannevedoskohdetta.
- Tarkastele navigointipolkua, jotta näet polun valitusta kohteesta pääkansioon.
Muistiinpano
Muistikirjatilannevedokset-ominaisuus ei tällä hetkellä tue muistikirjoja, jotka ovat käynnissä tai samanaikaisissa Spark-istunnossa.
Diagnostiikka
Diagnostiikkapaneeli tarjoaa käyttäjille reaaliaikaisia suosituksia ja virheanalyysia, jotka Spark Advisor luo käyttäjän koodin analyysin kautta. Sisäänrakennettujen mallien avulla Apache Spark Advisor auttaa käyttäjiä välttämään yleisiä virheitä ja analysoi virheitä, joiden vuoksi heidän pääsyynsä tunnistetaan.
Liittyvä sisältö
Seuraava vaihe Apache Spark -sovelluksen tietojen tarkastelun jälkeen on tarkastella Spark-työn edistymistä muistikirjan solun alapuolella. Voit viitata seuraaviin: