Apache Spark -sovellusten virheenkorjaus ja vianmääritys laajennetun Apache Spark -historiapalvelimen avulla
Tässä artikkelissa on ohjeita siitä, miten voit käyttää laajennettua Apache Spark -historiapalvelinta valmiiden ja suoritettavien Apache Spark -sovellusten virheenkorjaukseen ja vianmääritykseen.
Apache Spark -historiapalvelimen käyttö
Apache Spark -historiapalvelin on valmiiden ja suoritettavien Spark-sovellusten verkkokäyttöliittymä. Voit avata Apache Spark -verkkokäyttöliittymän edistymisen ilmaisinmuistikirjasta tai Apache Spark -sovelluksen tietosivulta.
Avaa Spark-verkkokäyttöliittymä edistymisen ilmaisimen muistikirjasta
Kun Apache Spark -työ käynnistetään, Spark-verkkokäyttöliittymän avaava painike on edistymisilmaisimen Lisää-toimintoasetuksessa. Valitse Spark-verkkokäyttöliittymä ja odota muutama sekunti, niin spark-käyttöliittymäsivu tulee näkyviin.
Avaa Spark-verkkokäyttöliittymä Apache Spark -sovelluksen tietosivulta
Spark-verkkokäyttöliittymä voidaan avata myös Apache Spark -sovelluksen tietosivun kautta. Valitse sivun vasemmasta reunasta Valvontakeskus ja valitse sitten Apache Spark -sovellus. Näkyviin tulee sovelluksen tietosivu.
Jos Apache Spark -sovellus on käynnissä, painikkeessa näkyy Spark-käyttöliittymä. Valitse Spark-käyttöliittymä , niin esiin tulee Spark-käyttöliittymäsivu.
Jos Apache Spark -sovellus on päättynyt, sen tilana voi olla Pysäytetty, Epäonnistunut, Peruutettu tai Valmis. Painikkeessa näkyy Spark-historiapalvelin. Valitse Spark-historiapalvelin , niin esiin tulee Spark-käyttöliittymäsivu.
Apache Spark -historiapalvelimen Kaavio-välilehti
Valitse sen työn tunnus, jota haluat tarkastella. Valitse sitten työkaluvalikosta Kaavio , jotta saat työkaavionäkymän.
Yleiskatsaus
Näet yleiskatsauksen työstäsi luodussa työn kaaviossa. Kaavio näyttää oletusarvoisesti kaikki työt. Voit suodattaa tämän näkymän työtunnuksen mukaan.
Näyttö
Edistyminen-näyttö on valittuna oletusarvoisesti. Voit tarkistaa tietovuon valitsemalla Lue tai Kirjoitettu avattavasta Näytä-luettelosta.
Kaaviosolmu näyttää lämpökartan selitteessä näkyvät värit.
Toisto
Jos haluat toistaa työn, valitse Toisto. Voit lopettaa valitsemalla Lopeta milloin tahansa. Tehtävän värit näyttävät eri tilat toistetaan uudelleen:
| Color | Merkitys |
|---|---|
| Vihreä | Onnistui: Tämä työ on suoritettu onnistuneesti. |
| Oranssi | Uudelleen: Epäonnistuneiden tehtävien esiintymät, jotka eivät vaikuta työn lopulliseen tulokseen. Näissä tehtävissä oli kaksoiskappaleita tai uudelleenyritysten esiintymiä, jotka saattavat onnistua myöhemmin. |
| Sininen | Käynnissä: tehtävä on käynnissä. |
| Valkoinen | Odottaminen tai ohittaminen: Tehtävä odottaa suorittamista, tai vaihe on ohitettu. |
| Punainen | Epäonnistui: tehtävä on epäonnistunut. |
Seuraavassa kuvassa näkyvät vihreät, oranssit ja siniset tilan värit.
Seuraavassa kuvassa näkyvät vihreät ja valkoiset tilan värit.
Seuraavassa kuvassa näkyvät punaisen ja vihreän tilan värit.
Huomautus
Apache Spark -historiapalvelin sallii jokaisen valmiin työn toiston (mutta ei salli keskeneräisten töiden toistoa).
Zoom
Lähennä ja loitonna työkaaviota vierittämällä hiirtä tai sovita se näyttöön valitsemalla Zoomaus .
Vihjeet
Vie hiiren osoitin kaaviosolmulle, jotta näet työkaluvihjeen epäonnistuneiden tehtävien yhteydessä, ja avaa vaihesivu valitsemalla vaihe.
Työkaavio-välilehdessä vaiheissa on työkaluvihje ja pieni kuvake näkyvissä, jos niillä on seuraavia ehtoja täyttävät tehtävät:
| Kunto | Description |
|---|---|
| Tietojen vääristyminen | Tietojen lukemisen keskimääräinen > tietojen lukukoko kaikissa tämän vaiheen tehtävissä * 2 ja tietojen lukukoko > on 10 Mt. |
| Ajan vinouttaminen | Suoritusajan > keskimääräinen suoritusaika kaikissa tämän vaiheen tehtävissä * 2 ja suoritusaika > 2 minuuttia. |
Kaaviosolmukuvaus
Työnkaaviosolmu näyttää seuraavat tiedot kustakin vaiheesta:
- Tunnus
- Nimi tai kuvaus
- Tehtävän numero yhteensä
- Luetut tiedot: syötteen koon summa ja lukukoon sekoittaminen
- Tietojen kirjoitus: tulosteen koon ja funktion kirjoittamisen koon summa
- Suoritusaika: edellisen yrityksen ensimmäisen yrityksen alkamisajan ja valmistumisajan välinen aika
- Rivimäärä: syötetietueiden summa, tulostetietueiden summa, luettujen tietueiden sekoittaminen ja kirjoitustietueiden sekoittaminen
- Edistyminen
Huomautus
Työn kaaviosolmu näyttää oletusarvoisesti kunkin vaiheen viimeisen yrityksen tiedot (lukuun ottamatta vaiheen suoritusaikaa). Toiston aikana kaaviosolmu kuitenkin näyttää tietoja kustakin yrityksestä.
Luku- ja kirjoitustietojen koko on 1 Mt = 1 000 kt = 1 000 * 1 000 tavua.
Anna palautetta
Lähetä palautetta ongelmista valitsemalla Anna meille palautetta.
Vaiheen numerorajoitus
Suorituskykyyn huomioitaessa kaavio on oletusarvoisesti käytettävissä vain, kun Spark-sovelluksessa on alle 500 vaihetta. Jos vaiheita on liikaa, se epäonnistuu ja antaa seuraavankaltaisen virheen:
The number of stages in this application exceeds limit (500), graph page is disabled in this case.
Voit kiertää ongelman käyttämällä tätä Spark-määritystä ennen Spark-sovelluksen aloittamista. Se kasvattaa rajoitusta:
spark.ui.enhancement.maxGraphStages 1000
Huomaa kuitenkin, että tämä saattaa heikentää sivun ja ohjelmointirajapinnan suorituskykyä, koska sisältö voi olla liian suurta selaimelle, jotta sitä voisi noutaa ja hahmontaa.
Tutustu Diagnoosi-välilehteen Apache Spark -historiapalvelimessa
Jos haluat käyttää Diagnoosi-välilehteä, valitse työtunnus. Valitse sitten diagnoosi työkaluvalikosta, jotta saat työn Diagnoosi-näkymän. Diagnoosi-välilehti sisältää Tietojen Skew-, Time Skew- ja Executor-käyttöanalyysit.
Tarkista Tietojen vinous, Ajan vinous ja Suoritettavan kohteen käyttöanalyysi valitsemalla välilehdet tässä järjestyksessä.
Tietojen vinonta
Kun valitset Tiedot-vinon välilehden, vastaavat vinot tehtävät näytetään määritettyjen parametrien perusteella.
Määritä parametrit – Ensimmäisessä osassa näytetään parametrit, joita käytetään tietojen vinoutumisen tunnistamiseen. Oletussääntö on: tehtävätietojen luku on suurempi kuin kolme kertaa keskimääräinen luettava tehtävä ja luetut tehtävän tiedot ovat yli 10 Mt. Jos haluat määrittää oman säännön vinoille tehtäville, voit valita parametrit. Skewed Stage- ja Skew Char -osiot päivitetään vastaavasti.
Vino vaihe : Toisessa osassa näytetään vaiheet, joiden vinot tehtävät täyttävät aiemmin määritetyt ehdot. Jos vaiheessa on useampi kuin yksi vino tehtävä, vino vaihetaulukossa näytetään vain vinoin tehtävä (esimerkiksi tietojen vinoutuvin tieto).
Vino kaavio – Kun vinon vaiheen taulukon rivi valitaan, vino kaavio näyttää enemmän tehtävänjakauman tietoja tietojen luku- ja suoritusajan perusteella. Vinotut tehtävät merkitään punaisella ja normaalit tehtävät sinisellä. Kaaviossa näkyy enintään 100 mallitehtävää, ja tehtävän tiedot näytetään oikeassa alapaneelissa.
Ajan vinonpäivä
Aikavälilehti näyttää vinoja tehtäviä tehtävän suoritusajan mukaan.
Määritä parametrit – Ensimmäisessä osassa näytetään parametrit, joita käytetään aikaeron tunnistamiseen. Oletuskriteeri aika vääristymisen havaitsemiseen on, että tehtävän suoritusaika on suurempi kuin kolme kertaa keskimääräinen suoritusaika ja tehtävän suoritusaika on yli 30 sekuntia. Voit muuttaa parametreja tarpeidesi mukaan. Vino vaihe- ja Vinottu vaihe - ja Vino kaavio -kaavio näyttää vastaavat vaiheet ja tehtävätiedot samalla tavalla kuin aiemmin kuvattu Tietokelta-välilehti .
Valitse Aika Vääristymä, sitten suodatettu tulos näytetään Skewed Stage - osassa Määritä parametrit -osassa määritettyjen parametrien mukaisesti. Valitse yksi kohde Vinottu vaihe - osassa, niin vastaava kaavio on laadittu osassa 3, ja tehtävän tiedot näytetään oikeassa alapaneelissa.
Suoritettavan tiedoston käyttöanalyysi
Tämä ominaisuus on nyt poistettu käytöstä Fabricissa. Jos haluat edelleen käyttää tätä ratkaisuana, siirry sivulle eksplisiittisesti lisäämällä URL-osoitteeseen polun "/executorusage" taakse, kuten tässä:
