Apache Spark -sovellusten resurssien käytön valvonta
Resurssit-välilehden suoritettavan suoritustiedoston käyttökaavio visualisoi spark-suoritustiedostojen varaamisen ja käytön nykyiselle Spark-sovellukselle lähes reaaliaikaisesti Spark-suorituksen aikana. Kaavio tarjoaa myös vuorovaikutteisen käyttökokemuksen, jonka avulla voit tarkastella Spark-töitä ja tehtäviä napsauttamalla suoritettavien suoritusten suorittamista tietyllä hetkellä. Tällä hetkellä vain Sparkin suorituksenaikainen versio 3.4 tai uudempi versio tukee tätä ominaisuutta.
Resurssit-välilehti
Napsauttamalla Resources -välilehteä voit käyttää kaaviota, jossa on neljä erillistä viivakaaviota. Kukin kuvaa eri suoritettavan tiedoston tilaa: Running, Idled, Allocated, and Maximum instances.
Running: Tämä näyttää Spark-sovelluksen Spark-töiden ja -tehtävien suorittamiseen käyttämien ydinten todellisen määrän.
Idled: Tämä edustaa niiden ydinten määrää, jotka ovat käytettävissä, mutta eivät käytössä Spark-sovelluksen suorittamisen aikana.
Varattu: Tämä viittaa ytimään, jotka on kohdistettu Spark-sovelluksen toiminnan aikana.
Esiintymien enimmäismäärä -: Tämä ilmaisee ytimien enimmäismäärän, joka voidaan varata Spark-sovellukselle.
Vaihda värin selitteen avulla voit valita vastaavan kaavion tai poistaa sen valinnan resurssien käyttökaaviosta.
Resurssien käytön kaavio on vuorovaikutteinen. Kun viet hiiren käynnissä olevan suoritettavan suoritustiedoston ytimien kaavion päälle, näkyviin tulee yhteenveto ytimista ja vastaavista suoritettavan tiedoston tiedoista. Napsauttamalla pistettä käynnissä olevalla suoritettavan suoritustiedoston ydinrivillä näet kyseisenä hetkenä yksityiskohtaisia tietoja asianomaisesta suoritettavasta tiedostosta ja työstä, jotka näytetään kaavion alareunassa.
Muistiinpano
Joissakin tapauksissa tietyissä aikapisteissä tehtävien määrä voi ylittää suoritettavan ytimien kapasiteetin (ts. tehtävien numerot > suoritettavan kohteen kokonaisydintä / spark.task.cpus). Tämä on odotettavissa, sillä tehtävän suorittamisen ja sen todellisen suorittamisen välillä voi olla aikaero suoritettavan kohteen ytimessä. Siksi jotkin tehtävät saattavat näkyä käynnissä olevina, mutta ne eivät toimi aktiivisesti missään ytimessä.
Aiheeseen liittyvä sisältö
Yleiskatsaus Fabric Spark -valvonnasta, Spark-sovellusten valvonnasta ja muistikirja-kontekstiseurannasta on seuraavissa materiaaleissa: