Korkean samanaikaisuuden tila Apache Spark for Fabricissa
Korkean samanaikaisuustilan avulla käyttäjät voivat jakaa samat Spark-istunnot Spark for Fabricissa tietotekniikka- ja tietojenkäsittelykuormituksia varten. Muistikirjan kaltainen kohde käyttää vakiomuotoista Spark-istuntoa suorittamiseen. Spark-istunto voi suuren samanaikaisuuden tilassa tukea useiden kohteiden itsenäistä suorittamista Spark-sovelluksessa olevien yksittäisten luku-eval-tulostussilmukan (REPL) ydinten sisällä. Nämä REPL-ytimet eristävät kunkin kohteen ja estävät paikallisten muistikirjojen muuttujia korvaamasta muuttujia samalla nimellä muista saman istunnon jakaisista muistikirjoista.
Koska istunto on jo käynnissä, tämä tarjoaa käyttäjille välittömän suorituskokemuksen, kun istuntoa käytetään uudelleen useissa muistikirjoissa.
Muistiinpano
Jos käytössä on mukautettuja varantoja, joissa on suuri samanaikaisuustila, käyttäjät saavat 36 kertaa nopeamman istunnon aloituskokemuksen tavalliseen Spark-istuntoon verrattuna.
Tärkeä
Istunnon jakamisen ehdot ovat seuraavat:
- Istuntojen on oltava yhden käyttäjän rajoissa.
- Istunnilla on oltava samat lakehouse-oletusmääritykset.
- Istunnuksilla tulee olla samat Spark-käsittelyominaisuudet.
Osana Spark-istunnon alustamista luodaan REPL-ydin. Aina kun uusi kohde alkaa jakaa samaa istuntoa ja suoritettavat päälliköt jaetaan FAIR-pohjaisesti näihin muistikirjoihin, jotka suoritetaan näissä REPL-ytimissä Spark-sovelluksen sisällä estäen nälkää nälkiintymisskenaariot.
Liittyvä sisältö
- Jos haluat aloittaa suuren samanaikaisuuden tilan käytön muistikirjoissa, katso Suuren samanaikaisuuden tilan määrittäminen Fabric-muistikirjoille.