Høy samtidighetsmodus i Apache Spark for Fabric

Med høy samtidighetsmodus kan brukere dele de samme Spark-øktene i Spark for Fabric for datateknikk og datavitenskapelige arbeidsbelastninger. Et element som en notatblokk bruker en standard Spark-økt for kjøringen. I høy samtidighetsmodus kan Spark-økten støtte uavhengig kjøring av flere elementer i individuelle repl-kjerner (read-eval-print loop) som finnes i Spark-programmet. Disse REPL-kjernene gir isolering for hvert element, og hindrer at lokale notatblokkvariabler overskrives av variabler med samme navn fra andre notatblokker som deler samme økt.

Ettersom økten allerede kjører, gir dette brukerne en opplevelse med umiddelbar kjøring når de bruker økten på nytt på tvers av flere notatblokker.

Merk

Når det gjelder egendefinerte utvalg med høy samtidighetsmodus, får brukerne 36X raskere øktstartopplevelse sammenlignet med en standard Spark-økt.

Viktig

Øktdelingsbetingelser inkluderer:

• Økter bør være innenfor én enkelt brukergrense.
• Økter bør ha samme standard konfigurasjon av lakehouse.
• Økter bør ha de samme spark-databehandlingsegenskapene.

Som en del av spark-økt-initialiseringen opprettes en REPL-kjerne. Hver gang et nytt element begynner å dele samme økt, og eksekutorene tildeles på FAIR-basert måte til disse notatblokkene som kjører i disse REPL-kjernene i Spark-programmet, forhindrer sultscenarioer.

Relatert innhold

• Hvis du vil komme i gang med høy samtidighetsmodus i notatblokker, kan du se Konfigurere modus for høy samtidighet for Fabric-notatblokker.