Tilstanden Høj samtidighed i Apache Spark for Fabric

Høj samtidighedstilstand giver brugerne mulighed for at dele de samme Spark-sessioner i Spark for Fabric til datatekniske og datavidenskabelige arbejdsbelastninger. Et element som en notesbog bruger en Spark-standardsession til udførelse. I tilstanden med høj samtidighed kan Spark-sessionen understøtte uafhængig udførelse af flere elementer i individuelle REPL-kerner (Read-eval-Print Loop), der findes i Spark-programmet. Disse REPL-kerner giver isolation for hvert element og forhindrer, at lokale notesbogvariabler overskrives af variabler med samme navn fra andre notesbøger, der deler den samme session.

Da sessionen allerede kører, giver dette brugerne en øjeblikkelig kørselsoplevelse, når sessionen genbruges på tværs af flere notesbøger.

Bemærk

I tilfælde af brugerdefinerede puljer med høj samtidighedstilstand får brugerne 36X hurtigere startoplevelse for sessioner sammenlignet med en almindelig Spark-session.

Vigtigt

Betingelser for sessionsdeling omfatter:

• Sessioner skal være inden for en enkelt brugergrænse.
• Sessioner skal have den samme standardkonfiguration for lakehouse.
• Sessioner skal have de samme Egenskaber for Spark-beregning.

Som en del af initialiseringen af Spark-sessionen oprettes der en REPL-kerne. Hver gang et nyt element begynder at dele den samme session, og eksekveringsscenarierne allokeres på FAIR-baseret måde til disse notesbøger, der kører i disse REPL-kerner i Spark-programmet, hvilket forhindrer sultscenarier.

Relateret indhold

• Hvis du vil i gang med tilstanden med høj samtidighed i notesbøger, skal du se Konfigurer tilstanden med høj samtidighed for Fabric-notesbøger.