Työmaksu Apache Sparkissä Microsoft Fabricille
Koskee seuraavia:✅ Microsoft Fabricin tietotekniikka ja datatiede
Apache Spark for Fabric hyödyntää optimistisea työnhakutekniikkaa spark-työpaikkojen ydinvaatimuksen määrittämiseen. Tätä prosessia voidaan soveltaa vuorovaikutteisiin työtehtäviin tai muistikirjojen, lakehouse-työtilojen tai Spark-työmääritysten erätöihin. Se käyttää valitun Spark-varannon vähimmäissolmuasetusta työtilan asetuksissa tai liitetyssä ympäristössä. Jos työtilaan linkitetystä Fabric-kapasiteetista löytyy käytettävissä olevia ytimiä, työ hyväksytään ja sen suorittaminen aloitetaan. Työt aloitetaan vähimmäissolmuasetuksellaan ja ne voidaan skaalata ylöspäin maksimisolmurajoitusten puitteissa työvaiheiden mukaan. Jos Fabric-kapasiteettia hyödyntävien töiden käyttämien ytimien kokonaismäärä on pienempi kuin suurimmat määritetyt purskeytimet, Fabric Sparkin työnmaksu- ja rajoittamiskerros sallii työn skaalautumisen ylöspäin.
Lisätietoja on artikkelissa Samanaikaisuuden rajoitukset ja jonotus Microsoft Fabric Sparkissä.
Miten optimistinen työn myöntäminen toimii?
Fabricissa aloitusaltaissa on oletusarvoisesti vähintään yksi solmu, kun taas mukautettujen altaiden avulla voit määrittää solmujen vähimmäismäärän kuormitustarpeiden mukaan. Automaattinen skaalaus säätää Spark-töiden käsittelyvaatimuksia suoritusvaiheiden aikana määritettyjen vähimmäis- ja enimmäissolmujen puitteissa. Optimistinen työpääsy arvioi työn lähetykset käytettävissä olevien ytimien perusteella ja suorittaa ne vähimmäisytimien avulla. Työt yrittävät kasvaa suurin mahdollinen varattujen solmujen perusteella suorituksen aikana. Skaalauspyynnöt hyväksytään, jos käytettyjen Spark-ytimien kokonaismäärä ylittää määritetyt kapasiteettirajat.
Muistiinpano
Jos käyttö saavuttaa enimmäisrajan ja kaikki Fabric-kapasiteetin ytimet ovat käytössä, kaikki skaalauspyynnöt hylätään. Aktiiviset työt on joko saatava valmiiksi tai peruutettava ytimien vapauttamiseksi.
Miten tämä vaikuttaa työn samanaikaisyyteen?
Työn vähimmäisytimen vaatimus määrittää, voidaanko työ hyväksyä. Jos kapasiteetti on täysin käytössä eikä ytimiä ole jäljellä työn perustarpeiden täyttämiseksi, työ hylätään. Vuorovaikutteiset muistikirjatyöt tai Lakehouse-toiminnot estetään virhesanomalla Ei voi lähettää tätä pyyntöä, koska kaikkea käytettävissä olevaa kapasiteettia käytetään parhaillaan. Peruuta käynnissä oleva työ, suurenna käytettävissä olevaa kapasiteettia tai yritä myöhemmin uudelleen. Erätyöt asetetaan jonoon ja suoritetaan, kun ytimet tulevat käyttöön.
Ajatellaan esimerkiksi skenaariota, jossa käyttäjä käyttää Fabric F32 -kapasiteetin SKU:ta. Olettaen, että kaikki työt käyttävät oletusaloitusvarannon määritystä ilman optimistisea työpaikan valintaa, kapasiteetti tukisi enintään kolmen työpaikan samanaikaiuutta. Ytimien enimmäismäärä työtä kohti varataan solmujen enimmäismäärän määrityksen mukaan.
Optimistisen työn sisäänpääsyn kanssa, jossa on sama kapasiteetti kuin edellä, 24 työpaikkaa voidaan ottaa vastaan ja suorittaa käyttämällä vähimmäissolmumääritystään suurimman samanaikaisuusskenaarion aikana. Jokainen työ vaatii 8 Spark VCorea, joissa yksi solmun vähimmäismääritys on keskikokoinen.
Skaalaustyöt Spark-automaattisen skaalauksen avulla
Kun otat käyttöön automaattisen skaalauksen Spark-varannossa, työt suoritetaan vähimmäissolmumäärityksensä kanssa. Suorituksen aikana skaalaus voi ilmetä. Nämä pyynnöt kulkevat työn sisäänoton valvonnan kautta. Hyväksytyt pyynnöt skaalautuvat enimmäisrajaan asti käytettävissä olevien ytimien kokonaismäärän perusteella. Hylätyt pyynnöt eivät vaikuta aktiivisiin työpaikkoihin. Niiden nykyisiä määrityksiä jatketaan, kunnes ytimet tulevat saataville.
Muistiinpano
Kun haluat varmistaa työn ydinvarauksen mahdollisimman hyvin solmujen enimmäismäärityksen mukaan, poista automaattinen skaalaus käytöstä ja määritä solmujen enimmäismäärä Fabric-kapasiteetin SKU:ssa. Tässä tapauksessa, koska työllä ei ole ydinvaatimusta vähimmäismäärää, se alkaa suorittaa sitä, kun maksuttomat ytimet ovat käytettävissä, skaalaamalla ylöspäin määritettyä summaa. Jos kapasiteetti on täysin käytössä, muistikirjojen vuorovaikutteiset työt voivat hidastua tai lisätä jonoon. Jonossa olevat työt yritetään automaattisesti uudelleen, kun ytimet tulevat saataville.
Liittyvä sisältö
- Aloita Spark-työtilan hallinta-asetusten käyttö Microsoft Fabricissa.
- Tutustu Fabric-tietotekniikan ja datatieteen Spark-laskentaan.
- Lue lisätietoja Fabric Sparkin samanaikaisuus- ja jonotusrajoituksista.