Mukautettujen Spark-uima-altaiden luominen Microsoft Fabricissa

Tässä asiakirjassa kerrotaan, miten voit luoda mukautettuja Apache Spark -varannot Microsoft Fabricissa analytiikkakuormituksia varten. Apache Spark -varannon avulla käyttäjät voivat luoda räätälöityjä käsittelyympäristöjä erityisvaatimusten perusteella ja varmistaa optimaalisen suorituskyvyn ja resurssien käytön.

Voit määrittää automaattisen skaalauksen solmujen vähimmäis- ja enimmäisarvot. Näiden arvojen perusteella järjestelmä hankkii ja poistaa solmut dynaamisesti, kun työn käsittelyvaatimukset muuttuvat, mikä tehostaa skaalausta ja parantaa suorituskykyä. Suoritettavan kohteen dynaaminen varaaminen Spark-varannossa lievittää myös manuaalisen suoritettavan suoritettavan tiedoston määrittämisen tarvetta. Sen sijaan järjestelmä säätää suoritettavien suoritusten määrää tietojen määrän ja työtason käsittelytarpeiden mukaan. Tämän prosessin avulla voit keskittyä kuormituksiisi huolehtimatta suorituskyvyn optimoimisesta ja resurssien hallinnasta.

Muistiinpano

Jotta voit luoda mukautetun Spark-varannon, tarvitset järjestelmänvalvojan käyttöoikeuden työtilaan. Kapasiteetin järjestelmänvalvojan on otettava käyttöön Mukautettujen työtilojen varannot -asetus Kapasiteetin järjestelmänvalvojan asetusten-Spark Compute -osassa. Lisätietoja on artikkelissa Fabric-kapasiteettien Spark-käsittelyasetukset.

Mukautettujen Spark-uima-altaan luominen

Työtilaasi liittyvän Spark-varannon luominen tai hallinta:

1. Siirry työtilaasi ja valitse Työtilan asetukset.

2. Laajenna valikko valitsemalla Tietotekniikka/tiede -vaihtoehto ja valitse sitten Spark-asetukset.

   

3. Valitse Uusi -vaihtoehto. Anna Luo varanto -näytössä nimi Spark-varanto. Valitse myös Node -perhe -, ja valitse Solmun koko käytettävissä olevista koista (Small, Medium, Large, X-Largeja XX-Large) kuormitusten käsittelyvaatimusten mukaan.

   

4. Voit määrittää mukautettujen varantojen solmujen vähimmäismääritykseksi 1. Koska Fabric Spark tarjoaa palautettavan käytettävyyden klustereille, joilla on yksi solmu, sinun ei tarvitse huolehtia työn epäonnistumisesta, istunnon menettämisestä virheiden aikana tai siitä, että maksat käsittelystä pienemmistä Spark-työpaikoista.

5. Voit ottaa automaattisen skaalauksen käyttöön tai poistaa sen käytöstä mukautetuissa Spark-varannoissa. Kun automaattinen skaalaus on käytössä, varanto hankkii dynaamisesti uudet solmut, jotka ylittävät käyttäjän määrittämän solmun enimmäisrajan, ja poistetaan ne sitten käytöstä työn suorittamisen jälkeen. Tämä ominaisuus varmistaa paremman suorituskyvyn säätämällä resursseja työvaatimusten mukaan. Saat muuttaa Fabric-kapasiteetin SKU:n osana ostettujen kapasiteettiyksiköiden sallittujen solmujen kokoa.

   

6. Voit myös halutessasi ottaa käyttöön dynaamisen suoritettavan tiedostovarauksen Spark-varannolle, joka määrittää automaattisesti käyttäjän määrittämän enimmäisrajan sisältämän optimaalisen määrän suoritettavia tiedostoita. Tämä ominaisuus säätää suoritettavan tiedoston määrää tietojen määrän perusteella, mikä parantaa suorituskykyä ja resurssien käyttöä.

Näiden mukautettujen varantojen oletusarvoinen automaattisen paketin kesto on 2 minuuttia. Kun autopause-kesto saavutetaan, istunto vanhenee ja klustereita ei ole paikannettu. Sinua veloitetaan solmujen määrän ja mukautettujen Spark-varannon käytön keston perusteella.

Aiheeseen liittyvä sisältö

• Lue lisää Apache Spark julkisesta dokumentaatiosta.
• Aloita Spark -työtilan hallinta -asetusten käyttäminen Microsoft Fabric:ssa.