Jaa


Mukautettujen Spark-uima-altaiden luominen Microsoft Fabricissa

Tässä asiakirjassa kerrotaan, miten voit luoda mukautettuja Apache Spark -varannot Microsoft Fabricissa analytiikkakuormituksia varten. Apache Spark -varannon avulla käyttäjät voivat luoda räätälöityjä käsittelyympäristöjä erityisvaatimusten perusteella ja varmistaa optimaalisen suorituskyvyn ja resurssien käytön.

Voit määrittää automaattisen skaalauksen solmujen vähimmäis- ja enimmäisarvot. Näiden arvojen perusteella järjestelmä hankkii ja poistaa solmut dynaamisesti, kun työn käsittelyvaatimukset muuttuvat, mikä tehostaa skaalausta ja parantaa suorituskykyä. Suoritettavan kohteen dynaaminen varaaminen Spark-varannossa lievittää myös manuaalisen suoritettavan suoritettavan tiedoston määrittämisen tarvetta. Sen sijaan järjestelmä säätää suoritettavien suoritusten määrää tietojen määrän ja työtason käsittelytarpeiden mukaan. Tämän prosessin avulla voit keskittyä kuormituksiisi huolehtimatta suorituskyvyn optimoimisesta ja resurssien hallinnasta.

Muistiinpano

Jotta voit luoda mukautetun Spark-varannon, tarvitset järjestelmänvalvojan käyttöoikeuden työtilaan. Kapasiteetin järjestelmänvalvojan on otettava käyttöön Mukautettujen työtilojen varannot -asetus Kapasiteetin Hallinta -asetusten Spark Compute -osassa. Lisätietoja on artikkelissa Fabric-kapasiteettien Spark-käsittely Asetukset.

Mukautettujen Spark-uima-altaan luominen

Työtilaasi liittyvän Spark-varannon luominen tai hallinta:

  1. Siirry työtilaasi ja valitse Työtilan asetukset.

    Screenshot showing where to select Data Engineering in the Workspace settings menu.

  2. Laajenna valikko valitsemalla Data-asiantuntija/Tiede ja valitse sitten Spark Compute.

    Screenshot showing Spark Settings detail view.

  3. Valitse Uusi uima-allas - vaihtoehto. Anna Spark-varannolle nimi Luo varannon -näytössä. Valitse myös Solmu-perhe ja valitse solmukoko käytettävissä olevista koista (pieni, keskikokoinen, suuri, X-suuri ja XX-suuri) työkuormiesi käsittelyvaatimusten mukaan.

    Screenshot showing custom pool creation options.

  4. Voit määrittää mukautettujen varantojen solmujen vähimmäismääritykseksi 1. Koska Fabric Spark tarjoaa palautettavan käytettävyyden klustereille, joilla on yksi solmu, sinun ei tarvitse huolehtia työn epäonnistumisesta, istunnon menettämisestä virheiden aikana tai siitä, että maksat käsittelystä pienemmistä Spark-työpaikoista.

  5. Voit ottaa automaattisen skaalauksen käyttöön tai poistaa sen käytöstä mukautetuissa Spark-varannoissa. Kun automaattinen skaalaus on käytössä, varanto hankkii dynaamisesti uudet solmut, jotka ylittävät käyttäjän määrittämän solmun enimmäisrajan, ja poistetaan ne sitten käytöstä työn suorittamisen jälkeen. Tämä ominaisuus varmistaa paremman suorituskyvyn säätämällä resursseja työvaatimusten mukaan. Saat muuttaa Fabric-kapasiteetin SKU:n osana ostettujen kapasiteettiyksiköiden sallittujen solmujen kokoa.

    Screenshot showing custom pool creation options for autoscaling and dynamic allocation.

  6. Voit myös halutessasi ottaa käyttöön dynaamisen suoritettavan tiedostovarauksen Spark-varannolle, joka määrittää automaattisesti käyttäjän määrittämän enimmäisrajan sisältämän optimaalisen määrän suoritettavia tiedostoita. Tämä ominaisuus säätää suoritettavan tiedoston määrää tietojen määrän perusteella, mikä parantaa suorituskykyä ja resurssien käyttöä.

Näiden mukautettujen varantojen oletusarvoinen automaattisen paketin kesto on 2 minuuttia. Kun autopause-kesto saavutetaan, istunto vanhenee ja klustereita ei ole paikannettu. Sinua veloitetaan solmujen määrän ja mukautettujen Spark-varannon käytön keston perusteella.