Kuormituksen hallinta
Koskee:✅ SQL-analytiikan päätepiste ja Microsoft Fabric -varasto
Tässä artikkelissa kuvataan Microsoft Fabric -tietovarastoinnin taustalla olevaa arkkitehtuuria ja kuormituksen hallintaa.
Tietojenkäsittely
Warehouse- ja SQL-analytiikan päätepisteillä on sama pohjana oleva käsittelyarkkitehtuuri. Kun tietoja noudetaan tai käsitellään, se hyödyntää hajautettua moduulia, joka on luotu sekä pienille että suurikokoisille tiedoille että laskennallisiin funktioihin.
Käsittelyjärjestelmä on palvelimeton, sillä taustakäsittelykapasiteetti skaalautuu ylös ja alas itsenäisesti työmäärän vaatimusten täyttämiseksi.
Kun kysely lähetetään, SQL-edusta (FE) suorittaa kyselyn optimoinnin määrittääkseen parhaan palvelupaketin tietojen koon ja monimutkaisuuden perusteella. Kun palvelupaketti on luotu, se annetaan Distributed Query Processing (DQP) -moduulille. DQP järjestää kyselyn jaetun suorituksen jakamalla sen pienempiin kyselyihin, jotka suoritetaan taustan käsittelysolmuissa. Kutakin pientä kyselyä kutsutaan tehtäväksi ja se edustaa hajautettua suoritusyksikköä. Se lukee tiedostoja OneLakesta, liittää tuloksia muista tehtävistä, ryhmistä tai tilaa muista tehtävistä noudettuja tietoja. Tietojen käsittelytöissä se myös kirjoittaa tiedot asianmukaisiin kohdetaulukoihin.
Kun tietoja käsitellään, tulokset palautetaan SQL-edustalle siitä, miten ne toimivat takaisin käyttäjälle tai kutsuvat sovellusta.
Joustavuus ja vikasietoisuus
Taustalaskennan kapasiteetti hyötyy nopeasta valmisteluarkkitehtuurista. Vaikka resurssimäärityksiä ei ole saatavilla, uudet solmut hankitaan yleensä muutaman sekunnin kuluessa. Resurssien kysynnän kasvaessa uudet kuormitukset käyttävät skaalatun kapasiteetin käyttöä. Skaalaus on online-toiminto, ja kyselyn käsittely keskeytyy.
Järjestelmä on vikasietoinen, ja jos solmusta tulee epäterveellinen, solmussa suoritettavat toiminnot jaetaan terveille solmuille loppuun suorittamista varten.
Varaston ja SQL-analytiikan päätepiste tarjoavat purskettavan kapasiteetin , jonka avulla kuormitukset voivat käyttää enemmän resursseja suorituskyvyn parantamiseksi. Lisäksi ne mahdollistavat helpotuksen asiakkaille, jotka luovat äkillisiä kuormituksia ruuhka-aikoinaan, kun heillä on paljon käyttämätöntä kapasiteettia. Tasaaminen yksinkertaistaa kapasiteetin hallintaa levittämällä käsittelyn arviointia, jotta asiakastyöt sujuvat sujuvasti ja tehokkaasti.
Ajoittaminen ja hankinta
Hajautettu kyselyjen käsittelyn ajoitus toimii tehtävän tasolla. Kyselyt esitetään ajoitustoiminnolle suunnattuna syklisenä kaaviona (DAG). Spark-käyttäjät tuntevat tämän käsitteen. DAG mahdollistaa rinnakkaisuuden ja samanaikaisuuden, sillä tehtävät, jotka eivät ole riippuvaisia toisistaan, voidaan suorittaa samanaikaisesti tai epäkunnossa.
Kun kyselyt saapuvat, heidän tehtävänsä ajoitetaan FIFO-periaatteiden mukaisesti. Jos käyttämättömyyskapasiteettia on, ajoitustoiminto saattaa käyttää "parhaiten sopivaa" lähestymistapaa samanaikaisuuden optimoinniin.
Kun ajoitustoiminto tunnistaa hankintapaineen, se käynnistää skaalaustoiminnon. Skaalausta hallitaan itsenäisesti ja taustatopologia kasvaa samanaikaisuuden kasvaessa. Koska solmujen hankinta kestää muutaman sekunnin, järjestelmää ei ole optimoitu hajautettua käsittelyä edellyttävien kyselyiden jatkuvaa alisekunnin suorituskykyä varten.
Kun paine pienenee, taustatopologia skaalautuu takaisin alaspäin ja vapauttaa resurssin takaisin alueelle.
Tietojen eristäminen
Koskee:✅ Microsoft Fabric -varasto
Microsoft Fabricin varaston taustalaskentavarannossa aktiviteettien lataaminen edellyttää resurssien eristämistä analyyttisista kuormituksista. Tämä parantaa suorituskykyä ja luotettavuutta, sillä käsittelytyöt voidaan suorittaa erillisille solmuille, jotka on optimoitu ETL:ää varten eivätkä kilpaile muiden kyselyjen tai resurssien sovellusten kanssa.
Istunnot
Warehouse- ja SQL-analytiikan päätepisteen käyttäjäistunnon raja työtilaa kohden on 724. Kun tämä raja saavutetaan, palautetaan virhe: The user session limit for the workspace is 724 and has been reached.
Muistiinpano
Microsoft Fabric on SaaS-ympäristö, ja monet järjestelmäyhteydet toimivat jatkuvasti ympäristön optimoimiseksi. DMV-näkymät näyttävät sekä järjestelmä- että käyttäjäistunnot. Katso lisätietoja artikkelista Valvo DMV-tiedostojen käyttöä.
Parhaat käytännöt
Microsoft Fabric -työtila tarjoaa jaetun käsittelyjärjestelmän luonnollisen eristämisen rajan. Kuormitukset voivat hyödyntää tätä rajaa sekä kustannusten että suorituskyvyn hallinnassa.
OneLake-pikakuvakkeiden avulla voidaan luoda vain luku -replikoita muiden työtilojen taulukoista, jotta kuormitusta voidaan jakaa useille SQL-moottoreille, mikä luo eristysrajan. Tämä voi tehokkaasti suurentaa vain luku -kyselyitä suorittavien istuntojen enimmäismäärää.
