Fabric Runtime 1.1 (EOSA)
Microsoft Fabric Runtime on Azuren integroitu Apache Sparkiin perustuva ympäristö, joka mahdollistaa Fabric-tietotekniikka- ja datatiedekokemusten suorittamisen ja hallinnan. Tämä asiakirja kattaa Fabric Runtime 1.1 -komponentit ja -versiot.
Varoitus
Runtime 1.1 -tuen päättymispäiväksi on ilmoitettu 12.7.2024. Apache Spark 3.3:een perustuva Runtime 1.1 poistetaan käytöstä 31.3.2025 alkaen. Päivitä työtila ja ympäristöt Runtime 1.2:ksi tai Runtime 1.3:ksi. Saat Apache Spark -suorituspalvelun täydelliset elinkaari- ja tukikäytännöt Fabricissa artikkelista Apache Spark -suorituspalvelun elinkaari Fabricissa.
Microsoft Fabric Runtime 1.1 on yksi Microsoft Fabric -ympäristön tarjoamista suorituspalveluista. Runtime 1.1:n pääkomponentit ovat seuraavat:
- Apache Spark 3.3
- Käyttöjärjestelmä: Ubuntu 18.04
- Java: 1.8.0_282
- Skalaa: 2.12.15
- Python: 3.10
- Delta Lake: 2.2
- R: 4.2.2
Vihje
Käytä aina tuotantokuormituksessa viimeisintä GA-suorituspalveluversiota, joka on tällä hetkellä Runtime 1.3.
Microsoft Fabric Runtime 1.1 sisältää kokoelman oletustason paketteja, mukaan lukien täydellisen Anaconda-asennuksen ja usein käytetyt kirjastot Java/Scalalle, Pythonille ja R:lle. Nämä kirjastot sisällytetään automaattisesti, kun käytät muistikirjoja tai töitä Microsoft Fabric -ympäristössä. Katso täydellinen kirjastoluettelo dokumentaatiosta.
Microsoft Fabric julkaisee säännöllisesti Runtime 1.1:n ylläpitopäivitykset, jotka tarjoavat ohjelmavirhekorjauksia, suorituskyvyn parannuksia ja suojauskorjauksia. Kun varmistat, että pysyt ajan tasalla näillä päivityksillä, takaa optimaalisen suorituskyvyn ja luotettavuuden tietojenkäsittelytehtäviin. Jos käytät parhaillaan Runtime 1.1:tä, voit päivittää runtime 1.3:een tai Runtime 1.2:een siirtymällä kohtaan Työtilan asetukset > Tietotekniikka / Science > Spark -asetukset > Ympäristö.
Uusia ominaisuuksia ja parannuksia – Apache Spark 3.3.1
Lue tietyn Apache Spark -version julkaisutiedot kokonaan spark-versiosta spark 3.3.0 - ja Spark 3.3.1 -sivuilla.
Uusia ominaisuuksia ja parannuksia - Delta Lake 2.2
Tarkista lähde ja täydelliset julkaisutiedot osoitteesta Delta Lake 2.2.0.
Java/Scalan oletustason paketit
Luettelo kaikista Javan, Scala:n, Pythonin ja niiden versioiden oletustason paketeista on julkaisutiedoissa.
Siirtyminen eri Apache Spark -versioiden välillä
Kuormitusten siirtäminen Fabric Runtime 1.1:een (Apache Spark 3.3) vanhemmasta Apache Spark -versiosta sisältää joukon vaiheita tasaisen siirtymisen varmistamiseksi. Tässä oppaassa on kuvattu tarvittavat vaiheet, joiden avulla voit siirtyä tehokkaasti ja tehokkaasti.
Tutustu Fabric Runtime 1.1 -julkaisutietoihin, kuten suorituspalveluun sisältyvien osien ja oletustason pakettien tarkistamiseen, jotta opit ymmärtämään uudet ominaisuudet ja parannukset.
Tarkista nykyisen määrityksen ja kaikkien liittyvien kirjastojen yhteensopivuus, mukaan lukien riippuvuudet ja integroinnit. Tarkastele siirto-oppaita tunnistaaksesi mahdolliset rikkomismuutokset:
- Tutustu Spark Core - siirto-oppaaseen.
- Tutustu SQL:n , tietojoukkojen ja DataFrame-siirto-oppaan ohjeeseen.
- Jos ratkaisusi liittyy Apache Spark -rakenteen suoratoistoon, tarkista structured streaming -siirto-opas.
- Jos käytät PySparkia, tarkista Pyspark-siirto-opas.
- Jos siirrät koodin Koalasista PySparkiin, tutustu Koalas pandas-ohjelmointirajapintaan Spark-siirto-oppaassa.
Siirrä kuormituksesi Fabric-tiedostoon ja varmista, että sinulla on varmuuskopiot tiedoistasi ja määritystiedostoistasi siltä varalta, että sinun on palattava edelliseen versioon.
Päivitä kaikki riippuvuudet, joihin Apache Sparkin uusi versio tai muu Fabric Runtime 1.1 -komponentti voi vaikuttaa, mukaan lukien kolmannen osapuolen kirjastot tai liittimet. Varmista, että testaat päivitetyt riippuvuudet valmisteluympäristössä ennen käyttöönottoa tuotantoon.
Päivitä kuormituksesi Apache Spark -määritykset, kuten määritysasetusten päivittäminen, muistin varausten säätäminen ja vanhentuneet määritykset.
Muokkaa Apache Spark -sovelluksia (muistikirjoja ja Apache Spark -työmääritelmiä) ja käytä uusia ohjelmointirajapintoja ja ominaisuuksia, jotka esitellään Fabric Runtime 1.1:ssä ja Apache Spark 3.3:ssa. Sinun täytyy ehkä päivittää koodisi, jotta se mahtuu vanhentuneeseen tai poistettuun ohjelmointirajapintaan, ja muodostaa sovellukset uudelleen, jotta voit hyödyntää suorituskyvyn parannuksia ja uusia toimintoja.
Testaa päivitetyt sovellukset perusteellisesti valmisteluympäristössä yhteensopivuuden ja vakauden varmistamiseksi Apache Spark 3.3:n kanssa. Suorita suorituskykytestaus, toiminnallinen testaus ja regressiotestaus siirtoprosessin aikana mahdollisten ongelmien tunnistamiseksi ja ratkaisemiseksi.
Kun olet vahvistanut sovellukset valmisteluympäristössä, ota päivitetyt sovellukset käyttöön tuotantoympäristössäsi. Valvo sovellusten suorituskykyä ja vakautta siirron jälkeen ja tunnista mahdolliset ongelmat, jotka on käsiteltävä.
Päivitä sisäinen dokumentaatio ja koulutusmateriaali Vastaamaan Fabric Runtime 1.1:ssä käyttöön otettuja muutoksia. Varmista, että tiimin jäsenet tuntevat uudet ominaisuudet ja parannukset ja maksimoivat siirtymisen edut.