Del via

Stoff Kjøretid 1.1 (EOSA)

  • Artikkel

Microsoft Fabric Runtime er en Azure-integrert plattform basert på Apache Spark som muliggjør utførelse og administrasjon av Dataingeniør ing og Data Science-opplevelser i Fabric. Dette dokumentet dekker Fabric Runtime 1.1-komponenter og -versjoner.

Advarsel!

Slutt på støttedato for Runtime 1.1 er annonsert som 12. juli 2024. Runtime 1.1, basert på Apache Spark 3.3, vil bli avskrevet og deaktivert per 31. mars 2025. Oppgrader arbeidsområdet og miljøene til Runtime 1.2 eller Runtime 1.3. For fullstendig livssyklus og støttepolicyer for Apache Spark runtimes i Fabric, se livssyklusen til Apache Spark runtimes i Fabric.

Microsoft Fabric Runtime 1.1 er en av kjøretidene som tilbys i Microsoft Fabric-plattformen. Hovedkomponentene i Runtime 1.1 er:

  • Apache Spark 3.3
  • Operativsystem: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Deltasjøen: 2.2
  • R: 4.2.2

Tips

Bruk alltid den nyeste GA-kjøretidsversjonen for produksjonsarbeidsbelastningen, som for øyeblikket er Runtime 1.3.

Microsoft Fabric Runtime 1.1 leveres med en samling standardnivåpakker, inkludert en fullstendig Anaconda-installasjon og vanlige biblioteker for Java/Scala, Python og R. Disse bibliotekene inkluderes automatisk når du bruker notatblokker eller jobber i Microsoft Fabric-plattformen. Se dokumentasjonen for en fullstendig liste over biblioteker.

Microsoft Fabric lanserer regelmessig vedlikeholdsoppdateringer for Runtime 1.1, som leverer feilrettinger, ytelsesforbedringer og sikkerhetsoppdateringer. Å sørge for at du holder deg oppdatert med disse oppdateringene garanterer optimal ytelse og pålitelighet for databehandlingsoppgavene. Hvis du for øyeblikket bruker Runtime 1.1, kan du oppgradere til Runtime 1.3 eller Runtime 1.2 ved å navigere til Innstillinger for > arbeidsområde Dataingeniør ing / Miljø for innstillinger for Science > Spark-innstillinger>.

Skjermbilde som viser hvor du velger kjøretidsversjon.

Nye funksjoner og forbedringer – Apache Spark 3.3.1

Les hele versjonen av produktmerknadene for en bestemt Apache Spark-versjon ved å gå til både Spark 3.3.0 og Spark 3.3.1.

Nye funksjoner og forbedringer - Delta Lake 2.2

Sjekk kilden og fullstendige produktmerknader på Delta Lake 2.2.0.

Standardnivåpakker for Java/Scala

Hvis du vil ha en liste over alle standardnivåpakker for Java, Scala, Python og deres respektive versjoner, kan du se produktmerknadene.

Overføring mellom ulike Apache Spark-versjoner

Overføring av arbeidsbelastningene til Fabric Runtime 1.1 (Apache Spark 3.3) fra en eldre versjon av Apache Spark innebærer en rekke trinn for å sikre en jevn overføring. Denne veiledningen beskriver de nødvendige trinnene for å hjelpe deg med å overføre effektivt og effektivt.

  1. Se gjennom Produktmerknader for Fabric Runtime 1.1, inkludert kontroll av komponenter og standardnivåpakker som er inkludert i kjøretiden, for å forstå de nye funksjonene og forbedringene.

  2. Kontroller kompatibiliteten til det gjeldende oppsettet og alle relaterte biblioteker, inkludert avhengigheter og integreringer. Se gjennom overføringsveiledningene for å identifisere potensielle endringer i brudd:

    • Se gjennom overføringsveiledningen for Spark Core.
    • Se gjennom overføringsveiledningen SQL, Datasett og DataFrame.
    • Hvis løsningen er Apache Spark Structure Streaming-relatert, kan du se gjennom overføringsveiledningen for strukturert strømming.
    • Hvis du bruker PySpark, kan du se gjennom overføringsveiledningen for Pyspark.
    • Hvis du overfører kode fra Koalas til PySpark, kan du se gjennom Koalas til pandas API på Spark migration guide.

  3. Flytt arbeidsbelastningene til Fabric, og sørg for at du har sikkerhetskopier av data og konfigurasjonsfiler i tilfelle du må gå tilbake til den forrige versjonen.

  4. Oppdater eventuelle avhengigheter som den nye versjonen av Apache Spark eller andre Fabric Runtime 1.1-relaterte komponenter kan påvirke, inkludert tredjepartsbiblioteker eller koblinger. Kontroller at du tester de oppdaterte avhengighetene i et oppsamlingsmiljø før du distribuerer til produksjon.

  5. Oppdater Apache Spark-konfigurasjonen på arbeidsbelastningen, inkludert oppdatering av konfigurasjonsinnstillinger, justering av minnetildelinger og endring av eventuelle avskrevne konfigurasjoner.

  6. Endre Apache Spark-programmene (notatblokker og Apache Spark-jobbdefinisjoner) til å bruke de nye API-ene og funksjonene som ble introdusert i Fabric Runtime 1.1 og Apache Spark 3.3. Du må kanskje oppdatere koden for å imøtekomme eventuelle avskrevne eller fjernede API-er, og refaktorere programmene dine for å dra nytte av ytelsesforbedringer og nye funksjoner.

  7. Test de oppdaterte programmene grundig i et oppsamlingsmiljø for å sikre kompatibilitet og stabilitet med Apache Spark 3.3. Utfør ytelsestesting, funksjonell testing og regresjonstesting for å identifisere og løse eventuelle problemer som kan oppstå under overføringsprosessen.

  8. Når du har validert programmene i et oppsamlingsmiljø, distribuerer du de oppdaterte programmene til produksjonsmiljøet. Overvåk ytelsen og stabiliteten til programmene etter overføringen for å identifisere eventuelle problemer som må løses.

  9. Oppdater intern dokumentasjon og opplæringsmateriell for å gjenspeile endringene som ble introdusert i Fabric Runtime 1.1. Sørg for at gruppemedlemmene er kjent med de nye funksjonene og forbedringene for å maksimere fordelene ved overføringen.

Relatert innhold