Dela via

Infrastrukturkörning 1.1 (EOSA)

  • Artikel

Microsoft Fabric Runtime är en Azure-integrerad plattform baserad på Apache Spark som möjliggör körning och hantering av Dataingenjör ing- och Datavetenskap-upplevelser i Fabric. Det här dokumentet beskriver komponenterna och versionerna av Fabric Runtime 1.1.

Varning

Slutdatumet för support för Runtime 1.1 har meddelats den 12 juli 2024. Runtime 1.1, baserat på Apache Spark 3.3, kommer att vara inaktuell och inaktiverad från och med den 31 mars 2025. Uppgradera din arbetsyta och dina miljöer till Runtime 1.2 eller Runtime 1.3. Fullständiga livscykel- och supportprinciper för Apache Spark-körningar i Infrastruktur finns i Livscykel för Apache Spark-körningar i Infrastrukturresurser.

Microsoft Fabric Runtime 1.1 är en av de körningar som erbjuds på Microsoft Fabric-plattformen. Huvudkomponenterna i Runtime 1.1 är:

  • Apache Spark 3.3
  • Operativsystem: Ubuntu 18.04
  • Java: 1.8.0_282
  • Scala: 2.12.15
  • Python: 3.10
  • Delta lake: 2.2
  • R: 4.2.2

Dricks

Använd alltid den senaste GA-körningsversionen för din produktionsarbetsbelastning, som för närvarande är Runtime 1.3.

Microsoft Fabric Runtime 1.1 levereras med en samling standardnivåpaket, inklusive en fullständig Anaconda-installation och vanliga bibliotek för Java/Scala, Python och R. Dessa bibliotek inkluderas automatiskt när du använder notebook-filer eller jobb i Microsoft Fabric-plattformen. I dokumentationen finns en fullständig lista över bibliotek.

Microsoft Fabric släpper regelbundet underhållsuppdateringar för Runtime 1.1 och levererar felkorrigeringar, prestandaförbättringar och säkerhetskorrigeringar. Att se till att du håller dig uppdaterad med dessa uppdateringar garanterar optimal prestanda och tillförlitlighet för dina databearbetningsuppgifter. Om du för närvarande använder Runtime 1.1 kan du uppgradera till Runtime 1.3 eller Till Runtime 1.2 genom att gå till Arbetsyteinställningar > Dataingenjör ing/Science > Spark Settings > Environment.

Skärmbild som visar var du väljer körningsversion.

Nya funktioner och förbättringar – Apache Spark 3.3.1

Läs den fullständiga versionen av viktig information för en specifik Apache Spark-version genom att besöka både Spark 3.3.0 och Spark 3.3.1.

Nya funktioner och förbättringar – Delta Lake 2.2

Kontrollera källan och fullständiga viktig information på Delta Lake 2.2.0.

Standardnivåpaket för Java/Scala

En lista över alla standardnivåpaket för Java, Scala, Python och deras respektive versioner finns i viktig information.

Migrering mellan olika Apache Spark-versioner

Att migrera dina arbetsbelastningar till Fabric Runtime 1.1 (Apache Spark 3.3) från en äldre version av Apache Spark innebär en rad steg för att säkerställa en smidig migrering. Den här guiden beskriver de steg som krävs för att hjälpa dig att migrera effektivt och effektivt.

  1. Läs viktig information om Fabric Runtime 1.1, inklusive kontroll av komponenter och standardnivåpaket som ingår i körningen, för att förstå de nya funktionerna och förbättringarna.

  2. Kontrollera kompatibiliteten för den aktuella installationen och alla relaterade bibliotek, inklusive beroenden och integreringar. Granska migreringsguiderna för att identifiera potentiella icke-bakåtkompatibla ändringar:

    • Läs migreringsguiden för Spark Core.
    • Granska migreringsguiden för SQL, Datasets och DataFrame.
    • Om din lösning är relaterad till Apache Spark Structure Streaming läser du migreringsguiden för strukturerad direktuppspelning.
    • Om du använder PySpark läser du migreringsguiden för Pyspark.
    • Om du migrerar kod från Koalas till PySpark läser du migreringsguiden Koalas till Pandas API i Spark.

  3. Flytta dina arbetsbelastningar till Infrastrukturresurser och se till att du har säkerhetskopior av dina data och konfigurationsfiler om du behöver återgå till den tidigare versionen.

  4. Uppdatera eventuella beroenden som den nya versionen av Apache Spark eller andra Fabric Runtime 1.1-relaterade komponenter kan påverka, inklusive bibliotek eller anslutningsappar från tredje part. Se till att testa de uppdaterade beroendena i en mellanlagringsmiljö innan du distribuerar till produktion.

  5. Uppdatera Apache Spark-konfigurationen för din arbetsbelastning, inklusive uppdatering av konfigurationsinställningar, justering av minnesallokeringar och ändring av inaktuella konfigurationer.

  6. Ändra dina Apache Spark-program (notebook-filer och Apache Spark-jobbdefinitioner) så att de använder de nya API:erna och funktionerna som introducerades i Fabric Runtime 1.1 och Apache Spark 3.3. Du kan behöva uppdatera koden för att hantera inaktuella eller borttagna API:er och omstrukturera dina program för att dra nytta av prestandaförbättringar och nya funktioner.

  7. Testa dina uppdaterade program noggrant i en mellanlagringsmiljö för att säkerställa kompatibilitet och stabilitet med Apache Spark 3.3. Utför prestandatestning, funktionell testning och regressionstestning för att identifiera och lösa eventuella problem som kan uppstå under migreringsprocessen.

  8. När du har verifierat dina program i en mellanlagringsmiljö distribuerar du de uppdaterade programmen till produktionsmiljön. Övervaka prestanda och stabilitet för dina program efter migreringen för att identifiera eventuella problem som behöver åtgärdas.

  9. Uppdatera din interna dokumentation och ditt utbildningsmaterial så att de återspeglar de ändringar som introducerades i Fabric Runtime 1.1. Se till att dina teammedlemmar är bekanta med de nya funktionerna och förbättringarna för att maximera fördelarna med migreringen.

Relaterat innehåll