Delen via

Fabric Runtime 1.3 (GA)

  • Artikel

Fabric Runtime biedt een naadloze integratie met Azure. Het biedt een geavanceerde omgeving voor zowel data engineering- als data science-projecten die gebruikmaken van Apache Spark. Dit artikel bevat een overzicht van de essentiële functies en onderdelen van Fabric Runtime 1.3, de nieuwste runtime voor big data-berekeningen.

Microsoft Fabric Runtime 1.3 is de nieuwste GA-runtimeversie en bevat de volgende onderdelen en upgrades die zijn ontworpen om uw gegevensverwerkingsmogelijkheden te verbeteren:

  • Apache Spark 3.5
  • Besturingssysteem: Mariner 2.0
  • Java: 11
  • Scala: 2.12.17
  • Python: 3.11
  • Delta Lake: 3.2
  • R: 4.4.1

Tip

Fabric Runtime 1.3 bevat ondersteuning voor de systeemeigen uitvoeringsengine, die de prestaties aanzienlijk kan verbeteren zonder extra kosten. Als u de systeemeigen uitvoeringsengine voor alle taken en notebooks in uw omgeving wilt inschakelen, gaat u naar uw omgevingsinstellingen, selecteert u Spark-berekening, gaat u naar het tabblad Versnelling en schakelt u systeemeigen uitvoeringsengine inschakelen in. Na het opslaan en publiceren wordt deze instelling toegepast in de omgeving, zodat alle nieuwe taken en notebooks automatisch overnemen en profiteren van de verbeterde prestatiemogelijkheden.

Gebruik de volgende instructies om runtime 1.3 te integreren in uw werkruimte en de nieuwe functies te gebruiken:

  1. Navigeer naar het tabblad Werkruimte-instellingen in uw Infrastructuurwerkruimte.
  2. Ga naar het tabblad Data-engineer/Wetenschap en selecteer Spark-instellingen.
  3. Selecteer het tabblad Omgeving.
  4. Vouw onder runtimeversies de vervolgkeuzelijst uit.
  5. Selecteer 1.3 (Spark 3.5, Delta 3.2) en sla uw wijzigingen op. Met deze actie wordt 1.3 ingesteld als de standaardruntime voor uw werkruimte.

Schermopname die laat zien waar runtimeversie moet worden geselecteerd.

U kunt nu aan de slag gaan met de nieuwste verbeteringen en functionaliteiten die zijn geïntroduceerd in Fabric Runtime 1.3 (Spark 3.5 en Delta Lake 3.2).

Belangrijke hoogtepunten

Apache Spark 3.5

Apache Spark 3.5.0 is de zesde versie in de 3.x-serie. Deze versie is een product van uitgebreide samenwerking binnen de opensource-community, die meer dan 1300 problemen aanpakt, zoals vastgelegd in Jira.

In deze versie is er een upgrade in compatibiliteit voor gestructureerd streamen. Daarnaast wordt in deze release de functionaliteit in PySpark en SQL uitgebreid. Er worden functies toegevoegd, zoals de SQL-id-component, benoemde argumenten in SQL-functieaanroepen en het opnemen van SQL-functies voor geschatte aggregaties van HyperLogLog. Andere nieuwe mogelijkheden zijn ook door de gebruiker gedefinieerde python-tabelfuncties, de vereenvoudiging van gedistribueerde training via DeepSpeed en nieuwe gestructureerde streamingmogelijkheden, zoals watermerkdoorgifte en de bewerking dropDuplicatesWithinWatermark .

U kunt hier de volledige lijst en gedetailleerde wijzigingen controleren: https://spark.apache.org/releases/spark-release-3-5-0.html.

Delta Spark

Delta Lake 3.2 markeert een collectieve toezegging om Delta Lake interoperabel te maken tussen verschillende indelingen, gemakkelijker te werken en beter te presteren. Delta Spark 3.2 is gebouwd op Apache Spark™ 3.5. De naam van het Delta Spark Maven-artefact is gewijzigd van delta-core in delta-spark.

U kunt hier de volledige lijst en gedetailleerde wijzigingen controleren: https://docs.delta.io/3.2.0/index.html.

Tip

Voor actuele informatie, een gedetailleerde lijst met wijzigingen en specifieke releaseopmerkingen voor Fabric-runtimes, controleert en abonneert u Spark Runtime-releases en -updates.

Gerelateerde inhoud