Wat is er nieuw en gepland voor Fabric Data-engineer ing in Microsoft Fabric
Belangrijk
De releaseplannen beschrijven functionaliteit die al dan niet is uitgebracht. De leveringstijdlijnen en de verwachte functionaliteit kunnen veranderen of niet worden verzonden. Raadpleeg het Microsoft-beleid voor meer informatie.
Fabric Data-engineer ing stelt data engineers in staat om hun gegevens op schaal te transformeren met behulp van Spark en hun lakehouse-architectuur uit te bouwen.
Lakehouse voor al uw organisatiegegevens: Het lakehouse combineert het beste van de data lake en het datawarehouse in één ervaring. Hiermee kunnen gebruikers organisatiegegevens opnemen, voorbereiden en delen in een open indeling in de lake. Later hebt u er toegang toe via meerdere engines, zoals Spark, T-SQL en Power BI. Het biedt verschillende opties voor gegevensintegratie, zoals gegevensstromen en pijplijnen, snelkoppelingen naar externe gegevensbronnen en mogelijkheden voor het delen van gegevensproducten.
Krachtige Spark-engine en runtime: Fabric Data engineering biedt klanten een geoptimaliseerde Spark-runtime met de nieuwste versies van Spark, Delta en Python. Delta Lake wordt gebruikt als de gemeenschappelijke tabelindeling voor alle engines, waardoor gegevens eenvoudig kunnen worden gedeeld en gerapporteerd zonder gegevensverplaatsing. De runtime wordt geleverd met Spark-optimalisaties, waardoor uw queryprestaties worden verbeterd zonder configuraties. Het biedt ook starterspools en de modus voor hoge gelijktijdigheid om uw Spark-sessies te versnellen en opnieuw te gebruiken, waardoor u tijd en kosten bespaart.
Spark-beheerders en -configuraties: Werkruimtebeheerders met de juiste machtigingen kunnen aangepaste pools maken en configureren om de prestaties en kosten van hun Spark-workloads te optimaliseren. Makers kunnen omgevingen configureren voor het installeren van bibliotheken, de runtimeversie selecteren en Spark-eigenschappen instellen voor hun notebooks en Spark-taken.
Ontwikkelaarservaring: ontwikkelaars kunnen notebooks, Spark-taken of hun favoriete IDE gebruiken om Spark-code te maken en uit te voeren in Fabric. Ze kunnen systeemeigen toegang krijgen tot de lakehouse-gegevens, samenwerken met anderen, bibliotheken installeren, geschiedenis bijhouden, in-line bewaking uitvoeren en aanbevelingen krijgen van de Spark-adviseur. Ze kunnen Data Wrangler ook gebruiken om eenvoudig gegevens voor te bereiden met een gebruikersinterface met weinig code.
Platformintegratie: Alle fabric-data engineering-items, waaronder notebooks, Spark-taken, omgevingen en lakehouses, zijn geïntegreerd in het Fabric-platform (mogelijkheden voor bedrijfsinformatiebeheer, herkomst, vertrouwelijkheidslabels en goedkeuringen).
Investeringsgebieden
Python-notebook
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Fabric-notebooks bieden ondersteuning voor pure Python-ervaring. Deze nieuwe oplossing is gericht op BI-ontwikkelaars en Datawetenschapper s die werken met kleinere gegevenssets (maximaal een paar GB) en Pandas en Python gebruiken als primaire taal. Dankzij deze nieuwe ervaring kunnen ze gebruikmaken van de systeemeigen Python-taal en de systeemeigen functies en bibliotheken, kunnen ze van een Python-versie naar een andere (in eerste instantie twee versies worden ondersteund) en ten slotte profiteren van een beter resourcegebruik met behulp van een kleinere 2VCore-machine.
ArcGIS GeoAnalytics voor Microsoft Fabric Spark
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Microsoft en Esri hebben samengewerkt om ruimtelijke analyses in Microsoft Fabric te brengen. Deze samenwerking introduceert een nieuwe bibliotheek, ArcGIS GeoAnalytics voor Microsoft Fabric, waardoor een uitgebreide set ruimtelijke analyses rechtstreeks in Microsoft Fabric Spark-notebooks en Spark-taakdefinities mogelijk is (in zowel Data-engineer ing- als Datawetenschap-ervaringen/workloads).
Deze geïntegreerde productervaring stelt Spark-ontwikkelaars of gegevenswetenschappers in staat om systeemeigen Esri-mogelijkheden te gebruiken voor het uitvoeren van ArcGIS GeoAnalytics-functies en -hulpprogramma's in Fabric Spark voor ruimtelijke transformatie, verrijking en patroon- en trendanalyse van gegevens , zelfs big data , in verschillende gebruiksscenario's zonder afzonderlijke installatie en configuratie.
Bibliotheken installeren vanuit ADLS Gen2 Storage-account
Geschatte releasetijdlijn: Q4 2024
Releasetype: openbare preview
Ondersteuning voor een nieuwe bron voor gebruikers voor het installeren van bibliotheken. Door een aangepast conda-/PyPI-kanaal te maken dat wordt gehost op hun opslagaccount, kunnen gebruikers de bibliotheken installeren vanuit hun opslagaccount in hun Fabric-omgevingen.
Liveversiebeheer van notebook
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Met Live Versioning Fabric Notebook-ontwikkelaars kunnen de geschiedenis van wijzigingen in hun notebooks bijhouden, verschillende versies vergelijken en eerdere versies herstellen, indien nodig.
VSCode Satellite Extension for User Data Functions in Fabric
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
De VSCode Satellite-extensie voor User Data Functions biedt ondersteuning voor ontwikkelaars (bewerken, bouwen, foutopsporing, publiceren) voor Gebruikersgegevensfuncties in Fabric.
Functies voor gebruikersgegevens in Fabric
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
User Data Functions biedt een krachtig mechanisme voor het implementeren en opnieuw gebruiken van aangepaste, gespecialiseerde bedrijfslogica in data science- en data engineering-werkstromen van Fabric, waardoor de efficiëntie en flexibiliteit toenemen.
Api's voor openbare bewaking
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
De functie Openbare bewakings-API voor Fabric Spark is erop gericht om Spark-bewakings-API's beschikbaar te maken, zodat gebruikers de voortgang van Spark-taken kunnen bewaken, uitvoeringstaken kunnen bekijken en programmatisch toegang hebben tot logboeken. Deze functie is afgestemd op de openbare API-standaarden en biedt een naadloze bewakingservaring voor Spark-toepassingen.
Metagegevens van Lakehouse Shortcuts in git- en implementatiepijplijnen
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Voor een overtuigend verhaal over levenscyclusbeheer van toepassingen is het noodzakelijk om objectmetagegevens bij te houden in Git en ondersteunende implementatiepijplijnen. In de Data-engineer modules, omdat werkruimten zijn geïntegreerd in Git.
In deze eerste iteratie worden OneLake-snelkoppelingen automatisch geïmplementeerd in pijplijnfasen en werkruimten. Snelkoppelingsverbindingen kunnen opnieuw worden toegepast in fasen met behulp van een nieuw Microsoft Fabric-item met de naam variabelebibliotheek, waarbij de juiste isolatie en omgevingssegmentatie van klanten worden verwacht.
Delta Lake-verbeteringen in Spark-ervaringen
Geschatte releasetijdlijn: Q1 2025
Releasetype: Algemene beschikbaarheid
Het hebben van de juiste standaardinstellingen en het in overeenstemming brengen met de nieuwste standaarden is van het grootste belang voor Delta Lake-standaarden in Microsoft Fabric. INT64 is het nieuwe standaardcoderingstype voor alle tijdstempelwaarden. Dit wordt verwijderd van INT96-coderingen, die het Apache Parquet jaren geleden heeft afgeschaft. De wijzigingen hebben geen invloed op leesmogelijkheden, het is standaard transparant en compatibel, maar zorgt ervoor dat alle nieuwe Parquet-bestanden in uw Delta Lake-tabel op een efficiëntere en toekomstbestendigere manier worden geschreven.
We brengen ook een snellere implementatie van de opdracht OPTIMIZE uit, waardoor deze al V-Geordende bestanden overslaat.
Ondersteuning voor momentopnamen van actieve Notebook-taken
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Met deze functie kunnen gebruikers een momentopname van een notebook bekijken terwijl deze nog steeds wordt uitgevoerd. Dit is essentieel voor het bewaken van de voortgang en het oplossen van prestatieproblemen. Gebruikers kunnen de oorspronkelijke broncode, invoerparameters en celuitvoer zien om de Spark-taak beter te begrijpen en ze kunnen de voortgang van de Spark-uitvoering bijhouden op celniveau. Gebruikers kunnen ook de uitvoer van voltooide cellen controleren om de nauwkeurigheid van de Spark-toepassing te valideren en de resterende hoeveelheid werk te schatten. Daarnaast worden eventuele fouten of uitzonderingen van reeds uitgevoerde cellen weergegeven, zodat gebruikers problemen vroegtijdig kunnen identificeren en oplossen.
RLS/CLS-ondersteuning voor Spark en Lakehouse
Geschatte releasetijdlijn: Q1 2025
Releasetype: openbare preview
Met deze functie kunnen gebruikers beveiligingsbeleid implementeren voor gegevenstoegang in de Spark-engine. Gebruikers kunnen beveiliging op object-, rij- of kolomniveau definiëren, zodat gegevens worden beveiligd zoals gedefinieerd door dit beleid wanneer ze worden geopend via Fabric Spark en zijn afgestemd op het OneSecurity-initiatief dat wordt ingeschakeld in Microsoft Fabric.
Spark-connector voor Fabric Data Warehouse - Algemene beschikbaarheid
Geschatte releasetijdlijn: Q1 2025
Releasetype: Algemene beschikbaarheid
Met de Spark-connector voor Microsoft Fabric Data Warehouse kunnen Spark-ontwikkelaars en gegevenswetenschappers toegang krijgen tot en werken met gegevens uit een magazijn en het SQL-analyse-eindpunt van een lakehouse. Het biedt een vereenvoudigde Spark-API, abstrahert onderliggende complexiteit en werkt met slechts één regel code, terwijl beveiligingsmodellen zoals OLS (Object Level Security), beveiliging op rijniveau (RLS) en BEVEILIGING op kolomniveau (CLS) worden gehandhaafd.
Verzonden functies
Mogelijkheid om tabellen en mappen te sorteren en filteren in Lakehouse
Verzonden (Q4 2024)
Releasetype: Algemene beschikbaarheid
Met deze functie kunnen klanten hun tabellen en mappen in Lakehouse sorteren en filteren op verschillende manieren, waaronder alfabetisch, gemaakte datum en meer.
Notitieblokken in een app
Verzonden (Q4 2024)
Releasetype: openbare preview
Organisatie-apps zijn beschikbaar als een nieuw item in Fabric en u kunt notebooks naast Power BI-rapporten en -dashboards opnemen in Fabric-apps en deze distribueren naar zakelijke gebruikers. App-consumenten kunnen communiceren met widgets en visuals in het notebook, als alternatief mechanisme voor rapportage en gegevensverkenning. Hierdoor kunt u rijke en aantrekkelijke verhalen maken en delen met uw gegevens.
VSCode Core Extension for Fabric
Verzonden (Q3 2024)
Releasetype: openbare preview
Core VSCode Extension for Fabric biedt algemene ondersteuning voor ontwikkelaars voor Fabric-services.
T-SQL-notebook
Verzonden (Q3 2024)
Releasetype: openbare preview
Fabric-notebooks ondersteunen T-SQL-taal om gegevens te gebruiken voor Data Warehouse. Door een datawarehouse- of SQL-analyse-eindpunt toe te voegen aan een notebook, kunnen T-SQL-ontwikkelaars query's rechtstreeks uitvoeren op het verbonden eindpunt. BI-analisten kunnen ook query's tussen databases uitvoeren om inzichten te verzamelen uit meerdere magazijnen en SQL-analyse-eindpunten. T-SQL Notebooks bieden een geweldig ontwerp alternatief voor de bestaande hulpprogramma's voor SQL-gebruikers en bevatten systeemeigen infrastructuurfuncties, zoals delen, GIT-integratie en samenwerking.
VS Code voor het web - ondersteuning voor foutopsporing
Verzonden (Q3 2024)
Releasetype: openbare preview
Visual Studio Code voor het web wordt momenteel ondersteund in preview voor ontwerp- en uitvoeringsscenario's. We voegen toe aan de lijst met mogelijkheden om fouten in code op te sporen met behulp van deze extensie voor notebook.
Hoge gelijktijdigheid in pijplijnen
Verzonden (Q3 2024)
Releasetype: Algemene beschikbaarheid
Naast hoge gelijktijdigheid in notebooks schakelen we ook hoge gelijktijdigheid in pijplijnen in. Met deze mogelijkheid kunt u meerdere notebooks uitvoeren in een pijplijn met één sessie.
Schemaondersteuning en werkruimte in naamruimte in Lakehouse
Verzonden (Q3 2024)
Releasetype: openbare preview
Hiermee kunt u tabellen ordenen met behulp van schema's en query's uitvoeren op gegevens in werkruimten.
Systeemeigen Spark-uitvoeringsengine
Verzonden (Q2 2024)
Releasetype: openbare preview
De systeemeigen uitvoeringsengine is een baanbrekende verbetering voor uitvoeringen van Apache Spark-taken in Microsoft Fabric. Deze vectorized engine optimaliseert de prestaties en efficiëntie van uw Spark-query's door ze rechtstreeks op uw Lakehouse-infrastructuur uit te voeren. De naadloze integratie van de engine betekent dat er geen codewijzigingen nodig zijn en dat de vergrendeling van de leverancier wordt vermeden. Het ondersteunt Apache Spark-API's en is compatibel met Runtime 1.2 (Spark 3.4) en werkt met zowel Parquet- als Delta-indelingen. Ongeacht de locatie van uw gegevens in OneLake of als u toegang hebt tot gegevens via snelkoppelingen, maximaliseert de systeemeigen uitvoeringsengine de efficiëntie en prestaties
Spark-connector voor fabric-datawarehouse
Verzonden (Q2 2024)
Releasetype: openbare preview
Spark Connector for Fabric DW (Data Warehouse) stelt een Spark-ontwikkelaar of data scientist in staat om toegang te krijgen tot en te werken aan gegevens uit Fabric Data Warehouse met een vereenvoudigde Spark-API, die letterlijk met slechts één regel code werkt. Het biedt een mogelijkheid om query's uit te voeren op de gegevens van het Fabric-datawarehouse, zodat deze wordt geschaald met een toenemend gegevensvolume en het beveiligingsmodel (OLS/RLS/CLS) dat op datawarehouseniveau is gedefinieerd tijdens het openen van de tabel of weergave. Deze eerste release biedt alleen ondersteuning voor het lezen van gegevens en de ondersteuning voor het terugschrijven van gegevens komt binnenkort beschikbaar.
Microsoft Fabric-API voor GraphQL
Verzonden (Q2 2024)
Releasetype: openbare preview
Met API voor GraphQL kunnen fabric-gegevenstechnici, wetenschappers, gegevensoplossingsarchitecten moeiteloos Fabric-gegevens beschikbaar maken en integreren, voor responsieve, krachtige en uitgebreide analytische toepassingen, waarbij gebruik wordt gemaakt van de kracht en flexibiliteit van GraphQL.
Omgevingen maken en koppelen
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
Als u uw Spark-ervaringen op een gedetailleerder niveau wilt aanpassen, kunt u omgevingen maken en koppelen aan uw notebooks en Spark-taken. In een omgeving kunt u bibliotheken installeren, een nieuwe pool configureren, Spark-eigenschappen instellen en scripts uploaden naar een bestandssysteem. Dit biedt meer flexibiliteit en controle over uw Spark-workloads, zonder dat dit van invloed is op de standaardinstellingen van de werkruimte. Als onderdeel van GA maken we verschillende verbeteringen aan omgevingen, waaronder API-ondersteuning en CI/CD-integratie.
Taakwachtrij voor notebooktaken
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
Met deze functie kunnen geplande Spark Notebooks in de wachtrij worden geplaatst wanneer spark-gebruik het maximum aantal taken heeft dat parallel kan worden uitgevoerd en vervolgens wordt uitgevoerd zodra het gebruik is teruggevallen onder het maximum aantal toegestane parallelle taken.
Optimistische taak toelating voor Fabric Spark
Verzonden (Q2 2024)
Releasetype: Algemene beschikbaarheid
Met optimistische taakopname behoudt Fabric Spark alleen het minimale aantal kernen dat een taak moet starten, op basis van het minimale aantal knooppunten waarnaar de taak kan worden geschaald. Hierdoor kunnen er meer taken worden toegelaten als er voldoende resources zijn om te voldoen aan de minimale vereisten. Als een taak later moet worden opgeschaald, worden de aanvragen voor omhoog schalen goedgekeurd of geweigerd op basis van de beschikbare kernen in capaciteit.
Spark autotune
Verzonden (Q1 2024)
Releasetype: openbare preview
Autotune maakt gebruik van machine learning om eerdere uitvoeringen van uw Spark-taken automatisch te analyseren en de configuraties af te stemmen om de prestaties te optimaliseren. Hiermee configureert u hoe uw gegevens worden gepartitioneerd, samengevoegd en gelezen door Spark. Op deze manier worden de prestaties aanzienlijk verbeterd. We hebben gezien dat klanttaken 2x sneller worden uitgevoerd met deze mogelijkheid.