Neuerungen und Planungen für Fabric-Technische Fachkraft für Daten ing in Microsoft Fabric
Wichtig
In den Freigabeplänen werden Funktionen beschrieben, die möglicherweise noch nicht freigegeben wurden. Die Liefer-Zeitachsen und die geplante Funktion können sich ändern oder werden möglicherweise nicht geliefert. Weitere Informationen finden Sie unter Microsoft-Richtlinie.
Fabric Technische Fachkraft für Daten ing ermöglicht Datentechnikern, ihre Daten mithilfe von Spark zu transformieren und ihre Lakehouse-Architektur zu erstellen.
Lakehouse für alle Ihre Unternehmensdaten: Das Lakehouse vereint das Beste aus Data Lake und Data Warehouse in einer einzigen Erfahrung. Es ermöglicht es den Benutzenden, Unternehmensdaten in einem offenen Format in den Lake aufzunehmen, aufzubereiten und freizugeben. Später können Sie über verschiedene Engines wie Spark, T-SQL und Power BI darauf zugreifen. Es bietet verschiedene Datenintegrationsoptionen wie Dataflows und Pipelines, Verknüpfungen zu externen Datenquellen und Funktionen zur gemeinsamen Nutzung von Datenprodukten.
Performant Spark Engine & Runtime: Fabric Data Engineering bietet Kunden eine optimierte Spark-Runtime mit den neuesten Versionen von Spark, Delta und Python.. Es verwendet Delta Lake als gemeinsames Tabellenformat für alle Engines und ermöglicht so eine einfache gemeinsame Nutzung von Daten und die Erstellung von Berichten, ohne Datenverschiebung. Die Runtime enthält Spark-Optimierungen und verbessert die Abfrageleistung ohne Konfigurationen. Es bietet auch Starter Pools und Modus für hohe Parallelität, um Ihre Spark-Sitzungen zu beschleunigen und wiederzuverwenden, wodurch Sie Zeit und Kosten sparen.
Spark Admin & Konfigurationen: Arbeitsbereich-Administrierende mit entsprechenden Berechtigungen können benutzerdefinierte Pools erstellen und konfigurieren, um die Leistung und Kosten ihrer Spark-Workloads zu optimieren. Erstellende können Umgebungen konfigurieren, um Bibliotheken zu installieren, die Runtime-Version auszuwählen und Spark-Eigenschaften für ihre Notebooks und Spark-Aufträge festzulegen.
Erfahrung für Fachkräfte in der Entwicklung: Fachkräfte in der Entwicklung können Notebooks, Spark-Aufträge oder ihre bevorzugte IDE verwenden, um Spark-Code in Fabric zu erstellen und auszuführen. Sie können nativ auf die Lakehouse-Daten zugreifen, mit anderen im Team zusammenarbeiten, Bibliotheken installieren, den Verlauf verfolgen, Inline-Überwachung betreiben und Empfehlungen vom Spark-Advisor erhalten. Sie können Data Wrangler auch verwenden, um Daten einfach mit einer Low-Code Benutzeroberfläche vorzubereiten.
Plattformintegration: Alle Fabric-Datentechnikelemente, einschließlich Notizbüchern, Spark-Aufträgen, Umgebungen und Lakehouses, sind tief in die Fabric-Plattform integriert (Enterprise Information Management-Funktionen, Lineage, Vertraulichkeitsbezeichnungen und Bestätigungen).
Schwerpunkte
Python-Notebook
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Fabric-Notizbücher unterstützen reine Python-Erfahrung. Diese neue Lösung richtet sich an BI-Entwickler und Wissenschaftliche Fachkraft für Daten, die mit kleineren Datasets (bis zu einigen GB) arbeiten und Pandas und Python als primäre Sprache verwenden. Durch diese neue Oberfläche können sie von der nativen Python-Sprache und den nativen Features und Bibliotheken aus der Box profitieren, können von einer Python-Version zu einer anderen wechseln (anfänglich werden zwei Versionen unterstützt) und schließlich mit einer besseren Ressourcenauslastung profitieren, indem sie einen kleineren 2VCore-Computer verwenden.
ArcGIS GeoAnalytics für Microsoft Fabric Spark
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Microsoft und Esri haben sich zusammengetan, um räumliche Analysen in Microsoft Fabric zu integrieren. In dieser Zusammenarbeit wird eine neue Bibliothek eingeführt, ArcGIS GeoAnalytics für Microsoft Fabric, die eine umfangreiche Sammlung von räumlichen Analysen direkt in Microsoft Fabric Spark-Notizbüchern und Spark-Auftragsdefinitionen ermöglicht (sowohl für Technische Fachkraft für Daten ing- als auch data Science-Erfahrungen /Workloads).
Mit dieser integrierten Produkterfahrung können Spark-Entwickler oder Data Scientists esri-Funktionen nativ verwenden, um ArcGIS GeoAnalytics-Funktionen und -Tools in Fabric Spark für räumliche Transformation, Anreicherung und Muster-/Trendanalyse von Daten – sogar Big Data – in unterschiedlichen Anwendungsfällen auszuführen, ohne dass separate Installation und Konfiguration erforderlich ist.
Installieren von Bibliotheken aus ADLS Gen2-Speicherkonto
Geschätzter Zeitplan für die Veröffentlichung: Q4 2024
Versionstyp: Öffentliche Vorschau
Unterstützung einer neuen Quelle für Benutzer zum Installieren von Bibliotheken. Durch das Erstellen eines benutzerdefinierten Conda/PyPI-Kanals, der auf ihrem Speicherkonto gehostet wird, können Benutzer die Bibliotheken aus ihrem Speicherkonto in ihren Fabric-Umgebungen installieren.
Liveversionsverwaltung von Notizbüchern
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Mit der Liveversionsverwaltung von Fabric Notebook können Entwickler den Verlauf der an ihren Notizbüchern vorgenommenen Änderungen nachverfolgen, unterschiedliche Verions vergleichen und frühere Versionen bei Bedarf wiederherstellen.
VSCode-Satellitenerweiterung für Benutzerdatenfunktionen in Fabric
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Die VSCode-Satellitenerweiterung für Benutzerdatenfunktionen bietet Developer Support (Bearbeiten, Erstellen, Debuggen, Veröffentlichen) für Benutzerdatenfunktionen in Fabric.
Benutzerdatenfunktionen in Fabric
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Benutzerdatenfunktionen bieten einen leistungsstarken Mechanismus für die Implementierung und erneute Verwendung von benutzerdefinierten, spezialisierten Geschäftslogik in Fabric Data Science- und Data Engineering-Workflows, wodurch Effizienz und Flexibilität erhöht werden.
Öffentliche Überwachungs-APIs
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Das Feature "Public Monitoring API" für Fabric Spark zielt darauf ab, Spark-Überwachungs-APIs verfügbar zu machen, sodass Benutzer den Spark-Auftragsfortschritt überwachen, Ausführungsaufgaben anzeigen und programmgesteuert auf Protokolle zugreifen können. Dieses Feature ist an den öffentlichen API-Standards ausgerichtet und bietet eine nahtlose Überwachung für Spark-Anwendungen.
Lakehouse-Verknüpfungsmetadaten für Git- und Bereitstellungspipelinen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Um eine überzeugende Geschichte zur Verwaltung des Anwendungslebenszyklus bereitzustellen, ist das Nachverfolgen von Objektmetadaten in Git und die Unterstützung von Bereitstellungspipelinen zwingend erforderlich. In den Technische Fachkraft für Daten modulen werden Arbeitsbereiche auf Git integriert.
In dieser ersten Iteration werden OneLake-Verknüpfungen automatisch in Pipelinephasen und Arbeitsbereichen bereitgestellt. Verknüpfungsverbindungen können phasenweise neu zugeordnet werden, indem ein neues Microsoft Fabric-Element namens "Variable Library" verwendet wird. Dies trägt dazu bei, dass Kunden die richtige Isolierung und Umgebungssegmentierung erwarten.
Verbesserungen am Delta Lake in Spark-Umgebungen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Die Ordnungsgemäße Standardeinstellungen und die Anpassung an den neuesten Standards sind für Delta Lake-Standards in Microsoft Fabric von höchster Bedeutung. INT64 ist der neue Standardcodierungstyp für alle Zeitstempelwerte. Dies verschiebt sich von INT96-Codierungen, die vor Jahren vom Apache-Parkett veraltet sind. Die Änderungen wirken sich nicht auf lesefunktionen aus, es ist standardmäßig transparent und kompatibel, stellt aber sicher, dass alle neuen Parkettdateien in Ihrer Delta Lake-Tabelle effizienter und zukunftssicher geschrieben werden.
Außerdem veröffentlichen wir eine schnellere Implementierung des BEFEHLS OPTIMIZE, sodass sie bereits V-geordnete Dateien überspringt.
Unterstützung für Momentaufnahmen von laufenden Notizbuchaufträgen
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Mit diesem Feature können Benutzer eine Notizbuchmomentaufnahme anzeigen, während sie noch ausgeführt wird, was für die Überwachung des Fortschritts und die Problembehandlung von Leistungsproblemen unerlässlich ist. Benutzer können den ursprünglichen Quellcode, Eingabeparameter und Zellenausgaben sehen, um den Spark-Auftrag besser zu verstehen, und sie können den Spark-Ausführungsfortschritt auf Zellenebene nachverfolgen. Benutzer können auch die Ausgabe abgeschlossener Zellen überprüfen, um die Genauigkeit der Spark-Anwendung zu überprüfen und die verbleibende Arbeit zu schätzen. Darüber hinaus werden alle Fehler oder Ausnahmen von bereits ausgeführten Zellen angezeigt, wodurch Benutzer Probleme frühzeitig erkennen und beheben können.
RLS/CLS-Unterstützung für Spark and Lakehouse
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Öffentliche Vorschau
Mit dem Feature können Benutzer Sicherheitsrichtlinien für den Datenzugriff innerhalb des Spark-Moduls implementieren. Benutzer können die Sicherheit auf Objekt-, Zeilen- oder Spaltenebene definieren, um sicherzustellen, dass Daten gemäß definition durch diese Richtlinien geschützt werden, wenn über Fabric Spark zugegriffen wird und an der OneSecurity-Initiative ausgerichtet ist, die in Microsoft Fabric aktiviert wird.
Spark Connector für Fabric Data Warehouse – Allgemeine Verfügbarkeit
Geschätzter Zeitplan für die Veröffentlichung: Q1 2025
Versionstyp: Allgemeine Verfügbarkeit
Der Spark-Connector für Microsoft Fabric Data Warehouse ermöglicht Spark-Entwicklern und Data Scientists den Zugriff auf und die Arbeit mit Daten aus einem Warehouse und dem SQL-Analyseendpunkt eines Lakehouses. Es bietet eine vereinfachte Spark-API, abstrahiert die zugrunde liegende Komplexität und arbeitet mit nur einer Codezeile, während Sicherheitsmodelle auf Objektebene (OBJECT-Level Security, OLS), Row-Level Security (RLS) und Sicherheit auf Spaltenebene (CLS) beibehalten werden.
Verfügbare Features
Möglichkeit zum Sortieren und Filtern von Tabellen und Ordnern in Lakehouse
Ausgeliefert (Q4 2024)
Versionstyp: Allgemeine Verfügbarkeit
Mit dieser Funktion können Kundinnen und Kunden ihre Tabellen und Ordner im Lakehouse nach verschiedenen Methoden sortieren und filtern, z.B. alphabetisch, nach Erstellungsdatum und mehr.
Notizbücher in einer App
Ausgeliefert (Q4 2024)
Versionstyp: Öffentliche Vorschau
Organisations-Apps sind als neues Element in Fabric verfügbar, und Sie können Notizbücher zusammen mit Power BI-Berichten und Dashboards in Fabric-Apps einschließen und an Geschäftsbenutzer verteilen. App-Verbraucher können mit Widgets und visuellen Elementen im Notizbuch interagieren, als alternativer Berichterstellungs- und Datenerkundungsmechanismus. Auf diese Weise können Sie umfangreiche und ansprechende Geschichten mit Ihren Daten erstellen und teilen.
VSCode Core-Erweiterung für Fabric
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Die Core VSCode-Erweiterung für Fabric bietet allgemeinen Developer Support für Fabric-Dienste.
T-SQL-Notizbuch
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Fabric-Notizbücher unterstützen die T-SQL-Sprache, um Daten für Data Warehouse zu nutzen. Durch Hinzufügen eines Data Warehouse oder SQL-Analyseendpunkts zu einem Notebook können T-SQL-Entwickler Abfragen direkt auf dem verbundenen Endpunkt ausführen. BI-Analysten können außerdem datenbankübergreifende Abfragen durchführen, um Erkenntnisse aus mehreren Warehouses und SQL-Analyseendpunkten zu sammeln. T-SQL-Notizbücher bieten eine großartige Authoring-Alternative zu den vorhandenen Tools für SQL-Benutzer und umfassen fabric native Features wie Freigabe, GIT-Integration und Zusammenarbeit.
VS-Code für das Web – Debuggingunterstützung
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Visual Studio Code für das Web wird derzeit in der Vorschau für Erstellungs- und Ausführungsszenarien unterstützt. Wir fügen der Liste der Funktionen die Möglichkeit hinzu, Code mithilfe dieser Erweiterung für Notebook zu debuggen.
Hohe Parallelität in Pipelines
Verfügbar (Q3 2024)
Versionstyp: Allgemeine Verfügbarkeit
Zusätzlich zur hohen Parallelität in Notebooks aktivieren wir auch hohe Parallelität in Pipelines. Mit dieser Funktion können Sie mehrere Notebooks in einer Pipeline mit einer einzigen Sitzung ausführen.
Schemaunterstützung und Arbeitsbereich im Namespace in Lakehouse
Verfügbar (Q3 2024)
Versionstyp: Öffentliche Vorschau
Auf diese Weise können Tabellen mithilfe von Schemata und Abfragedaten über Arbeitsbereiche hinweg organisiert werden.
Spark-native Ausführungsengine
Verfügbar (Q2 2024)
Versionstyp: Öffentliche Vorschau
Die native Ausführungsengine ist eine bahnbrechende Erweiterung für Apache Spark-Auftragsausführungen in Microsoft Fabric. Diese vektorisierte Engine optimiert die Leistung und Effizienz Ihrer Spark-Abfragen, indem sie direkt in Ihrer Lakehouse-Infrastruktur ausgeführt werden. Die nahtlose Integration der Engine bedeutet, dass keine Codeänderungen erforderlich sind und die Anbietereinsperrung vermieden wird. Es unterstützt Apache Spark-APIs und ist mit Runtime 1.2 (Spark 3.4) kompatibel und funktioniert sowohl mit Parquet- als auch mit Delta-Formaten. Die native Ausführungsengine maximiert Effizienz und Leistung unabhängig vom Speicherort Ihrer Daten in OneLake und unabhängig davon, ob Sie über Verknüpfungen auf Daten zugreifen.
Spark-Connector für Fabric Data Warehouse
Ausgeliefert (Q2 2024)
Versionstyp: Öffentliche Vorschau
Spark Connector für Fabric DW (Data Warehouse) ermöglicht es Spark-Entwicklungsfachkräften oder wissenschaftlichen Fachkräften für Daten, mit einer vereinfachten Spark-API auf Daten aus Fabric Data Warehouse zuzugreifen und diese zu bearbeiten. Dazu ist buchstäblich nur eine Codezeile erforderlich. Dies ist eine Möglichkeit, die Daten parallel aus Fabric Data Warehouse abzufragen, sodass sie mit steigendem Datenvolumen skaliert werden und das auf der Data Warehouse-Ebene definierte Sicherheitsmodell (OLS/RLS/CLS) während des Zugriffs auf die Tabelle oder Ansicht berücksichtigt wird. Diese erste Version unterstützt nur das Lesen von Daten. Die Unterstützung für das Schreiben von Daten wird in Kürze verfügbar sein.
Häufig gestellte Fragen zur Microsoft Fabric-API für GraphQL
Verfügbar (Q2 2024)
Versionstyp: Öffentliche Vorschau
Mit der API für GraphQL können technische Fachkräfte für Fabric-Daten, Data Sclientists sowie Architekten und Architektinnen von Datenlösungen mühelos Fabric-Daten verfügbar machen und integrieren, um reaktionsfähigere, leistungsfähigere und umfangreiche analytische Anwendungen zu erstellen, die die Leistungsfähigkeit und Flexibilität von GraphQL nutzen.
Erstellen und Anfügen von Umgebungen
Verfügbar (Q2 2024)
Versionstyp: Allgemeine Verfügbarkeit
Um Ihre Spark-Oberflächen präziser anzupassen, können Sie Umgebungen erstellen und an Ihre Notebooks und Spark-Aufträge anfügen. In einer Umgebung können Sie Bibliotheken installieren, einen neuen Pool konfigurieren, Spark-Eigenschaften festlegen und Skripts in ein Dateisystem hochladen. Dadurch erhalten Sie mehr Flexibilität und Kontrolle über Ihre Spark-Workloads, ohne die Standardeinstellungen des Arbeitsbereichs zu beeinträchtigen. Im Rahmen der GA werden verschiedene Verbesserungen an Umgebungen vorgenommen, einschließlich API-Unterstützung und CI/CD-Integration.
Auftragswarteschlange für Notebook-Aufträge
Verfügbar (Q2 2024)
Versionstyp: Allgemeine Verfügbarkeit
Mit diesem Feature können geplante Spark-Notebooks in die Warteschlange eingefügt werden, wenn der Spark-Verbrauch die maximale Anzahl von Aufträgen, die parallel ausgeführt werden können, erreicht hat. Sie können dann ausgeführt werden, sobald der Verbrauch unter die maximal zulässige Anzahl paralleler Aufträge gefallen ist.
Optimistische Auftragszulassung in Fabric Spark
Verfügbar (Q2 2024)
Versionstyp: Allgemeine Verfügbarkeit
Mit der optimistischen Auftragszulassung reserviert Fabric Spark nur die Mindestanzahl der Kerne, die ein Auftrag zum Starten benötigt, basierend auf der Mindestanzahl der Knoten, auf die der Auftrag herunterskalieren kann. Dadurch können mehr Aufträge zugelassen werden, wenn genügend Ressourcen vorhanden sind, um die Mindestanforderungen zu erfüllen. Wenn ein Auftrag später hochskaliert werden muss, werden die Skalierungsanforderungen basierend auf den in der Kapazität verfügbaren Kernen genehmigt oder abgelehnt.
Spark Autotune
Ausgeliefert (Q1 2024)
Versionstyp: Öffentliche Vorschau
Autotune verwendet maschinelles Lernen, um vorherige Ausführungen Ihrer Spark-Aufträge automatisch zu analysieren, und optimiert die Konfigurationen, um die Leistung zu verbessern. Die Funktion konfiguriert, wie Ihre Daten partitioniert, verknüpft und von Spark gelesen werden. Dadurch wird die Leistung erheblich verbessert. Wir haben festgestellt, dass Kundenaufträge mit dieser Funktion 2-mal schneller ausgeführt werden.