OneLake, das OneDrive für Daten
OneLake ist ein einziger, einheitlicher, logischer Data Lake für Ihre gesamte Organisation. Ein Data Lake verarbeitet große Datenmengen aus unterschiedlichen Quellen. Wie OneDrive wird OneLake automatisch mit jedem Microsoft Fabric-Mandanten bereitgestellt und ist als zentraler Ort für alle Ihre Analysedaten konzipiert. OneLake bietet Kunden Folgendes:
- Ein Data Lake für die gesamte Organisation
- Eine Kopie der Daten für die Verwendung mit mehreren Analyse-Engines
Ein Data Lake für die gesamte Organisation
Vor OneLake war es für Kunden einfacher, mehrere Data Lakes für verschiedene Geschäftsgruppen zu erstellen, anstatt an einem einzigen Data Lake zusammenzuarbeiten, selbst mit dem zusätzlichen Mehraufwand für die Verwaltung mehrerer Ressourcen. OneLake konzentriert sich darauf, diese Herausforderungen durch Verbesserung der Zusammenarbeit zu bewältigen. Jeder Kundenmandant verfügt über genau einen OneLake. Sie können nie mehr als einen haben, und wenn Sie Fabric verwenden, können Sie niemals keinen haben. Jeder Fabric-Mandant stellt automatisch OneLake bereit, ohne dass zusätzliche Ressourcen eingerichtet oder verwaltet werden müssen.
Standardmäßig mit verteiltem Besitz für die Zusammenarbeit verwaltet
Das Konzept des Mandanten ist ein einzigartiger Vorteil eines SaaS-Diensts. Das Wissen, wo die Organisation eines Kunden beginnt und endet, bietet eine natürliche Governance- und Compliancegrenze, die unter der Kontrolle eines Mandantenadministrators bzw. einer Mandantenadministratorin steht. Alle Daten, die in OneLake landen, werden standardmäßig verwaltet. Während alle Daten innerhalb der von dem*der Administrator*in festgelegten Grenzen liegen, ist es wichtig, dass diese*r Administrator*in nicht zu einem zentralen Gatekeeper wird, der*die andere Teile der Organisation daran hindert, Beiträge zu OneLake zu leisten.
Innerhalb eines Mandanten können Sie eine beliebige Anzahl von Arbeitsbereichen erstellen. Arbeitsbereiche ermöglichen es verschiedenen Teilen der Organisation, Besitz- und Zugriffsrichtlinien zu verteilen. Jeder Arbeitsbereich ist Teil einer Kapazität, die an eine bestimmte Region gebunden ist und separat abgerechnet wird.
In einem Arbeitsbereich können Sie Datenelemente erstellen und auf alle Daten in OneLake über Datenelemente zugreifen. Ähnlich wie Office Word-, Excel- und PowerPoint-Dateien in OneDrive speichert Fabric Lakehouses, Warehouses und andere Elemente in OneLake. Elemente können maßgeschneiderte Benutzeroberflächen für jede Persona bieten, wie z. B. die Apache Spark-Entwicklerbenutzeroberfläche in einem Lakehouse.
Weitere Informationen zu den ersten Schritten mit OneLake finden Sie unter Erstellen eines Lakehouse mit OneLake.
Offen auf allen Ebenen
OneLake ist auf jeder Ebene offen. OneLake basiert auf Azure Data Lake Storage (ADLS) Gen2 und unterstützt alle Arten von Dateien, ob strukturiert oder unstrukturiert. Alle Fabric-Datenelemente wie Data Warehouses und Lakehouses speichern ihre Daten automatisch in OneLake im Delta Parquet-Format. Wenn ein*e Data Engineer Daten mit Apache Spark in ein Lakehouse lädt und ein*e SQL-Entwickler*in T-SQL verwendet, um Daten in einem vollständig transaktionsbasierten Data Warehouse zu laden, tragen beide zum selben Data Lake bei. OneLake speichert alle Tabellendaten im Delta-Parquet-Format.
OneLake unterstützt dieselben ADLS Gen2-APIs und -SDKs, um mit vorhandenen ADLS Gen2-Anwendungen, einschließlich Azure Databricks, kompatibel zu sein. Sie können Daten in OneLake so adressieren, als wäre es ein großes ADLS-Speicherkonto für die gesamte Organisation. Jeder Arbeitsbereich wird als Container innerhalb dieses Speicherkontos angezeigt, und unterschiedliche Datenelemente werden als Ordner in diesen Containern angezeigt.
Weitere Informationen zu APIs und Endpunkten finden Sie unter OneLake-Zugriff und -APIs. Beispiele für OneLake-Integrationen mit Azure finden Sie in den Artikeln Azure Synapse Analytics, Azure Storage-Explorer, Azure Databricks und Azure HDInsight.
OneLake-Datei-Explorer für Windows
OneLake ist das OneDrive für Daten. Genau wie bei OneDrive können Sie mithilfe des OneLake-Datei-Explorers OneLake-Daten ganz einfach in Windows erkunden. Sie können in allen Arbeitsbereichen und Datenelementen navigieren, Dateien ganz einfach hochladen, herunterladen oder ändern, genau wie in Office. Der OneLake-Datei-Explorer vereinfacht das Arbeiten mit Data Lakes, sodass sogar nicht technische Geschäftsbenutzer sie verwenden können.
Weitere Informationen finden Sie unter OneLake-Datei-Explorer.
Eine Kopie der Daten
OneLake zielt darauf ab, Ihnen den größtmöglichen Nutzen aus einer einzelnen Kopie von Daten ohne Datenverschiebung oder Duplizierung zu bieten. Sie müssen Daten nicht mehr kopieren, um sie nur mit einem anderen Modul zu verwenden oder Silos aufzuschlüsseln, damit Sie die Daten mit Daten aus anderen Quellen analysieren können.
Verknüpfungen verbinden Daten über Domänen hinweg ohne Datenverschiebung
Mit Verknüpfungen kann Ihre Organisation Daten problemlos zwischen Benutzern und Anwendungen freigeben, ohne Informationen unnötig verschieben und duplizieren zu müssen. Wenn Teams unabhängig in separaten Arbeitsbereichen arbeiten, können Sie mithilfe von Verknüpfungen Daten in verschiedenen Unternehmensgruppen und Domänen zu einem virtuellen Datenprodukt kombinieren, um die spezifischen Anforderungen eines Benutzers bzw. einer Benutzerin zu erfüllen.
Eine Verknüpfung ist ein Verweis auf Daten, die an anderen Dateispeicherorten gespeichert sind. Diese Dateispeicherorte können sich innerhalb desselben Arbeitsbereichs oder in verschiedenen Arbeitsbereichen sowie innerhalb oder außerhalb von OneLake in ADLS, S3 oder Dataverse befinden. Weitere Zielspeicherorte sind in Kürze verfügbar. Unabhängig vom Speicherort führen Verknüpfungen dazu, dass Dateien und Ordner so aussehen, als wären sie lokal gespeichert.
Weitere Informationen zur Verwendung von Verknüpfungen finden Sie unter OneLake-Verknüpfungen.
Eine Kopie von Daten mit mehreren Analyse-Engines
Anwendungen verfügen zwar über eine Trennung von Speicher und Computing, jedoch sind die Daten häufig für eine einzelne Engine optimiert, was die Wiederverwendung derselben Daten für mehrere Anwendungen erschwert. Mit Fabric speichern die verschiedenen Analyse-Engines (T-SQL, Apache Spark, Analysis Services usw.) Daten im offenen Delta-Parquet-Format, damit Sie dieselben Daten in mehreren Engines verwenden können.
Es ist nicht mehr erforderlich, Daten zu kopieren, nur um sie mit einer anderen Engine zu verwenden. Sie können immer die beste Engine für den Auftrag auswählen, den Sie ausführen möchten. Stellen Sie sich beispielsweise vor, Sie haben ein Team von SQL-Techniker*innen, die ein vollständiges Transaktions-Data Warehouse erstellen. Sie können die T-SQL-Engine und die gesamte Leistungsfähigkeit von T-SQL verwenden, um Tabellen zu erstellen, Daten zu transformieren und die Daten in Tabellen zu laden. Wenn ein*e Data Scientist diese Daten nutzen möchte, muss er*sie keinen speziellen Spark- bzw.SQL-Treiber mehr verwenden. OneLake speichert alle Daten im Delta-Parquet-Format. Data Scientists können die volle Leistung der Spark-Engine und ihrer Open-Source-Bibliotheken direkt über die Daten nutzen.
Geschäftsbenutzer*innen können Power BI-Berichte direkt in OneLake erstellen, indem sie den neuen Direct Lake-Modus in der Analysis Services-Engine verwenden. Die Analysis Services-Engine unterstützt semantische Power BI-Modelle und bietet seit jeher zwei Modi für den Zugriff auf Daten: Importieren und die direkte Abfrage. Der Direct Lake-Modus bietet Benutzer*innen die gesamte Importgeschwindigkeit, ohne dass die Daten kopiert werden müssen, und kombiniert das Beste aus Import und direkter Abfrage. Weitere Informationen finden Sie unter Direct Lake.
Beispieldiagramm, dass das Laden von Daten mit Spark, das Abfragen mit T-SQL und das Anzeigen von Daten in einem Power BI-Bericht zeigt.