Wat is mirroring in Fabric?
Spiegeling in Fabric is een oplossing met lage en lage latentie om gegevens van verschillende systemen samen te brengen in één analyseplatform. U kunt uw bestaande gegevensomgeving continu rechtstreeks repliceren naar OneLake van Fabric vanuit verschillende Azure-databases en externe gegevensbronnen.
Met de meest recente gegevens in een doorzoekbare indeling in OneLake kunt u nu alle verschillende services in Fabric gebruiken, zoals het uitvoeren van analyses met Spark, het uitvoeren van notebooks, gegevenstechniek, het visualiseren via Power BI-rapporten en meer.
Met spiegeling in Fabric kunnen gebruikers genieten van een zeer geïntegreerd, end-to-end en gebruiksvriendelijk product dat is ontworpen om uw analysebehoeften te vereenvoudigen. Gespiegeld voor openheid en samenwerking tussen Microsoft en technologieoplossingen die de opensource-indeling van de Delta Lake-tabel kunnen lezen, is spiegelen een kant-en-klare oplossing met lage latentie waarmee u een replica van uw gegevens in OneLake kunt maken die kan worden gebruikt voor al uw analytische behoeften.
De Delta-tabellen kunnen vervolgens overal worden gebruikt, zodat gebruikers hun traject naar Fabric kunnen versnellen.
Waarom spiegeling gebruiken in Fabric?
Tegenwoordig hebben veel organisaties bedrijfskritieke operationele of analytische gegevens in silo's.
Voor toegang tot en het werken met deze gegevens zijn tegenwoordig complexe ETL-pijplijnen, bedrijfsprocessen en beslissingssilo's vereist, waardoor:
- Beperkte en beperkte toegang tot belangrijke, steeds veranderende gegevens
- Wrijving tussen mensen, processen en technologie
- Lange wachttijden voor het maken van gegevenspijplijnen en -processen voor kritieke belangrijke gegevens
- Geen vrijheid om de hulpprogramma's te gebruiken die u nodig hebt om inzichten comfortabel te analyseren en te delen
- Gebrek aan een goede basis voor mensen om gegevens te delen en eraan samen te werken
- Geen algemene, open gegevensindelingen voor alle analytische scenario's- BI, AI, integratie, engineering en zelfs apps
Spiegeling in Fabric biedt een eenvoudige ervaring om de time-to-value voor inzichten en beslissingen te versnellen en om gegevenssilo's tussen technologieoplossingen op te splitsen:
- Bijna realtime replicatie van gegevens en metagegevens in een SaaS-data lake, met ingebouwde analyse ingebouwd voor BI en AI
Het Microsoft Fabric-platform is gebouwd op basis van Software as a Service (SaaS), wat eenvoud en integratie naar een geheel nieuw niveau vergt. Zie Wat is Microsoft Fabric voor meer informatie over Microsoft Fabric?
Met spiegeling worden drie items gemaakt in uw Fabric-werkruimte:
- Spiegeling beheert de replicatie van gegevens en metagegevens in OneLake en conversie naar Parquet, in een indeling die gereed is voor analyse. Dit maakt downstreamscenario's mogelijk, zoals data engineering, data science en meer.
- Een SQL Analytics-eindpunt
- Een standaard semantisch model
Naast de SQL-queryeditor is er een breed ecosysteem van hulpprogramma's, waaronder SQL Server Management Studio (SSMS), de mssql-extensie met Visual Studio Code en zelfs GitHubCopilot.
Delen maakt het toegankelijkheidsbeheer en beheer mogelijk om ervoor te zorgen dat u de toegang tot gevoelige informatie kunt beheren. Met delen kunt u ook veilige en ge democratiseerde besluitvorming binnen uw organisatie mogelijk maken.
Typen spiegeling
Fabric biedt drie verschillende benaderingen voor het overbrengen van gegevens naar OneLake via spiegeling.
- Databasespiegeling: databasespiegeling in Microsoft Fabric maakt replicatie van volledige databases en tabellen mogelijk, zodat u gegevens uit verschillende systemen samen kunt brengen in één analyseplatform.
- Metagegevensspiegeling: met metagegevensspiegeling in Fabric worden metagegevens (zoals catalogusnamen, schema's en tabellen) gesynchroniseerd in plaats van de gegevens fysiek te verplaatsen. Deze aanpak maakt gebruik van snelkoppelingen, zodat de gegevens in de bron blijven, terwijl ze nog steeds eenvoudig toegankelijk zijn binnen Fabric.
- Open mirroring : Open mirroring in Fabric is ontworpen om spiegeling uit te breiden op basis van de open Delta Lake-tabelindeling. Met deze mogelijkheid kan elke ontwikkelaar de wijzigingsgegevens van hun toepassing rechtstreeks schrijven naar een gespiegeld database-item in Microsoft Fabric, op basis van de open mirroring-benadering en openbare API's.
Momenteel zijn de volgende externe databases beschikbaar:
| Platform | Bijna realtime replicatie | Type spiegeling | End-to-end zelfstudie |
|---|---|---|---|
| Gespiegelde Microsoft Fabric-databases uit Azure Cosmos DB (preview) | Ja | Databasespiegeling | Zelfstudie: Azure Cosmos DB |
| Gespiegelde Microsoft Fabric-databases van Azure Databricks (preview) | Ja | Metagegevensspiegeling | Zelfstudie: Azure Databricks |
| Gespiegelde Microsoft Fabric-databases uit Azure SQL Database | Ja | Databasespiegeling | Zelfstudie: Azure SQL Database |
| Gespiegelde Microsoft Fabric-databases van Azure SQL Managed Instance (preview) | Ja | Databasespiegeling | Zelfstudie: Azure SQL Managed Instance |
| Gespiegelde Microsoft Fabric-databases uit Snowflake | Ja | Databasespiegeling | Zelfstudie: Snowflake |
| Gespiegelde databases openen (preview) | Ja | Spiegeling openen | Zelfstudie: Spiegeling openen |
| Gespiegelde Microsoft Fabric-databases uit Een Fabric SQL-database (preview) | Ja | Databasespiegeling | Automatisch geconfigureerd |
Hoe werkt de bijna realtime replicatie van databasespiegeling?
Spiegelen is ingeschakeld door een beveiligde verbinding met uw operationele gegevensbron te maken. U kiest of u een volledige database of afzonderlijke tabellen wilt repliceren en spiegeling zorgt ervoor dat uw gegevens automatisch gesynchroniseerd blijven. Zodra de gegevens zijn ingesteld, worden gegevens continu gerepliceerd naar OneLake voor analyseverbruik.
Hier volgen kernten van spiegeling:
Spiegeling in Fabric inschakelen is eenvoudig en intuïtief, zonder dat u complexe ETL-pijplijnen hoeft te maken, andere rekenresources hoeft toe te wijzen en gegevensverplaatsing te beheren.
Spiegeling in Fabric is een volledig beheerde service, dus u hoeft zich geen zorgen te maken over het hosten, onderhouden of beheren van replicatie van de gespiegelde verbinding.
Hoe werkt het spiegelen van metagegevens?
Spiegelen maakt niet alleen gegevensreplicatie mogelijk, maar kan ook worden bereikt via snelkoppelingen of metagegevensspiegeling in plaats van volledige gegevensreplicatie, zodat gegevens beschikbaar kunnen zijn zonder deze fysiek te verplaatsen of te dupliceren. Spiegeling in deze context verwijst naar het repliceren van alleen metagegevens, zoals catalogusnamen, schema's en tabellen, in plaats van de werkelijke gegevens zelf. Met deze benadering kan Fabric gegevens uit verschillende bronnen toegankelijk maken zonder deze te dupliceren, gegevensbeheer te vereenvoudigen en opslagbehoeften te minimaliseren.
Wanneer u bijvoorbeeld toegang krijgt tot gegevens die zijn geregistreerd in Unity Catalog, spiegelt Fabric alleen de catalogusstructuur van Azure Databricks, zodat de onderliggende gegevens toegankelijk zijn via snelkoppelingen. Deze methode zorgt ervoor dat eventuele wijzigingen in de brongegevens direct worden doorgevoerd in Fabric zonder dat gegevens hoeven te worden verzonden, realtime synchronisatie te behouden en de efficiëntie bij het openen van actuele informatie te verbeteren.
Hoe werkt open spiegeling?
Naast spiegeling waarmee gegevensreplicatie mogelijk wordt gemaakt door een beveiligde verbinding met uw gegevensbron te maken, kunt u ook een bestaande gegevensprovider selecteren of uw eigen toepassing schrijven om gegevens in gespiegelde database te landen. Zodra u een open gespiegelde database hebt gemaakt via een openbare API of via de Fabric-portal, kunt u een URL voor een landingszone verkrijgen in OneLake, waar u gegevens per open mirroringspecificatie kunt landen.
Zodra de gegevens zich in de landingszone bevinden met de juiste indeling, wordt de replicatie uitgevoerd en wordt de complexiteit van het samenvoegen van de wijzigingen met updates, invoegen en verwijderen, uitgevoerd en beheerd om te worden doorgevoerd in deltatabellen. Deze methode zorgt ervoor dat alle gegevens die in de landingszone worden geschreven, onmiddellijk worden gebruikt en dat de gegevens in Fabric up-to-date blijven.
Delen
Delen maakt het toegankelijkheidsbeheer en beheer mogelijk, terwijl beveiligingsmaatregelen zoals beveiliging op rijniveau (RLS) en BEVEILIGING op objectniveau (OLS) en meer ervoor zorgen dat u de toegang tot gevoelige informatie kunt beheren. Met delen kunt u ook veilige en ge democratiseerde besluitvorming binnen uw organisatie mogelijk maken.
Door te delen verlenen gebruikers andere gebruikers of een groep gebruikers toegang tot een gespiegelde database zonder toegang te verlenen tot de werkruimte en de rest van de items. Wanneer iemand een gespiegelde database deelt, verlenen ze ook toegang tot het SQL-analyse-eindpunt en het bijbehorende standaard semantische model.
Zie Uw gespiegelde database delen en machtigingen beheren voor meer informatie.
Query's tussen databases
Met de gegevens uit uw gespiegelde database die zijn opgeslagen in OneLake, kunt u query's voor meerdere databases schrijven, gegevens samenvoegen vanuit gespiegelde databases, magazijnen en de SQL-analyse-eindpunten van Lakehouses in één T-SQL-query. Zie Een query voor meerdere databases schrijven voor meer informatie.
U kunt bijvoorbeeld verwijzen naar de tabel vanuit gespiegelde databases en magazijnen met behulp van driedelige naamgeving. Gebruik in het volgende voorbeeld de driedelige naam waarnaar in het magazijn ContosoWarehousemoet worden verwezenContosoSalesTable. Vanuit andere databases of magazijnen is het eerste deel van de standaard naamconventie van SQL met drie delen de naam van de gespiegelde database.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Data-engineer met uw gespiegelde databasegegevens
Microsoft Fabric biedt verschillende mogelijkheden voor data engineering om ervoor te zorgen dat uw gegevens eenvoudig toegankelijk, goed georganiseerd en van hoge kwaliteit zijn. Vanuit Fabric Data-engineer ing kunt u het volgende doen:
- Uw gegevens maken en beheren als Spark met behulp van een lakehouse
- Pijplijnen ontwerpen om gegevens naar uw lakehouse te kopiëren
- Spark-taakdefinities gebruiken om batch-/streamingtaak naar Spark-cluster te verzenden
- Notebooks gebruiken om code te schrijven voor gegevensopname, voorbereiding en transformatie
Datawetenschap met uw gespiegelde databasegegevens
Microsoft Fabric biedt Fabric-Datawetenschap om gebruikers in staat te stellen end-to-end data science-werkstromen te voltooien voor het doel van gegevensverrijking en zakelijke inzichten. U kunt een breed scala aan activiteiten uitvoeren in het hele data science-proces, helemaal van gegevensverkenning, voorbereiding en opschoning tot experimenten, modellering, modelscore en het leveren van voorspellende inzichten aan BI-rapporten.
Microsoft Fabric-gebruikers hebben toegang tot Datawetenschap workloads. Van daaruit kunnen ze verschillende relevante resources detecteren en openen. Ze kunnen bijvoorbeeld machine learning-experimenten, modellen en notebooks maken. Ze kunnen ook bestaande notitieblokken importeren op de startpagina van Datawetenschap.
SQL-database in Fabric
U kunt ook rechtstreeks een SQL-database maken en beheren in Microsoft Fabric (preview) in de Fabric-portal. Op basis van Azure SQL Database wordt SQL Database in Fabric automatisch gespiegeld voor analysedoeleinden en kunt u eenvoudig uw operationele database maken in Fabric. SQL-database is de thuisbasis in Fabric voor OLTP-workloads en kan worden geïntegreerd met de integratie van broncodebeheer van Fabric.