Wat is spiegelen in stof?
Spiegeling in Fabric is een goedkope en laag latente oplossing om gegevens van verschillende systemen samen te brengen in één analyseplatform. U kunt uw bestaande gegevensomgeving continu rechtstreeks repliceren naar OneLake van Fabric vanuit verschillende Azure-databases en externe gegevensbronnen.
Met de meest recente gegevens in een doorzoekbare indeling in OneLake kunt u nu alle verschillende services in Fabric gebruiken, zoals het uitvoeren van analyses met Spark, het uitvoeren van notebooks, gegevenstechniek, het visualiseren via Power BI-rapporten en meer.
Met spiegeling in Fabric kunnen gebruikers genieten van een zeer geïntegreerd, end-to-end en gebruiksvriendelijk product dat is ontworpen om uw analysebehoeften te vereenvoudigen. Gebouwd voor openheid en samenwerking tussen Microsoft en technologieoplossingen die de opensource-indeling van de Delta Lake-tabel kunnen lezen, is Spiegelen een kant-en-klare oplossing met lage kosten en lage latentie. Hiermee kunt u een replica van uw gegevens in OneLake maken om al uw analytische behoeften te ondersteunen.
De Delta-tabellen kunnen vervolgens in heel Fabric worden gebruikt, zodat gebruikers hun gebruik van Fabric kunnen versnellen.
Waarom spiegeling gebruiken in Fabric?
Tegenwoordig hebben veel organisaties bedrijfskritieke operationele of analytische gegevens in silo's.
Voor toegang tot en het werken met deze gegevens zijn tegenwoordig complexe ETL-pijplijnen, bedrijfsprocessen en beslissingssilo's vereist, waardoor:
- Beperkte en beperkte toegang tot belangrijke, steeds veranderende gegevens
- Wrijving tussen mensen, processen en technologie
- Lange wachttijden voor het maken van gegevenspijplijnen en -processen voor kritieke belangrijke gegevens
- Geen vrijheid om de hulpprogramma's te gebruiken die u nodig hebt om inzichten comfortabel te analyseren en te delen
- Gebrek aan een goede basis voor mensen om gegevens te delen en eraan samen te werken
- Geen algemene, open gegevensindelingen voor alle analytische scenario's- BI, AI, integratie, engineering en zelfs apps
Mirroring in Fabric biedt een eenvoudige ervaring om de time-to-value voor inzichten en beslissingen sneller te maken en om gegevenssilo's tussen technologieoplossingen af te breken.
- Bijna realtime replicatie van gegevens en metagegevens in een SaaS-data lake, met ingebouwde analyse ingebouwd voor BI en AI
Het Microsoft Fabric-platform is gebouwd op basis van Software as a Service (SaaS), wat eenvoud en integratie naar een geheel nieuw niveau vergt. Zie Wat is Microsoft Fabric voor meer informatie over Microsoft Fabric?
Met spiegeling worden drie items gemaakt in uw Fabric-werkruimte:
- Spiegeling beheert de replicatie van gegevens en metagegevens in OneLake en conversie naar Parquet, in een indeling die gereed is voor analyse. Dit maakt downstreamscenario's mogelijk, zoals data engineering, data science en meer.
- Een SQL Analytics-eindpunt
- Een standaard semantisch model
Naast de SQL-queryeditor is er een breed ecosysteem aan hulpmiddelen, waaronder SQL Server Management Studio (SSMS), de mssql-extensie met Visual Studio Code, en zelfs GitHubCopilot.
Delen vergemakkelijkt toegangsbeheer en -controle, zodat u de toegang tot gevoelige informatie kunt beheren. Met delen kunt u ook veilige en ge democratiseerde besluitvorming binnen uw organisatie mogelijk maken.
Typen van spiegelen
Fabric biedt drie verschillende benaderingen voor het overbrengen van gegevens naar OneLake via spiegeling.
- Databasespiegeling: databasespiegeling in Microsoft Fabric maakt replicatie van volledige databases en tabellen mogelijk, zodat u gegevens uit verschillende systemen samen kunt brengen in één analyseplatform.
- Metagegevensspiegeling: met metagegevensspiegeling in Fabric worden metagegevens (zoals catalogusnamen, schema's en tabellen) gesynchroniseerd in plaats van de gegevens fysiek te verplaatsen. Deze aanpak maakt gebruik van snelkoppelingen, zodat de gegevens in de bron blijven, terwijl ze nog steeds eenvoudig toegankelijk zijn binnen Fabric.
- Open mirroring : Open mirroring in Fabric is ontworpen om spiegeling uit te breiden op basis van de open Delta Lake-tabelindeling. Met deze mogelijkheid kan elke ontwikkelaar de wijzigingsgegevens van hun toepassing rechtstreeks schrijven naar een gespiegeld database-item in Microsoft Fabric, op basis van de open mirroring-benadering en openbare API's.
Momenteel zijn de volgende externe databases beschikbaar:
| Platform | Bijna realtime replicatie | Soort spiegeling | End-to-end handleiding |
|---|---|---|---|
| Microsoft Fabric-gespiegelde databases van Azure Cosmos DB (voorvertoning) | Ja | Databasespiegeling | Zelfstudie: Azure Cosmos DB |
| Gespiegelde Microsoft Fabric-databases van Azure Databricks (preview) | Ja | Metagegevensspiegeling | Handleiding: Azure Databricks |
| Gespiegelde Microsoft Fabric-databases uit Azure SQL Database | Ja | Databasespiegeling | Handleiding: Azure SQL Database |
| Gespiegelde Microsoft Fabric-databases van Azure SQL Managed Instance (preview) | Ja | Databasespiegeling | Handleiding: Azure SQL Managed Instance |
| Gespiegelde Microsoft Fabric-databases uit Snowflake | Ja | Databasespiegeling | Handleiding: Snowflake |
| Gespiegelde databases openen (preview) | Ja | Spiegeling openen | Zelfstudie: Spiegeling openen |
| Gespiegelde Microsoft Fabric-databases vanuit een Fabric SQL-database (preview) | Ja | Database mirroring | Automatisch geconfigureerd |
Hoe werkt de bijna realtime replicatie van databasespiegeling?
Spiegelen is ingeschakeld door een beveiligde verbinding met uw operationele gegevensbron te maken. U kiest of u een volledige database of afzonderlijke tabellen wilt repliceren en spiegeling zorgt ervoor dat uw gegevens automatisch gesynchroniseerd blijven. Zodra de gegevens zijn ingesteld, worden gegevens continu gerepliceerd naar OneLake voor analyseverbruik.
Hier volgen kernprincipes van spiegeling:
Spiegeling in Fabric inschakelen is eenvoudig en intuïtief, zonder dat u complexe ETL-pijplijnen hoeft te maken, andere rekenresources hoeft toe te wijzen en gegevensverplaatsing te beheren.
Spiegeling in Fabric is een volledig beheerde service, dus u hoeft zich geen zorgen te maken over het hosten, onderhouden of beheren van replicatie van de gespiegelde verbinding.
Hoe werkt het spiegelen van metagegevens?
Spiegelen maakt niet alleen gegevensreplicatie mogelijk, maar kan ook worden bereikt via snelkoppelingen of metagegevensspiegeling in plaats van volledige gegevensreplicatie, zodat gegevens beschikbaar kunnen zijn zonder deze fysiek te verplaatsen of te dupliceren. Spiegeling in deze context verwijst naar het repliceren van alleen metagegevens, zoals catalogusnamen, schema's en tabellen, in plaats van de werkelijke gegevens zelf. Met deze benadering kan Fabric gegevens uit verschillende bronnen toegankelijk maken zonder deze te dupliceren, gegevensbeheer te vereenvoudigen en opslagbehoeften te minimaliseren.
Wanneer u bijvoorbeeld toegang krijgt tot gegevens die zijn geregistreerd in Unity Catalog, spiegelt Fabric alleen de catalogusstructuur van Azure Databricks, zodat de onderliggende gegevens toegankelijk zijn via snelkoppelingen. Deze methode zorgt ervoor dat eventuele wijzigingen in de brongegevens direct worden doorgevoerd in Fabric zonder dat gegevens hoeven te worden verzonden, realtime synchronisatie te behouden en de efficiëntie bij het openen van actuele informatie te verbeteren.
Hoe werkt open spiegeling?
Naast spiegeling waarmee gegevensreplicatie mogelijk wordt gemaakt door een beveiligde verbinding met uw gegevensbron te maken, kunt u ook een bestaande gegevensprovider selecteren of uw eigen toepassing schrijven om gegevens in gespiegelde database te landen. Zodra u een open gespiegelde database hebt gemaakt via een openbare API of via de Fabric-portal, kunt u een URL voor een landingszone verkrijgen in OneLake, waar u gegevens per open mirroringspecificatie kunt landen.
Zodra de gegevens zich in de landingszone bevinden met de juiste indeling, zal de replicatie worden gestart en de complexiteit van het samenvoegen van de wijzigingen met updates, invoegen en verwijderen beheren, zodat deze gereflecteerd worden in deltatabellen. Deze methode zorgt ervoor dat alle gegevens die in de landingszone worden geschreven, onmiddellijk worden verwerkt en dat de gegevens in Fabric continu up-to-date blijven.
Delen
Delen maakt toegangscontrole en beheer eenvoudig, terwijl beveiligingsmaatregelen zoals beveiliging op rijniveau (RLS) en beveiliging op objectniveau (OLS) en meer ervoor zorgen dat u de toegang tot gevoelige informatie kunt beheren. Met delen kunt u ook veilige en ge democratiseerde besluitvorming binnen uw organisatie mogelijk maken.
Door te delen verlenen gebruikers andere gebruikers of een groep gebruikers toegang tot een gespiegelde database zonder toegang te verlenen tot de werkruimte en de rest van de items. Wanneer iemand een gespiegelde database deelt, verlenen ze ook toegang tot het SQL-analyse-eindpunt en het bijbehorende standaard semantische model.
Zie Uw gespiegelde database delen en machtigingen beheren voor meer informatie.
Query's tussen databases
Met de gegevens uit uw gespiegelde database die zijn opgeslagen in OneLake, kunt u query's voor meerdere databases schrijven, gegevens samenvoegen vanuit gespiegelde databases, magazijnen en de SQL-analyse-eindpunten van Lakehouses in één T-SQL-query. Zie Een query voor meerdere databases schrijven voor meer informatie.
U kunt bijvoorbeeld verwijzen naar de tabel vanuit gespiegelde databases en magazijnen met behulp van driedelige naamgeving. Gebruik in het volgende voorbeeld de driedelige naam om naar ContosoSalesTable te verwijzen in magazijn ContosoWarehouse. Vanuit andere databases of magazijnen is het eerste deel van de standaard naamconventie van SQL met drie delen de naam van de gespiegelde database.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Kosten van spiegeling
Voor databasespiegeling en open spiegeling zijn Fabric compute en OneLake-opslag gratis tot een limiet op basis van capaciteit.
- Op basis van de capaciteitsgrootte is opslag voor replica's gratis tot een bepaalde limiet. Spiegeling biedt een gratis terabyte aan spiegelingsopslag voor elke capaciteitseenheid (CU) die u hebt gekocht. Als u bijvoorbeeld een F64-capaciteit aanschaft, krijgt u 64 gratis terabytes aan opslagruimte, exclusief gebruikt voor spiegeling. OneLake-opslag wordt gefactureerd als de gratis opslaglimiet voor mirroring wordt overschreden of wanneer de capaciteit wordt gepauzeerd. Voor meer informatie, zie Prijzen voor Microsoft Fabric.
- Fabric-rekenkracht die wordt gebruikt om uw gegevens te repliceren naar Fabric OneLake is gratis en verbruikt geen capaciteit. Aanvragen bij OneLake als onderdeel van het spiegelingsproces verbruiken capaciteit zoals normaal rekenverbruik bij OneLake. De berekening voor het uitvoeren van query's op gegevens met behulp van SQL, Power BI of Spark wordt regelmatig in rekening gebracht.
Gegevensengineering met uw gespiegelde databasegegevens
Microsoft Fabric biedt verschillende mogelijkheden voor data engineering om ervoor te zorgen dat uw gegevens eenvoudig toegankelijk, goed georganiseerd en van hoge kwaliteit zijn. Vanuit Fabric Data Engineering kunt u het volgende doen:
- Uw gegevens maken en beheren als Spark met behulp van een lakehouse
- Pijplijnen ontwerpen om gegevens naar uw lakehouse te kopiëren
- Spark-taakdefinities gebruiken om batch-/streamingtaak naar Spark-cluster te verzenden
- Notebooks gebruiken om code te schrijven voor gegevensopname, voorbereiding en transformatie
Datawetenschap met uw gespiegelde databasegegevens
Microsoft Fabric biedt Fabric-Datawetenschap om gebruikers in staat te stellen end-to-end data science-werkstromen te voltooien voor het doel van gegevensverrijking en zakelijke inzichten. U kunt een breed scala aan activiteiten uitvoeren in het hele data science-proces, helemaal van gegevensverkenning, voorbereiding en opschoning tot experimenten, modellering, modelscore en het leveren van voorspellende inzichten aan BI-rapporten.
Microsoft Fabric-gebruikers hebben toegang tot Datawetenschap workloads. Van daaruit kunnen ze verschillende relevante resources detecteren en openen. Ze kunnen bijvoorbeeld machine learning-experimenten, modellen en notebooks maken. Ze kunnen ook bestaande notitieblokken importeren op de startpagina van Datawetenschap.
SQL-database in Fabric
U kunt ook rechtstreeks een SQL-database maken en beheren in Microsoft Fabric (preview) in de Fabric-portal. Op basis van Azure SQL Database wordt SQL Database in Fabric automatisch gespiegeld voor analysedoeleinden en kunt u eenvoudig uw operationele database maken in Fabric. SQL-database is de thuisbasis voor OLTP-workloads in Fabric en kan worden geïntegreerd met de broncodebeheersintegratie van Fabric.