Delen via

Azure Cosmos DB spiegelen (preview)

  • Artikel

Spiegeling in Microsoft Fabric biedt een naadloze no-ETL-ervaring om uw bestaande Azure Cosmos DB-gegevens te integreren met de rest van uw gegevens in Microsoft Fabric. Uw Azure Cosmos DB-gegevens worden continu in bijna realtime gerepliceerd naar Fabric OneLake, zonder dat dit gevolgen heeft voor de prestaties van uw transactionele workloads of het verbruiken van aanvraageenheden (RU's).

Gegevens in OneLake worden opgeslagen in de opensource-delta-indeling en automatisch beschikbaar gemaakt voor alle analytische engines op Fabric.

U kunt ingebouwde Power BI-mogelijkheden gebruiken om toegang te krijgen tot gegevens in OneLake in de DirectLake-modus. Met Copilot verbeteringen in Fabric kunt u de kracht van generatieve AI gebruiken om belangrijke inzichten te krijgen in uw bedrijfsgegevens. Naast Power BI kunt u T-SQL gebruiken om complexe statistische query's uit te voeren of Spark te gebruiken voor gegevensverkenning. U kunt naadloos toegang krijgen tot de gegevens in notebooks en data science gebruiken om machine learning-modellen te bouwen.

Belangrijk

Spiegeling voor Azure Cosmos DB is momenteel beschikbaar als preview-versie. Productieworkloads worden niet ondersteund tijdens de preview-versie. Momenteel worden alleen Azure Cosmos DB for NoSQL-accounts ondersteund.

Waarom spiegeling gebruiken in Fabric?

Met Mirroring in Fabric hoeft u geen verschillende services van meerdere leveranciers samen te voegen. In plaats daarvan kunt u genieten van een zeer geïntegreerd, end-to-end en gebruiksvriendelijk product dat is ontworpen om uw analysebehoeften te vereenvoudigen en gebouwd voor openheid.

Als u op zoek bent naar BI-rapportage of -analyses voor uw operationele gegevens in Azure Cosmos DB, biedt spiegeling het volgende:

  • No-ETL, rendabele bijna realtime toegang tot uw Azure Cosmos DB-gegevens zonder dat dit van invloed is op het verbruik van uw aanvraageenheid
  • Het gemak van het overbrengen van gegevens over verschillende bronnen in Fabric OneLake
  • Optimalisaties van Delta-tabellen met v-order voor bliksemsnelle leesbewerkingen
  • Integratie met één klik met Power BI met Direct Lake en Copilot
  • Uitgebreide zakelijke inzichten door gegevens toe te voegen aan verschillende bronnen
  • Uitgebreidere app-integratie voor toegang tot query's en weergaven

OneLake-gegevens worden opgeslagen in de opensource Delta Lake-indeling, zodat u deze kunt gebruiken met verschillende oplossingen binnen en buiten Microsoft. Met deze gegevensindeling kunt u eenvoudiger één gegevensdomein bouwen voor uw analytische behoeften.

Welke analyse-ervaringen zijn ingebouwd?

Gespiegelde databases zijn een item in Fabric Databeheersysteem verschillen van het eindpunt voor warehouse- en SQL-analyse.

Diagram van fabricspiegeling voor Azure Cosmos DB.

Elke gespiegelde Azure Cosmos DB-database heeft drie items waarmee u kunt communiceren in uw Fabric-werkruimte:

  • Het gespiegelde database-item. Spiegeling beheert de replicatie van gegevens in OneLake en conversie naar Parquet, in een indeling die gereed is voor analyse. Dit maakt downstreamscenario's mogelijk, zoals data engineering, data science en meer.
  • SQL Analytics-eindpunt, dat automatisch wordt gegenereerd
  • Standaard semantisch model, dat automatisch wordt gegenereerd

Gespiegelde database

De gespiegelde database toont de replicatiestatus en de besturingselementen voor het stoppen of starten van replicatie in Fabric OneLake. U kunt uw brondatabase ook weergeven in de modus Alleen-lezen, met behulp van de Azure Cosmos DB-gegevensverkenner. Met Data Explorer kunt u uw containers weergeven in uw Azure Cosmos DB-brondatabase en er query's op uitvoeren. Deze bewerkingen verbruiken aanvraageenheden (RU's) uit uw Azure Cosmos DB-account. Wijzigingen in de brondatabase worden onmiddellijk doorgevoerd in de brondatabaseweergave van Fabric. Schrijven naar de brondatabase is niet toegestaan vanuit Fabric, omdat u alleen de gegevens kunt bekijken.

SQL Analytics-eindpunt

Elke gespiegelde database heeft een automatisch gegenereerd SQL-analyse-eindpunt dat een uitgebreide analytische ervaring biedt boven op de Delta-tabellen van OneLake die zijn gemaakt door het spiegelingsproces. U hebt toegang tot bekende T-SQL-opdrachten waarmee u gegevensobjecten kunt definiëren en opvragen, maar de gegevens niet kunt manipuleren vanuit het SQL-analyse-eindpunt, omdat het een alleen-lezen kopie is.

U kunt de volgende acties uitvoeren in het SQL Analytics-eindpunt:

  • Delta Lake-tabellen verkennen met behulp van T-SQL. Elke tabel wordt toegewezen aan een container uit uw Azure Cosmos DB-database.
  • Maak query's en weergaven zonder code te maken en verken ze visueel zonder een coderegel te schrijven.
  • Gegevens samenvoegen en opvragen in andere gespiegelde databases, magazijnen en Lakehouses in dezelfde werkruimte.
  • U kunt eenvoudig BI-rapporten visualiseren en maken op basis van SQL-query's of weergaven.

Naast de SQL-queryeditor is er een breed ecosysteem van hulpprogramma's. Deze hulpprogramma's omvatten de mssql-extensie met Visual Studio Code, SQL Server Management Studio (SSMS) en zelfs GitHub Copilot. U kunt analyses en inzichten genereren op basis van het hulpprogramma van uw keuze.

Semantisch model

Het standaard semantische model is een automatisch ingericht Semantisch Power BI-model. Met deze functie kunnen zakelijke metrische gegevens worden gemaakt, gedeeld en hergebruikt. Zie semantische modellen voor meer informatie.

Hoe werkt bijna realtime replicatie?

Wanneer u spiegeling inschakelt op uw Azure Cosmos DB-database, worden bewerkingen ingevoegd, bijgewerkt en verwijderd op uw OLTP-gegevens (Online Transaction Processing) continu gerepliceerd naar Fabric OneLake voor analyseverbruik.

De functie voor continue back-up is een vereiste voor spiegeling. U kunt continue back-ups van 7 dagen of 30 dagen inschakelen in uw Azure Cosmos DB-account. Als u continue back-ups specifiek inschakelt voor spiegeling, wordt continue back-up van zeven dagen aanbevolen, omdat deze gratis is.

Notitie

Spiegeling maakt geen gebruik van de analytische opslag of wijzigingenfeed van Azure Cosmos DB als een gegevensopnamebron voor wijzigingen. U kunt deze mogelijkheden onafhankelijk blijven gebruiken, samen met spiegeling.

Het kan enkele minuten duren voordat uw Azure Cosmos DB-gegevens worden gerepliceerd naar Fabric OneLake. Afhankelijk van de initiële momentopname van uw gegevens of de frequentie van updates/verwijderingen kan replicatie in sommige gevallen ook langer duren. Replicatie heeft geen invloed op de aanvraageenheden (RU's) die u hebt toegewezen voor uw transactionele workloads.

Wat u kunt verwachten van spiegeling

Er zijn enkele overwegingen en ondersteunde scenario's die u moet overwegen voordat u spiegelt.

Overwegingen bij het instellen

Als u een database wilt spiegelen, moet deze al worden ingericht in Azure. U moet continue back-up inschakelen voor het account als een vereiste.

  • U kunt elke database alleen afzonderlijk tegelijk spiegelen. U kunt kiezen welke database u wilt spiegelen.
  • U kunt dezelfde database meerdere keren spiegelen binnen dezelfde werkruimte. Als best practice kan één kopie van de database opnieuw worden gebruikt in lakehouses, magazijnen of andere gespiegelde databases. U hoeft niet meerdere spiegels in te stellen op dezelfde database.
  • U kunt dezelfde database ook spiegelen in verschillende Fabric-werkruimten of -tenants.
  • Wijzigingen in Azure Cosmos DB-containers, zoals het toevoegen van nieuwe containers en het verwijderen van bestaande containers, worden naadloos gerepliceerd naar Fabric. U kunt bijvoorbeeld beginnen met het spiegelen van een lege database zonder containers en het spiegelen van de containers die op een later tijdstip zijn toegevoegd, naadloos worden opgehaald.

Ondersteuning voor geneste gegevens

Geneste gegevens worden weergegeven als een JSON-tekenreeks in SQL Analytics-eindpunttabellen. U kunt T-SQL-query's of weergaven gebruiken OPENJSONCROSS APPLYom OUTER APPLY deze gegevens selectief uit te breiden. Als u Power Query gebruikt, kunt u de ToJson functie ook toepassen om deze gegevens uit te vouwen.

Notitie

Fabric heeft een beperking voor tekenreekskolommen van 8 kB in grootte. Zie datawarehousebeperkingen voor meer informatie.

Schemawijzigingen verwerken

Met spiegeling worden eigenschappen automatisch gerepliceerd in Azure Cosmos DB-items, met schemawijzigingen. Nieuwe eigenschappen die in een item worden gedetecteerd, worden weergegeven als nieuwe kolommen en de ontbrekende eigenschappen, indien aanwezig, worden weergegeven als null in Fabric.

Als u de naam van een eigenschap in een item wijzigt, behouden de fabric-tabellen zowel de oude als de nieuwe kolommen. In de oude kolom wordt null weergegeven en de nieuwe kolom geeft de meest recente waarde weer voor alle items die worden gerepliceerd na de hernoemingsbewerking.

Als u het gegevenstype van een eigenschap in Azure Cosmos DB-items wijzigt, worden de wijzigingen ondersteund voor compatibele gegevenstypen die kunnen worden geconverteerd. Als de gegevenstypen niet compatibel zijn voor conversie in Delta, worden ze weergegeven als null-waarden.

SQL Analytics-eindpunttabellen converteren Delta-gegevenstypen naar T-SQL-gegevenstypen.

Dubbele kolomnamen

Azure Cosmos DB ondersteunt niet-hoofdlettergevoelige kolomnamen, op basis van de JSON-standaard. Spiegeling ondersteunt deze dubbele kolomnamen door toe te voegen _n aan de kolomnaam, waarbij n dit een numerieke waarde zou zijn.

Als het Azure Cosmos DB-item bijvoorbeeld unieke eigenschappen heeft addressName en AddressName als unieke eigenschappen heeft, hebben fabric-tabellen corresponderende addressName en AddressName_1 kolommen. Zie replicatiebeperkingen voor meer informatie.

Beveiliging

Verbindingen met uw brondatabase zijn gebaseerd op accountsleutels voor uw Azure Cosmos DB-accounts. Als u de sleutels roteert of opnieuw genereert, moet u de verbindingen bijwerken om ervoor te zorgen dat replicatie werkt. Zie verbindingen voor meer informatie.

Accountsleutels zijn niet direct zichtbaar voor andere Fabric-gebruikers zodra de verbinding is ingesteld. U kunt beperken wie toegang heeft tot de verbindingen die zijn gemaakt in Fabric. Schrijfbewerkingen zijn niet toegestaan voor de Azure Cosmos DB-database vanuit de Data Explorer of het analyse-eindpunt in uw gespiegelde database.

Mirroring biedt momenteel geen ondersteuning voor verificatie met behulp van alleen-lezen accountsleutels, eenmalige aanmelding (SSO) met Microsoft Entra-id's en op rollen gebaseerd toegangsbeheer of beheerde identiteiten.

Zodra de gegevens zijn gerepliceerd in Fabric OneLake, moet u de toegang tot deze gegevens beveiligen.

Functies voor gegevensbescherming

Gedetailleerde beveiliging kan worden geconfigureerd in de gespiegelde database in Microsoft Fabric. Zie gedetailleerde machtigingen in Microsoft Fabric voor meer informatie.

U kunt kolomfilters en rijfilters op basis van predicaat op tabellen beveiligen voor rollen en gebruikers in Microsoft Fabric:

U kunt ook gevoelige gegevens van niet-beheerders maskeren met dynamische gegevensmaskering:

Netwerkbeveiliging

Op dit moment biedt spiegeling geen ondersteuning voor privé-eindpunten of door de klant beheerde sleutels (CMK) in OneLake. Spiegelen wordt niet ondersteund voor Azure Cosmos DB-accounts met netwerkbeveiligingsconfiguraties die minder permissief zijn dan alle netwerken, het gebruik van service-eindpunten, het gebruik van privé-eindpunten, het gebruik van IP-adressen of het gebruik van andere instellingen die de toegang tot het openbare netwerk tot het account kunnen beperken. Azure Cosmos DB-accounts moeten zijn geopend voor alle netwerken om te kunnen werken met spiegeling.

Herstel na noodgevallen en replicatielatentie

In Fabric kunt u inhoud implementeren in datacenters in andere regio's dan de thuisregio van de Fabric-tenant. Zie ondersteuning voor meerdere geografische gebieden voor meer informatie.

Voor een Azure Cosmos DB-account met een primaire schrijfregio en meerdere leesregio's kiest spiegeling de Leesregio van Azure Cosmos DB die zich het dichtst bij de regio bevindt waar de infrastructuurcapaciteit is geconfigureerd. Deze selectie biedt replicatie met lage latentie voor spiegeling.

Wanneer u uw Azure Cosmos DB-account overschakelt naar een herstelregio, wordt door spiegeling automatisch de dichtstbijzijnde Azure Cosmos DB-regio opnieuw geselecteerd.

Notitie

Spiegeling biedt geen ondersteuning voor accounts met meerdere schrijfregio's.

Uw Cosmos DB-gegevens die zijn gerepliceerd naar OneLake, moeten worden geconfigureerd om storingen in de hele regio af te handelen. Zie herstel na noodgevallen in OneLake voor meer informatie.

Uw gegevens verkennen met spiegeling

U kunt gespiegelde gegevens rechtstreeks weergeven en openen in OneLake. U kunt ook naadloos toegang krijgen tot gespiegelde gegevens zonder verdere gegevensverplaatsing.

Meer informatie over het openen van OneLake met behulp van ADLS Gen2-API's of SDK, de OneLake-verkenner en Azure Storage Explorer.

U kunt verbinding maken met het EINDPUNT van SQL Analytics vanuit hulpprogramma's zoals SQL Server Management Studio (SSMS) of met behulp van stuurprogramma's zoals Microsoft Open Database Connectivity (ODBC) en Java Database Connectivity (JDBC). Zie connectiviteit van SQL Analytics-eindpunten voor meer informatie.

U kunt ook toegang krijgen tot gespiegelde gegevens met services zoals:

  • Azure-services zoals Azure Databricks, Azure HDInsight of Azure Synapse Analytics
  • Fabric Lakehouse met behulp van snelkoppelingen voor data engineering- en data science-scenario's
  • Andere gespiegelde databases of magazijnen in de werkruimte Fabric

U kunt ook oplossingen voor de medalsight-architectuur bouwen, de gegevens opschonen en transformeren die als bronslaag in gespiegelde database worden geplaatst. Zie de ondersteuning voor medal intune-architectuur in Fabric voor meer informatie.

Prijzen

Spiegeling is gratis voor berekeningen die worden gebruikt om uw Cosmos DB-gegevens te repliceren naar Fabric OneLake. Opslag in OneLake is gratis op basis van bepaalde voorwaarden. Zie OneLake-prijzen voor spiegeling voor meer informatie. Het rekengebruik voor het opvragen van gegevens via SQL, Power BI of Spark wordt nog steeds in rekening gebracht op basis van de infrastructuurcapaciteit.

Als u data explorer gebruikt in Fabric-spiegeling, worden er typische kosten gemaakt op basis van het gebruik van de aanvraageenheid (RU) om de containers te verkennen en query's uit te voeren op de items in de Azure Cosmos DB-brondatabase. De functie voor continue back-up van Azure Cosmos DB is een vereiste voor spiegeling: de standaardkosten voor continue back-up zijn van toepassing. Er worden geen extra kosten in rekening gebracht voor het spiegelen van doorlopende back-upfacturering. Zie prijzen voor Azure Cosmos DB voor meer informatie.

Volgende stap

Zelfstudie: Gespiegelde Databases van Microsoft Fabric configureren vanuit Azure Cosmos DB (preview)

Gerelateerde inhoud