Che cos'è il mirroring in Fabric?
Il mirroring in Fabric è una soluzione a basso costo e a bassa latenza per riunire i dati di vari sistemi in una singola piattaforma di analisi. È possibile replicare continuamente il patrimonio di dati esistente direttamente in OneLake di Fabric da un'ampia gamma di database di Azure e origini dati esterne.
Con i dati più aggiornati in un formato interrogabile in OneLake, è ora possibile usare tutti i diversi servizi in Fabric, ad esempio l'esecuzione di analisi con Spark, l'esecuzione di notebook, l'ingegneria dei dati, la visualizzazione tramite report di Power BI e altro ancora.
Il mirroring in Fabric consente di usufruire di un prodotto end-to-end altamente integrato e facile da usare, progettato per semplificare le esigenze di analisi. Progettato per l'apertura e la collaborazione tra Microsoft e le soluzioni tecnologiche in grado di leggere il formato di tabella Delta Lake open source, il mirroring è una soluzione chiavi in mano a basso costo e a bassa latenza che consente di creare una replica dei dati in OneLake utilizzabile per tutte le esigenze analitiche.
Le tabelle Delta possono quindi essere usate ovunque in Fabric, consentendo agli utenti di accelerare il percorso in Fabric.
Perché usare il mirroring in Fabric?
Oggi molte organizzazioni hanno dati operativi o analitici cruciali nei silo.
L'accesso e l'uso di questi dati oggi richiede pipeline ETL (Extract, Transform and Load, Estrazione, trasformazione e carico), processi aziendali e silo decisionali complessi, che producono:
- Accesso limitato e riservato a dati importanti, in continua evoluzione
- Attrito tra persone, processi e tecnologia
- Tempi di attesa lunghi per creare pipeline di dati e processi per dati importanti e critici
- Nessuna libertà di usare gli strumenti necessari per analizzare e condividere in modo pratico le informazioni dettagliate
- Mancanza di una base adeguata per le persone che operano in condivisione e collaborazione sui dati
- Nessun formato di dati comune e aperto per tutti gli scenari analitici: BI, IA, integrazione, progettazione e persino app
Il mirroring in Fabric offre un'esperienza semplice per accelerare il time-to-value delle informazioni dettagliate e delle decisioni, ma anche per suddividere i silo di dati tra le soluzioni tecnologiche:
- Replica quasi in tempo reale di dati e metadati in un data lake SaaS, con analisi predefinite per BI e intelligenza artificiale
La piattaforma Microsoft Fabric è fondata su una base di Software as a Service (SaaS), che introduce un livello completamente nuovo di semplicità e integrazione. Per altre informazioni su Microsoft Fabric, vedere Che cos'è Microsoft Fabric?
Il mirroring crea tre elementi nell'area di lavoro di Fabric:
- Il mirroring gestisce la replica di dati e metadati in OneLake e la conversione in Parquet, in un formato pronto per l'analisi. Questo consente scenari downstream quali ingegneria dei dati, data science e altri.
- Un endpoint di Analisi SQL
- Un modello semantico predefinito
Oltre all'editor di query SQL, è disponibile un ampio ecosistema di strumenti, tra cui SQL Server Management Studio (SSMS), l'estensione mssql con Visual Studio Code e anche GitHubCopilot.
La condivisione consente il controllo e la gestione dell’accessibilità per poter controllare l'accesso alle informazioni riservate. La condivisione inoltre consente di democratizzare e rendere sicure le decisioni nell'organizzazione.
Tipi di mirroring
Fabric offre tre diversi approcci per l'inserimento dei dati in OneLake tramite il mirroring.
- Mirroring del database: il mirroring del database in Microsoft Fabric consente la replica di interi database e tabelle, consentendo di riunire i dati da vari sistemi in una singola piattaforma di analisi.
- Mirroring dei metadati: il mirroring dei metadati in Fabric sincronizza i metadati , ad esempio nomi di catalogo, schemi e tabelle, anziché spostare fisicamente i dati. Questo approccio sfrutta i tasti di scelta rapida, assicurando che i dati rimangano nell'origine pur essendo facilmente accessibili all'interno di Fabric.
- Mirroring aperto: il mirroring aperto in Fabric è progettato per estendere il mirroring in base al formato di tabella Delta Lake aperto. Questa funzionalità consente a qualsiasi sviluppatore di scrivere i dati delle modifiche dell'applicazione direttamente in un elemento di database con mirroring in Microsoft Fabric, in base all'approccio di mirroring aperto e alle API pubbliche.
Attualmente sono disponibili i database esterni seguenti:
| Piattaforma | Replica near real-time | Tipo di mirroring | Esercitazione end-to-end |
|---|---|---|---|
| Database con mirroring di Microsoft Fabric da Azure Cosmos DB (anteprima) | Sì | Mirroring del database | Esercitazione: Azure Cosmos DB |
| Database con mirroring di Microsoft Fabric da Azure Databricks (anteprima) | Sì | Mirroring dei metadati | Esercitazione: Azure Databricks |
| Database con mirroring Microsoft Fabric da Database SQL di Azure | Sì | Mirroring del database | Esercitazione: Database SQL di Azure |
| Database con mirroring di Microsoft Fabric da Istanza gestita di SQL di Azure (anteprima) | Sì | Mirroring del database | Esercitazione: Istanza gestita di SQL di Azure |
| Database con mirroring di Microsoft Fabric da Snowflake | Sì | Mirroring del database | Esercitazione: Snowflake |
| Aprire database con mirroring (anteprima) | Sì | Aprire il mirroring | Esercitazione: Aprire il mirroring |
| Database con mirroring di Microsoft Fabric dal database SQL di Fabric (anteprima) | Sì | Mirroring del database | Configurata automaticamente |
Come funziona la replica quasi in tempo reale del mirroring del database?
Il mirroring è abilitato creando una connessione sicura all'origine dati operativa. L’utente sceglie se replicare un intero database o le singole tabelle e il mirroring manterrà automaticamente sincronizzati i dati. Dopo la configurazione, i dati verranno replicati in modo continuo in OneLake per l'utilizzo di analisi.
Di seguito sono riportati i principi fondamentali del mirroring:
L'abilitazione del mirroring in Fabric è semplice e intuitiva e non richiede di creare pipeline ETL complesse, allocare altre risorse di calcolo e gestire lo spostamento dati.
Il mirroring in Fabric è un servizio gestito in modo completo, pertanto non è necessario preoccuparsi di ospitare, mantenere o gestire la replica del collegamento con mirroring.
Come funziona il mirroring dei metadati?
Il mirroring non solo abilita la replica dei dati, ma può essere ottenuto anche tramite collegamenti o mirroring dei metadati anziché la replica completa dei dati, consentendo la disponibilità dei dati senza spostarli fisicamente o duplicarli. Il mirroring in questo contesto si riferisce alla replica solo dei metadati, ad esempio nomi di catalogo, schemi e tabelle, anziché i dati effettivi stessi. Questo approccio consente a Fabric di rendere accessibili i dati da origini diverse senza duplicarli, semplificando la gestione dei dati e riducendo al minimo le esigenze di archiviazione.
Ad esempio, quando si accede ai dati registrati in Unity Catalog, Fabric esegue il mirroring solo della struttura del catalogo di Azure Databricks, consentendo l'accesso ai dati sottostanti tramite collegamenti. Questo metodo garantisce che le modifiche apportate ai dati di origine vengano immediatamente riflesse in Fabric senza richiedere lo spostamento dei dati, mantenendo la sincronizzazione in tempo reale e migliorando l'efficienza nell'accesso alle informazioni aggiornate.
Come funziona il mirroring aperto?
Oltre al mirroring che abilita la replica dei dati creando una connessione sicura all'origine dati, è anche possibile selezionare un provider di dati esistente o scrivere un'applicazione personalizzata per trasferire i dati nel database con mirroring. Dopo aver creato un database con mirroring aperto tramite l'API pubblica o tramite il portale di Fabric, sarà possibile ottenere un URL della zona di destinazione in OneLake, in cui è possibile trasferire i dati delle modifiche in base alla specifica del mirroring aperto.
Una volta che i dati si trovano nella zona di destinazione con il formato corretto, la replica inizierà a funzionare e gestirà la complessità dell'unione delle modifiche con gli aggiornamenti, l'inserimento e l'eliminazione da riflettere nelle tabelle delta. Questo metodo garantisce che tutti i dati scritti nella zona di destinazione siano immediatamente e mantengano aggiornati i dati in Fabric.
Condivisione
Se la condivisione consente il controllo e la gestione dell’accessibilità, i controlli come la sicurezza a livello di riga (RLS), la protezione a livello di oggetto (OLS) e altri assicurano la possibilità di controllare l'accesso alle informazioni riservate. La condivisione inoltre consente di democratizzare e rendere sicure le decisioni nell'organizzazione.
Mediante la condivisione, gli utenti concedono ad altri utenti o a un gruppo di utenti l'accesso a un database con mirroring senza concedere l'accesso all'area di lavoro e al resto degli elementi. Quando qualcuno condivide un database con mirroring, concede l'accesso anche all'endpoint di analisi SQL e al modello semantico predefinito associato.
Per altre informazioni, vedere Condividere il database con mirroring e gestire le autorizzazioni.
Query tra database
Con i dati del database con mirroring archiviati in OneLake, è possibile scrivere query tra database, unire dati dai database con mirroring, magazzini e endpoint di analisi SQL di Lakehouse in una singola query T-SQL. Per altre informazioni, vedere Scrivere una query tra database.
Ad esempio, è possibile fare riferimento alla tabella dai database con mirroring e dai magazzini usando la denominazione in tre parti. Nell'esempio seguente usare il nome in tre parti per fare riferimento a ContosoSalesTable nel magazzino ContosoWarehouse. Da altri database o magazzini, la prima parte della convenzione di denominazione standard di SQL in tre parti è il nome del database con mirroring.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Ingegneria dei dati con i dati di database con mirroring
Microsoft Fabric offre varie funzionalità di ingegneria dei dati per garantire che i dati siano facilmente accessibili, ben organizzati e di alta qualità. Da Ingegneria dei dati di Fabric è possibile:
- Creare e gestire i dati come Spark usando un lakehouse
- Progettare pipeline per copiare dati in un lakehouse
- Usare le definizioni dei processi di Spark per inviare un processo batch/streaming al cluster Spark
- Usare i notebook per scrivere codice per l'inserimento, la preparazione e la trasformazione dei dati
Data Science con i dati del database con mirroring
Microsoft Fabric offre funzionalità di data science dell'infrastruttura per consentire agli utenti di completare flussi di lavoro di data science end-to-end ai fini dell'arricchimento dei dati e delle informazioni aziendali. È possibile completare un'ampia gamma di attività nell'intero processo di data science: da esplorazione, preparazione e pulizia dei dati a sperimentazione, modellazione, punteggio del modello e gestione di informazioni dettagliate predittive nei report di BI.
Gli utenti di Microsoft Fabric possono accedere ai carichi di lavoro di Data science. Da qui è possibile individuare e accedere a varie risorse pertinenti. Ad esempio, possono creare esperimenti, modelli e notebook di apprendimento automatico. Possono anche importare notebook esistenti nella pagina iniziale di data science.
SQL database in Fabric
È anche possibile creare e gestire direttamente un database SQL in Microsoft Fabric (anteprima) all'interno del portale di Fabric. In base alle database SQL di Azure, il database SQL in Fabric viene automaticamente sottoposto a mirroring a scopo di analisi e consente di creare facilmente il database operativo in Fabric. Il database SQL è la home page di Fabric per i carichi di lavoro OLTP e può essere integrato con l'integrazione del controllo del codice sorgente di Fabric.