Co je zrcadlení v prostředcích infrastruktury?
Zrcadlení v prostředcích infrastruktury je nízkonákladové řešení s nízkou latencí, které spojuje data z různých systémů do jedné analytické platformy. Stávající datová aktiva můžete průběžně replikovat přímo do OneLake fabric z různých databází Azure a externích zdrojů dat.
Díky nejaktuálnějším datům v dotazovatelném formátu ve OneLake teď můžete používat všechny různé služby v Prostředcích infrastruktury, jako je spouštění analýz pomocí Sparku, spouštění poznámkových bloků, přípravy dat, vizualizace v sestavách Power BI a další.
Zrcadlení v prostředcích infrastruktury umožňuje uživatelům využívat vysoce integrovaný, ucelený a snadno použitelný produkt, který je navržený tak, aby zjednodušil potřeby analýzy. Díky otevřenosti a spolupráci mezi Microsoftem a technologickými řešeními, která můžou číst opensourcový formát tabulky Delta Lake, zrcadlení je nízkonákladové řešení s nízkou latencí na klíč, které umožňuje vytvořit repliku dat v OneLake, která se dá použít pro všechny vaše analytické potřeby.
Tabulky Delta se pak dají používat všude v prostředcích Fabric, což uživatelům umožňuje urychlit jejich cestu k Prostředkům infrastruktury.
Proč používat zrcadlení v prostředcích infrastruktury?
Dnes má mnoho organizací klíčové provozní nebo analytické údaje, které se nachází v sila.
Přístup k datům a práce s ním dnes vyžaduje komplexní kanály ETL (Extrakce transformační zátěže), obchodní procesy a rozhodovací sila, které vytvářejí:
- Omezený a omezený přístup k důležitým, někdy měnícím se datům
- Tření mezi lidmi, procesy a technologiemi
- Dlouhé doby čekání při vytváření datových kanálů a procesů na kriticky důležitá data
- Žádná svoboda používat nástroje, které potřebujete k analýze a sdílení přehledů pohodlně
- Nedostatek správných základů sdílení a spolupráce na datech
- Žádné běžné otevřené formáty dat pro všechny analytické scénáře – BI, AI, integrace, inženýrství a dokonce i aplikace
Zrcadlení v prostředcích infrastruktury poskytuje snadné prostředí pro urychlení časového limitu pro přehledy a rozhodování a rozdělení datových sil mezi technologickými řešeními:
- Replikace dat a metadat téměř v reálném čase do datového jezera SaaS s integrovanými analytickými funkcemi pro BI a AI
Platforma Microsoft Fabric je založená na základu softwaru jako služby (SaaS), který zjednodušuje a integraci na zcela novou úroveň. Další informace o Microsoft Fabric najdete v tématu Co je Microsoft Fabric?
Zrcadlení vytvoří v pracovním prostoru Fabric tři položky:
- Zrcadlení spravuje replikaci dat a metadat do OneLake a převod na Parquet v analytickém formátu. To umožňuje podřízené scénáře, jako jsou datové inženýrství, datové vědy a další.
- Koncový bod analýzy SQL
- Výchozí sémantický model
Kromě editoru dotazů SQL existuje široký ekosystém nástrojů, včetně SQL Server Management Studia (SSMS), rozšíření mssql se sadou Visual Studio Code a dokonce i GitHubuCopilot.
Sdílení umožňuje snadné řízení přístupu a správu, abyste měli jistotu, že můžete řídit přístup k citlivým informacím. Sdílení také umožňuje zabezpečené a demokratizované rozhodování ve vaší organizaci.
Typy zrcadlení
Fabric nabízí tři různé přístupy k přenesení dat do OneLake prostřednictvím zrcadlení.
- Zrcadlení databáze – Zrcadlení databází v Microsoft Fabric umožňuje replikaci celých databází a tabulek, což umožňuje spojit data z různých systémů do jedné analytické platformy.
- Zrcadlení metadat – Zrcadlení metadat v prostředcích infrastruktury synchronizuje metadata (například názvy katalogů, schémata a tabulky) místo fyzického přesouvání dat. Tento přístup využívá klávesové zkratky a zajišťuje, aby data zůstala ve zdroji a zároveň byla snadno přístupná v rámci prostředků infrastruktury.
- Otevřené zrcadlení – Otevřené zrcadlení v Prostředcích infrastruktury je navrženo k rozšíření zrcadlení na základě otevřeného formátu tabulky Delta Lake. Tato funkce umožňuje všem vývojářům psát data změny aplikace přímo do zrcadlené databázové položky v Microsoft Fabric na základě přístupu otevřeného zrcadlení a veřejných rozhraní API.
V současné době jsou k dispozici následující externí databáze:
| Platforma | Replikace téměř v reálném čase | Typ zrcadlení | Ucelený kurz |
|---|---|---|---|
| Zrcadlené databáze Microsoft Fabric ze služby Azure Cosmos DB (Preview) | Ano | Zrcadlení databáze | Kurz: Azure Cosmos DB |
| Zrcadlené databáze Microsoft Fabric z Azure Databricks (Preview) | Ano | Zrcadlení metadat | Kurz: Azure Databricks |
| Zrcadlené databáze Microsoft Fabric ze služby Azure SQL Database | Ano | Zrcadlení databáze | Kurz: Azure SQL Database |
| Zrcadlené databáze Microsoft Fabric ze spravované instance Azure SQL (Preview) | Ano | Zrcadlení databáze | Kurz: Azure SQL Managed Instance |
| Zrcadlené databáze Microsoft Fabric ze Snowflake | Ano | Zrcadlení databáze | Kurz: Snowflake |
| Otevřené zrcadlené databáze (Preview) | Ano | Otevření zrcadlení | Kurz: Otevření zrcadlení |
| Zrcadlené databáze Microsoft Fabric z databáze SQL Fabric (Preview) | Ano | Zrcadlení databáze | Automaticky nakonfigurované |
Jak funguje replikace zrcadlení databáze téměř v reálném čase?
Zrcadlení je povoleno vytvořením zabezpečeného připojení k vašemu provoznímu zdroji dat. Rozhodnete se, jestli chcete replikovat celou databázi nebo jednotlivé tabulky a zrcadlení automaticky zajistí synchronizaci vašich dat. Po nastavení se data průběžně replikují do OneLake pro spotřebu analýz.
Toto jsou základní principy zrcadlení:
Povolení zrcadlení v prostředcích infrastruktury je jednoduché a intuitivní, aniž byste museli vytvářet složité kanály ETL, přidělovat další výpočetní prostředky a spravovat přesun dat.
Zrcadlení v prostředcích infrastruktury je plně spravovaná služba, takže se nemusíte starat o hostování, údržbu nebo správu replikace zrcadlených připojení.
Jak funguje zrcadlení metadat?
Zrcadlení umožňuje nejen replikaci dat, ale také prostřednictvím zástupců nebo zrcadlení metadat místo úplné replikace dat, což umožňuje jejich zpřístupnění bez fyzického přesunutí nebo duplikování dat. Zrcadlení v tomto kontextu odkazuje na replikaci pouze metadat , jako jsou názvy katalogů, schémata a tabulky, a ne samotná data. Tento přístup umožňuje prostředkům Infrastruktury zpřístupnit data z různých zdrojů, aniž by je duplikoval, zjednodušil správu dat a minimalizoval potřeby úložiště.
Například při přístupu k datům registrovaným v katalogu Unity zrcadlí prostředky Infrastruktury jenom strukturu katalogu z Azure Databricks, což umožňuje přístup k podkladovým datům prostřednictvím zástupců. Tato metoda zajišťuje, že všechny změny ve zdrojových datech se okamžitě projeví v prostředcích infrastruktury bez nutnosti přesunu dat, udržování synchronizace v reálném čase a zvýšení efektivity při přístupu k aktuálním informacím.
Jak funguje otevírání zrcadlení?
Kromě zrcadlení, které umožňuje replikaci dat vytvořením zabezpečeného připojení ke zdroji dat, můžete také vybrat existujícího zprostředkovatele dat nebo napsat vlastní aplikaci, která přistane data do zrcadlené databáze. Jakmile vytvoříte otevřenou zrcadlenou databázi prostřednictvím veřejného rozhraní API nebo přes portál Fabric, budete moct získat adresu URL cílové zóny ve OneLake, kde můžete změnit data podle specifikace otevřeného zrcadlení.
Jakmile jsou data v cílové zóně se správným formátem, replikace začne běžet a bude spravovat složitost sloučení změn s aktualizacemi, vložením a odstraněním, které se projeví v rozdílových tabulkách. Tato metoda zajišťuje, že všechna data zapsaná do cílové zóny budou okamžitě a budou data v prostředcích infrastruktury aktuální.
Sdílení
Sdílení umožňuje snadné řízení přístupu a správu, zatímco bezpečnostní prvky, jako jsou zabezpečení na úrovni řádků (RLS) a zabezpečení na úrovni objektů (OLS) a další, ujistěte se, že máte kontrolu nad přístupem k citlivým informacím. Sdílení také umožňuje zabezpečené a demokratizované rozhodování ve vaší organizaci.
Sdílením uživatelé udělují jiným uživatelům nebo skupině uživatelů přístup ke zrcadlené databázi bez udělení přístupu k pracovnímu prostoru a zbývajícím jeho položkám. Když někdo sdílí zrcadlenou databázi, udělí také přístup ke koncovému bodu analýzy SQL a přidruženému výchozímu sémantickému modelu.
Další informace najdete v tématu Sdílení zrcadlené databáze a správy oprávnění.
Mezidatabázové dotazy
S daty z zrcadlené databáze uložené v OneLake můžete psát dotazy mezi databázemi, připojovat data ze zrcadlených databází, skladů a koncových bodů analýzy SQL v jednom dotazu T-SQL. Další informace najdete v tématu Zápis dotazu mezi databázemi.
Můžete například odkazovat na tabulku ze zrcadlených databází a skladů pomocí třídílného pojmenování. V následujícím příkladu použijte třídílný název odkazující na ContosoSalesTable sklad ContosoWarehouse. Z jiných databází nebo skladů představuje první část standardní zásady vytváření názvů SQL název zrcadlené databáze.
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
Datoví technici se zrcadlenými daty databáze
Microsoft Fabric nabízí různé možnosti přípravy dat, které zajistí, že vaše data budou snadno přístupná, dobře uspořádaná a vysoce kvalitní. Z prostředků infrastruktury Datoví technici můžete:
- Vytvoření a správa dat jako Spark pomocí jezerahouse
- Návrh kanálů pro kopírování dat do jezerahouse
- Použití definic úloh Sparku k odeslání dávkové úlohy nebo úlohy streamování do clusteru Spark
- Psaní kódu pro příjem dat, přípravu a transformaci pomocí poznámkových bloků
Datová Věda se zrcadlenými daty databáze
Microsoft Fabric nabízí Datová Věda Fabric, které uživatelům umožňují kompletní pracovní postupy datových věd pro účely rozšiřování dat a obchodních přehledů. Celou řadu aktivit v rámci celého procesu datových věd, od zkoumání dat, přípravy a čištění až po experimentování, modelování, bodování modelu a poskytování prediktivních přehledů sestav BI.
Uživatelé Microsoft Fabric mají přístup k Datová Věda úlohám. Odtud můžou zjišťovat a přistupovat k různým relevantním prostředkům. Můžou například vytvářet experimenty, modely a poznámkové bloky strojového učení. Můžou také importovat existující poznámkové bloky na domovské stránce Datová Věda.
Databáze SQL v prostředcích infrastruktury
Databázi SQL můžete také přímo vytvořit a spravovat v Microsoft Fabric (Preview) na portálu Fabric. Na základě Azure SQL Database se databáze SQL v prostředcích infrastruktury automaticky zrcadlí pro účely analýzy a umožňuje snadno vytvořit provozní databázi v prostředcích infrastruktury. Databáze SQL je domovská stránka v prostředcích Infrastruktury pro úlohy OLTP a může integrovat s integrací správy zdrojového kódu Fabric.