Migrace: Vyhrazené fondy SQL služby Azure Synapse Analytics do prostředků infrastruktury

Platí pro:✅ Warehouse v Microsoft Fabric

Tento článek podrobně popisuje strategii, aspekty a metody migrace datových skladů ve vyhrazených fondech SQL služby Azure Synapse Analytics do Microsoft Fabric Warehouse.

Úvod k migraci

Společnost Microsoft představila Microsoft Fabric, komplexní analytické řešení SaaS pro podniky, které nabízí komplexní sadu služeb, včetně služby Data Factory, Datoví technici, Skladování Dat, Datová Věda, inteligentních funkcí v reálném čase a Power BI.

Tento článek se zaměřuje na možnosti migrace schématu (DDL), migrace kódu databáze (DML) a migrace dat. Microsoft nabízí několik možností a zde podrobně probereme jednotlivé možnosti a poskytneme pokyny, které z těchto možností byste měli zvážit pro svůj scénář. Tento článek používá srovnávací test TPC-DS pro ilustraci a testování výkonu. Skutečný výsledek se může lišit v závislosti na mnoha faktorech, včetně typu dat, datových typů, šířky tabulek, latence zdroje dat atd.

Příprava migrace

Než začnete, pečlivě naplánujte projekt migrace a ujistěte se, že vaše schéma, kód a data jsou kompatibilní s Fabric Warehouse. Je potřeba zvážit určitá omezení . Kvantifikujte práci refaktoringu nekompatibilních položek a také všechny další prostředky potřebné před doručením migrace.

Dalším klíčovým cílem plánování je upravit návrh, aby se zajistilo, že vaše řešení plně využívá vysoký výkon dotazů, který je navržený tak, aby poskytovala služba Fabric Warehouse. Navrhování datových skladů pro škálování představuje jedinečné vzory návrhu, takže tradiční přístupy nejsou vždy nejlepší. Projděte si pokyny k výkonu služby Fabric Warehouse, protože i když některé úpravy návrhu je možné provést po migraci, provádění změn dříve v procesu vám ušetří čas a úsilí. Migrace z jedné technologie nebo prostředí do jiného je vždy velkým úsilím.

Následující diagram znázorňuje životní cyklus migrace se seznamem hlavních pilířů skládajících se z posouzení a vyhodnocení, plánování a návrhu, migrace, monitorování a řízení, optimalizace a modernizace pilířů s přidruženými úlohami v jednotlivých pilířích, které se mají naplánovat a připravit na bezproblémovou migraci.

Runbook pro migraci

Zvažte následující aktivity jako plánovací runbook pro migraci z vyhrazených fondů Synapse SQL do Fabric Warehouse.

1. Vyhodnocení a vyhodnocení
   1. Identifikujte cíle a motivaci. Vytvořte jasné požadované výsledky.
   2. Zjišťování, posouzení a směrný plán stávající architektury
   3. Identifikujte klíčové zúčastněné strany a sponzory.
   4. Definujte rozsah toho, co se má migrovat.
      1. Začněte s malými a jednoduchými, připravte se na několik malých migrací.
      2. Začněte monitorovat a dokumentovat všechny fáze procesu.
      3. Sestavte inventář dat a procesů pro migraci.
      4. Definujte změny datového modelu (pokud existuje).
      5. Nastavte pracovní prostor prostředků infrastruktury.
   5. Jaká je vaše sada dovedností nebo předvolba?
      1. Automatizovat všude, kde je to možné.
      2. Využijte integrované nástroje a funkce Azure ke snížení úsilí o migraci.
   6. Vytrénujte personál na nové platformě.
      1. Identifikujte potřeby a školicí materiály pro zvyšování dovedností, včetně Microsoft Learn.
2. Plánování a návrh
   1. Definujte požadovanou architekturu.
   2. Vyberte metodu nebo nástroje pro migraci , abyste mohli provést následující úlohy:
      1. Extrakce dat ze zdroje
      2. Převod schématu (DDL), včetně metadat pro tabulky a zobrazení
      3. Příjem dat, včetně historických dat.
         1. V případě potřeby datový model znovu zapracujte pomocí nového výkonu a škálovatelnosti platformy.
      4. Migrace databázového kódu (DML)
         1. Migrace nebo refaktoring uložených procedur a obchodních procesů
   3. Inventarizace a extrahování funkcí zabezpečení a oprávnění k objektům ze zdroje
   4. Navrhujte a naplánujte nahrazení nebo úpravu stávajících procesů ETL/ELT pro přírůstkové načtení.
      1. Vytvořte paralelní procesy ETL/ELT do nového prostředí.
   5. Připravte podrobný plán migrace.
      1. Namapovat aktuální stav na nový požadovaný stav
3. Migrace
   1. Proveďte schéma, data, migraci kódu.
      1. Extrakce dat ze zdroje
      2. Převod schématu (DDL)
      3. Příjem dat
      4. Migrace databázového kódu (DML)
   2. V případě potřeby škálujte prostředky vyhrazeného fondu SQL dočasně tak, aby pomohly s rychlostí migrace.
   3. Použijte zabezpečení a oprávnění.
   4. Migrujte existující procesy ETL/ELT pro přírůstkové načítání.
      1. Migrace nebo refaktoring procesů přírůstkového načítání ETL/ELT
      2. Otestujte a porovnejte paralelní procesy načítání přírůstků.
   5. Podle potřeby přizpůsobte podrobný plán migrace.
4. Monitorování a řízení
   1. Spusťte paralelně a porovnejte ho se zdrojovým prostředím.
      1. Testování aplikací, platforem business intelligence a nástrojů pro dotazy
      2. Proveďte srovnávací testy a optimalizujte výkon dotazů.
      3. Monitorování a správa nákladů, zabezpečení a výkonu
   2. Srovnávací test a hodnocení zásad správného řízení
5. Optimalizace a modernizace
   1. Když je firma pohodlná, převést aplikace a primární platformy pro vytváření sestav na Prostředky infrastruktury.
      1. Vertikálně navyšte nebo snížit kapacitu prostředků při přesunu úloh z Azure Synapse Analytics na Microsoft Fabric.
      2. Vytvořte opakovatelnou šablonu z prostředí získaného pro budoucí migrace. Iterovat.
      3. Identifikace příležitostí pro optimalizaci nákladů, zabezpečení, škálovatelnost a efektivitu provozu
      4. Identifikujte příležitosti k modernizaci datových aktiv pomocí nejnovějších funkcí Infrastruktury.

"Lift and shift" nebo modernizovat?

Obecně platí, že existují dva typy scénářů migrace bez ohledu na účel a rozsah plánované migrace: metodu "lift and shift", jak je, nebo fázovaný přístup, který zahrnuje změny architektury a kódu.

Metoda „lift and shift“

Při migraci metodou "lift and shift" se stávající datový model migruje s drobnými změnami nového skladu Fabric. Tento přístup minimalizuje riziko a čas migrace snížením nové práce potřebné k realizaci výhod migrace.

Migrace metodou "lift and shift" je vhodná pro tyto scénáře:

• Máte existující prostředí s malým počtem datových mart, které se mají migrovat.
• Máte existující prostředí s daty, která už jsou v dobře navrženém hvězdicovém nebo sněhovém schématu.
• Jste pod časovým a nákladovým tlakem, abyste přešli na Fabric Warehouse.

Tento přístup funguje dobře pro úlohy optimalizované s vaším aktuálním prostředím vyhrazených fondů SQL Synapse, a proto nevyžaduje významné změny v prostředcích infrastruktury.

Modernizace ve fázovaném přístupu se změnami architektury

Pokud se starší datový sklad vyvinul po dlouhou dobu, budete ho možná muset znovu vytvořit, aby se zachovaly požadované úrovně výkonu.

Můžete také chtít přepracovat architekturu tak, aby využívala nové moduly a funkce dostupné v pracovním prostoru Prostředky infrastruktury.

Rozdíly v návrhu: Vyhrazené fondy SQL Synapse a Fabric Warehouse

Zvažte následující rozdíly mezi datovými sklady Azure Synapse a Microsoft Fabric a porovnáním vyhrazených fondů SQL se službou Fabric Warehouse.

Aspekty tabulek

Když migrujete tabulky mezi různými prostředími, obvykle se fyzicky migrují jenom nezpracovaná data a metadata. Jiné databázové prvky ze zdrojového systému, například indexy, se obvykle nemigrují, protože v novém prostředí můžou být zbytečné nebo implementované jinak.

Optimalizace výkonu ve zdrojovém prostředí, jako jsou například indexy, označují, kde můžete v novém prostředí přidat optimalizaci výkonu, ale prostředky Infrastruktury se o to postará automaticky za vás.

Důležité informace o T-SQL

Existuje několik rozdílů v syntaxi jazyka DML (Data Manipulat Language), o které je potřeba vědět. Projděte si oblast T-SQL v Microsoft Fabric. Při výběru metod migrace pro kód databáze (DML) zvažte také posouzení kódu kódu.

V závislosti na rozdílech parity v době migrace možná budete muset přepsat části kódu T-SQL DML.

Rozdíly v mapování datových typů

Ve službě Fabric Warehouse existuje několik rozdílů v datovém typu. Další informace najdete v tématu Datové typy v Microsoft Fabric.

Následující tabulka obsahuje mapování podporovaných datových typů z vyhrazených fondů SQL Synapse na Fabric Warehouse.

Vyhrazené fondy SQL Synapse	Fabric Warehouse
peníze	decimal(19;4)
smallmoney	decimal(10;4)
smalldatetime	datetime2
datetime	datetime2
nchar	char
nvarchar	varchar
tinyint	smallint
binární	varbinary
datetimeoffset*	datetime2

* Datetime2 neukládá informace o posunu časového pásma navíc, které jsou uloženy. Vzhledem k tomu, že datový typ datetimeoffset není v současné době ve službě Fabric Warehouse podporován, je potřeba data posunu časového pásma extrahovat do samostatného sloupce.

Metody schématu, kódu a migrace dat

Zkontrolujte a určete, které z těchto možností odpovídají vašemu scénáři, skupinám dovedností zaměstnanců a charakteristikám vašich dat. Zvolené možnosti budou záviset na vašich zkušenostech, předvolbách a výhodách jednotlivých nástrojů. Naším cílem je pokračovat v vývoji nástrojů pro migraci, které snižují tření a ruční zásah, aby bylo prostředí migrace bezproblémové.

Tato tabulka shrnuje informace o schématu dat (DDL), kódu databáze (DML) a metodách migrace dat. Dále v tomto článku se podrobněji podíváme na jednotlivé scénáře, které jsou propojené ve sloupci Možnost .

Číslo možnosti	Možnost	Jak funguje	Dovednost/předvolba	Scénář
0	Data Factory	Převod schématu (DDL) Extrakce dat Příjem dat	ADF nebo kanál	Zjednodušili jsme vše v jednom schématu (DDL) a migraci dat. Doporučeno pro tabulky dimenzí.
2	Data Factory s oddílem	Převod schématu (DDL) Extrakce dat Příjem dat	ADF nebo kanál	Použití možností dělení ke zvýšení paralelismu čtení a zápisu s 10x propustností a možností 1, doporučeno pro tabulky faktů.
3	Data Factory s akcelerovaným kódem	Převod schématu (DDL)	ADF nebo kanál	Nejprve převeďte a migrujte schéma (DDL) a pak pomocí CETAS extrahujte a zkopírujte a data Factory za účelem ingestování dat za účelem optimálního celkového výkonu příjmu dat.
4	Zrychlený kód uložených procedur	Převod schématu (DDL) Extrakce dat Posouzení kódu	T-SQL	Uživatel SQL používající integrované vývojové prostředí (IDE) s podrobnější kontrolou nad tím, na jakých úkolech chce pracovat. K ingestování dat použijte službu COPY/Data Factory.
5	Rozšíření projektu SLUŽBY SQL Database pro Azure Data Studio	Převod schématu (DDL) Extrakce dat Posouzení kódu	Projekt SQL	Projekt služby SQL Database pro nasazení s integrací možnosti 4. K ingestování dat použijte funkci COPY nebo Data Factory.
6	VYTVOŘENÍ EXTERNÍ TABULKY JAKO VÝBĚRU (CETAS)	Extrakce dat	T-SQL	Nákladově efektivní a vysoce výkonná data extrahují do Azure Data Lake Storage (ADLS) Gen2. K ingestování dat použijte službu COPY/Data Factory.
7	Migrace pomocí dbt	Převod schématu (DDL) převod kódu databáze (DML)	dbt	Stávající uživatelé dbt mohou pomocí adaptéru dbt Fabric převést své DDL a DML. Potom je nutné migrovat data pomocí dalších možností v této tabulce.

Volba úlohy pro počáteční migraci

Když se rozhodnete, kde začít s vyhrazeným fondem SQL Synapse do projektu migrace Fabric Warehouse, zvolte oblast úloh, ve které můžete:

• Prokažte životaschopnost migrace do Fabric Warehouse tím, že rychle zajistíte výhody nového prostředí. Začněte s malými a jednoduchými, připravte se na několik malých migrací.
• Umožňuje interním technickým pracovníkům získat relevantní zkušenosti s procesy a nástroji, které používají při migraci do jiných oblastí.
• Vytvořte šablonu pro další migrace, která je specifická pro zdrojové prostředí Synapse, a nástroje a procesy, které vám pomůžou.

Tip

Vytvořte inventář objektů, které je potřeba migrovat, a zdokumentujte proces migrace od začátku do konce, aby se mohl opakovat pro jiné vyhrazené fondy NEBO úlohy SQL.

Objemmich dat by měl být dostatečně velký, aby ukázal možnosti a výhody prostředí Fabric Warehouse, ale není příliš velký, aby bylo možné rychle předvést hodnotu. Velikost v rozsahu 1–10 terabajtů je typická.

Migrace pomocí služby Fabric Data Factory

V této části probereme možnosti použití služby Data Factory pro osobu s nízkým kódem nebo bez kódu, kteří jsou obeznámeni se službou Azure Data Factory a kanálem Synapse. Tato možnost přetahování uživatelského rozhraní poskytuje jednoduchý krok pro převod DDL a migraci dat.

Služba Fabric Data Factory může provádět následující úlohy:

• Převeďte schéma (DDL) na syntaxi skladu Fabric.
• Vytvořte schéma (DDL) ve službě Fabric Warehouse.
• Migrujte data do služby Fabric Warehouse.

Možnost 1. Schéma/ Migrace dat – Aktivita kopírování a forEach kopírování

Tato metoda používá nástroj Data Factory Copy Assistant pro připojení ke zdrojovému vyhrazenému fondu SQL, převod syntaxe DDL vyhrazeného fondu SQL na prostředky infrastruktury a kopírování dat do Fabric Warehouse. Můžete vybrat 1 nebo více cílových tabulek (pro datovou sadu TPC-DS je 22 tabulek). Vygeneruje forEach pro procházení seznamu tabulek vybraných v uživatelském rozhraní a vytvoří 22 paralelních vláken aktivity kopírování.

• 22 Výběrové dotazy (jeden pro každou vybranou tabulku) se vygenerovaly a spustily ve vyhrazeném fondu SQL.
• Ujistěte se, že máte odpovídající DWU a třídu prostředků, které umožňují spouštění dotazů vygenerovaných. V takovém případě potřebujete minimálně DWU1000, staticrc10 abyste umožnili maximálně 32 dotazům zpracovávat 22 odeslaných dotazů.
• Přímé kopírování dat z vyhrazeného fondu SQL do Služby Fabric Warehouse vyžaduje přípravu. Proces příjmu dat se skládá ze dvou fází.
  • První fáze se skládá z extrahování dat z vyhrazeného fondu SQL do ADLS a označuje se jako příprava.
  • Druhá fáze se skládá z ingestování dat z přípravného do služby Fabric Warehouse. Většina časování příjmu dat je ve fázi přípravy. V souhrnu má příprava velký dopad na výkon příjmu dat.

Doporučené použití

Použití Průvodce kopírováním k vygenerování forEach poskytuje jednoduché uživatelské rozhraní pro převod DDL a ingestování vybraných tabulek z vyhrazeného fondu SQL do Fabric Warehouse v jednom kroku.

Není ale optimální s celkovou propustností. Hlavními faktory latence výkonu je potřeba paralelizovat čtení a zápis pro krok Source to Stage ( Zdroj do fáze). Tuto možnost doporučujeme použít pouze pro tabulky dimenzí.

Možnost 2. DDL/Migrace dat – Datový kanál s využitím možnosti oddílu

Pokud chcete vyřešit zlepšení propustnosti načítání větších tabulek faktů pomocí datového kanálu Fabric, doporučujeme použít aktivitu kopírování pro každou tabulku faktů s možností oddílu. To poskytuje nejlepší výkon s aktivita Copy.

Máte možnost použít fyzické dělení zdrojové tabulky, pokud je k dispozici. Pokud tabulka nemá fyzické dělení, musíte zadat sloupec oddílu a zadat minimální/maximální hodnoty pro použití dynamického dělení. Na následujícím snímku obrazovky určují možnosti zdroje datového kanálu dynamický rozsah oddílů na ws_sold_date_sk základě sloupce.

I když použití oddílu může zvýšit propustnost s přípravnou fází, je potřeba vzít v úvahu příslušné úpravy:

• V závislosti na rozsahu oddílů může potenciálně používat všechny sloty souběžnosti, protože může generovat více než 128 dotazů ve vyhrazeném fondu SQL.
• Abyste umožnili provádění všech dotazů, musíte provést kapacitu na minimum DWU6000.
• Například pro tabulku TPC-DS web_sales se do vyhrazeného fondu SQL odeslalo 163 dotazů. V DWU6000 se během fronty 35 dotazů spustilo 128 dotazů.
• Dynamický oddíl automaticky vybere oddíl rozsahu. V tomto případě je pro každý dotaz SELECT odeslaný do vyhrazeného fondu SQL 11denní rozsah. Příklad:

  WHERE [ws_sold_date_sk] > '2451069' AND [ws_sold_date_sk] <= '2451080')
  ...
  WHERE [ws_sold_date_sk] > '2451333' AND [ws_sold_date_sk] <= '2451344')
  

Doporučené použití

U tabulek faktů doporučujeme ke zvýšení propustnosti použít službu Data Factory s možností dělení.

Zvýšená paralelizovaná čtení však vyžadují, aby se vyhrazený fond SQL škáloval na vyšší DWU, aby bylo možné provádět extrahované dotazy. Díky využití dělení se rychlost zlepšuje o 10x více než u žádné možnosti oddílu. Kapacitu DWU můžete zvýšit, abyste získali další propustnost prostřednictvím výpočetních prostředků, ale vyhrazený fond SQL má povolených maximálně 128 aktivních dotazů.

Poznámka:

Další informace o mapování Synapse DWU na prostředky infrastruktury najdete v blogu : Mapování vyhrazených fondů SQL služby Azure Synapse na výpočetní prostředky datového skladu Fabric.

Možnost 3. Migrace DDL – Aktivita kopírování průvodce kopírováním forEach

Dvě předchozí možnosti jsou skvělé možnosti migrace dat pro menší databáze. Pokud ale požadujete vyšší propustnost, doporučujeme alternativní možnost:

1. Extrahujte data z vyhrazeného fondu SQL do ADLS, čímž se zmírní režie na výkon fáze.
2. K ingestování dat do služby Fabric Warehouse použijte příkaz Data Factory nebo COPY.

Doporučené použití

Data Factory můžete dál používat k převodu schématu (DDL). Pomocí Průvodce kopírováním můžete vybrat konkrétní tabulku nebo všechny tabulky. Návrhem se migruje schéma a data v jednom kroku a extrahuje schéma bez jakýchkoli řádků pomocí podmínky TOP 0 false v příkazu dotazu.

Následující ukázka kódu popisuje migraci schématu (DDL) se službou Data Factory.

Příklad kódu: Migrace schématu (DDL) se službou Data Factory

Datové kanály prostředků infrastruktury můžete použít k snadné migraci přes DDL (schémata) pro objekty tabulky z libovolného zdrojového azure SQL Database nebo vyhrazeného fondu SQL. Tento datový kanál migruje přes schéma (DDL) pro zdrojové vyhrazené tabulky fondu SQL do Fabric Warehouse.

Návrh kanálu: parametry

Tento datový kanál přijímá parametr SchemaName, který umožňuje určit, která schémata se mají migrovat. Schéma dbo je výchozí.

Do pole Výchozí hodnota zadejte čárkami oddělený seznam schémat tabulky označující, která schémata se mají migrovat: 'dbo','tpch' pro poskytnutí dvou schémat dbo a tpch.

Návrh kanálu: Aktivita vyhledávání

Vytvořte aktivitu vyhledávání a nastavte připojení tak, aby odkazovat na zdrojovou databázi.

Na kartě Nastavení :

• Nastavte typ úložiště dat na Externí.

• Připojení je vyhrazený fond SQL služby Azure Synapse. Typ připojení je Azure Synapse Analytics.

• Použití dotazu je nastaveno na Dotaz.

• Pole Dotaz musí být sestaveno pomocí dynamického výrazu, což umožňuje použití parametru SchemaName v dotazu, který vrací seznam cílových zdrojových tabulek. Vyberte Dotaz a pak vyberte Přidat dynamický obsah.

  Tento výraz v aktivitě LookUp generuje příkaz SQL pro dotazování systémových zobrazení pro načtení seznamu schémat a tabulek. Odkazuje na parametr SchemaName, který umožňuje filtrování schémat SQL. Výstupem je pole schématu SQL a tabulek, které se použijí jako vstup do aktivity ForEach.

  Pomocí následujícího kódu vrátíte seznam všech uživatelských tabulek s názvem schématu.

  @concat('
  SELECT s.name AS SchemaName,
  t.name  AS TableName
  FROM sys.tables AS t
  INNER JOIN sys.schemas AS s
  ON t.type = ''U''
  AND s.schema_id = t.schema_id
  AND s.name in (',coalesce(pipeline().parameters.SchemaName, 'dbo'),')
  ')
  

Návrh kanálu: Smyčka ForEach

Pro smyčku ForEach nakonfigurujte na kartě Nastavení následující možnosti:

• Zakažte sekvenční a povolte souběžné spuštění více iterací.
• Nastavte počet dávek na 50a omezte maximální počet souběžných iterací.
• Pole Položky musí používat dynamický obsah pro odkaz na výstup aktivity Vyhledávání. Použijte následující fragment kódu: @activity('Get List of Source Objects').output.value

Návrh kanálu: Aktivita kopírování uvnitř smyčky ForEach

Uvnitř aktivity ForEach přidejte aktivitu kopírování. Tato metoda používá jazyk dynamického výrazu v rámci datových kanálů k vytvoření SELECT TOP 0 * FROM <TABLE> migrace pouze schématu bez dat do skladu Fabric.

Na kartě Zdroj :

• Nastavte typ úložiště dat na Externí.
• Připojení je vyhrazený fond SQL služby Azure Synapse. Typ připojení je Azure Synapse Analytics.
• Nastavte dotaz použít k dotazování.
• Do pole Dotaz vložte dotaz dynamického obsahu a použijte tento výraz, který vrátí nulové řádky, pouze schéma tabulky:@concat('SELECT TOP 0 * FROM ',item().SchemaName,'.',item().TableName)

Na kartě Cíl :

• Nastavte typ úložiště dat na Pracovní prostor.
• Typ úložiště dat pracovního prostoru je Datový sklad a datový sklad je nastavený na Sklad prostředků infrastruktury.
• Schéma a název tabulky cílové tabulky jsou definovány pomocí dynamického obsahu.
  • Schéma odkazuje na pole aktuální iterace, SchemaName s fragmentem kódu: @item().SchemaName
  • Tabulka odkazuje na TableName s fragmentem kódu: @item().TableName

Návrh kanálu: Jímka

V případě jímky přejděte na sklad a nastavte odkaz na název zdrojového schématu a tabulky.

Po spuštění tohoto kanálu uvidíte datový sklad naplněný každou tabulkou ve zdroji se správným schématem.

Migrace pomocí uložených procedur ve vyhrazeném fondu SYNApse SQL

Tato možnost používá uložené procedury k provedení migrace prostředků infrastruktury.

Ukázky kódu můžete získat v microsoft/fabric-migration na GitHub.com. Tento kód se sdílí jako opensourcový, takže můžete přispět ke spolupráci a pomoci komunitě.

Co můžou uložené procedury migrace dělat:

1. Převeďte schéma (DDL) na syntaxi skladu Fabric.
2. Vytvořte schéma (DDL) ve službě Fabric Warehouse.
3. Extrahujte data z vyhrazeného fondu SQL Synapse do ADLS.
4. Označte nepodporovanou syntaxi prostředků infrastruktury pro kódy T-SQL (uložené procedury, funkce, zobrazení).

Doporučené použití

Tato možnost je skvělá pro ty, kteří:

• Znáte T-SQL.
• Chcete použít integrované vývojové prostředí, jako je SQL Server Management Studio (SSMS).
• Chcete mít podrobnější kontrolu nad tím, na jakých úkolech chtějí pracovat.

Můžete spustit konkrétní uloženou proceduru pro převod schématu (DDL), extrakci dat nebo posouzení kódu T-SQL.

K migraci dat budete muset použít funkci COPY INTO nebo Data Factory k ingestování dat do služby Fabric Warehouse.

Migrace s využitím projektů databáze SQL

Microsoft Fabric Data Warehouse je podporován v rozšíření SQL Database Projects, které je dostupné v nástroji Azure Data Studio a editoru Visual Studio Code.

Toto rozšíření je k dispozici v nástroji Azure Data Studio a editoru Visual Studio Code. Tato funkce umožňuje možnosti správy zdrojového kódu, testování databáze a ověřování schématu.

Další informace o správě zdrojového kódu pro sklady v Microsoft Fabric, včetně integrace Gitu a kanálů nasazení, najdete v tématu Správa zdrojového kódu se skladem.

Doporučené použití

To je skvělá možnost pro ty, kteří preferují použití projektu služby SQL Database pro nasazení. Tato možnost v podstatě integruje uložené procedury migrace prostředků infrastruktury do projektu služby SQL Database, aby byla zajištěna bezproblémová migrace.

Projekt služby SQL Database může:

1. Převeďte schéma (DDL) na syntaxi skladu Fabric.
2. Vytvořte schéma (DDL) ve službě Fabric Warehouse.
3. Extrahujte data z vyhrazeného fondu SQL Synapse do ADLS.
4. Označení nepodporované syntaxe pro kódy T-SQL (uložené procedury, funkce, zobrazení)

K migraci dat pak použijete funkci COPY INTO nebo Data Factory k ingestování dat do služby Fabric Warehouse.

Tým Microsoft Fabric CAT přidal do prostředí Azure Data Studio možnosti podpory Microsoft Fabric CAT sadu skriptů PowerShellu pro zpracování extrakce, vytváření a nasazení schématu (DDL) a databázového kódu (DML) prostřednictvím projektu sql Database. Návod k použití projektu SQL Database s našimi užitečnými skripty PowerShellu najdete v tématu microsoft/fabric-migration na GitHub.com.

Další informace o projektech služby SQL Database naleznete v tématu Začínáme s rozšířením projektů služby SQL Database a sestavením a publikováním projektu.

Migrace dat pomocí CETAS

Příkaz T-SQL CREATE EXTERNAL TABLE AS SELECT (CETAS) poskytuje cenově nejvýhodnější a optimální metodu extrakce dat z vyhrazených fondů Synapse SQL do Azure Data Lake Storage (ADLS) Gen2.

Co může CETAS dělat:

• Extrahujte data do ADLS.
  • Tato možnost vyžaduje, aby uživatelé před ingestováním dat vytvořili schéma (DDL) ve službě Fabric Warehouse. Zvažte možnosti migrace schématu (DDL) v tomto článku.

Výhody této možnosti:

• Ve zdrojovém vyhrazeném fondu Synapse SQL se odešle pouze jeden dotaz na tabulku. Tím se nevyužívá všechny sloty souběžnosti, takže nedojde k blokování souběžných produkčních procesů etL a dotazů zákazníka.
• Škálování na DWU6000 se nevyžaduje, protože pro každou tabulku se používá jenom jeden slot souběžnosti, takže zákazníci můžou používat nižší jednotky DWU.
• Extrakce se spouští paralelně napříč všemi výpočetními uzly a je to klíčem ke zlepšení výkonu.

Doporučené použití

Pomocí CETAS extrahujte data do ADLS jako soubory Parquet. Soubory Parquet poskytují výhodu efektivního úložiště dat pomocí sloupcové komprese, která bude trvat méně šířky pásma pro přesun po síti. Vzhledem k tomu, že Prostředky infrastruktury ukládaly data jako formát Delta parquet, bude příjem dat oproti formátu textového souboru rychlejší než 2,5krát, protože během příjmu dat neexistuje žádný převod na režii formátu Delta.

Zvýšení propustnosti CETAS:

• Přidejte paralelní operace CETAS a zvyšte využití slotů souběžnosti, ale povolte větší propustnost.
• Škálování DWU ve vyhrazeném fondu SQL Synapse

Migrace přes dbt

V této části probereme možnost dbt pro zákazníky, kteří už používají dbt ve svém aktuálním vyhrazeném prostředí fondu SQL Synapse.

Co může dbt dělat:

1. Převeďte schéma (DDL) na syntaxi skladu Fabric.
2. Vytvořte schéma (DDL) ve službě Fabric Warehouse.
3. Převeďte kód databáze (DML) na syntaxi prostředků infrastruktury.

Dbt Framework generuje za běhu DDL a DML (skripty SQL) při každém spuštění. U souborů modelu vyjádřených v příkazech SELECT lze DDL/DML okamžitě přeložit na libovolnou cílovou platformu změnou profilu (připojovací řetězec) a typu adaptéru.

Doporučené použití

Dbt Framework je přístup založený na kódu. Data se musí migrovat pomocí možností uvedených v tomto dokumentu, jako jsou CETAS nebo COPY/Data Factory.

Adaptér dbt pro Microsoft Fabric Data Warehouse umožňuje migrovat existující projekty dbt, které cílily na různé platformy, jako jsou vyhrazené fondy Synapse SQL, Snowflake, Databricks, Google Big Query nebo Amazon Redshift, a to s jednoduchou změnou konfigurace.

Pokud chcete začít s projektem dbt, který cílí na Fabric Warehouse, přečtěte si kurz : Nastavení dbt for Fabric Data Warehouse. Tento dokument obsahuje také možnost přechodu mezi různými sklady a platformami.

Příjem dat do skladu Fabric

Pro příjem dat do služby Fabric Warehouse použijte příkaz COPY INTO nebo Fabric Data Factory v závislosti na tom, co dáváte přednost. Obě metody jsou doporučené a nejvýkonnější, protože mají ekvivalentní propustnost výkonu vzhledem k předpokladu, že se soubory už extrahují do Azure Data Lake Storage (ADLS) Gen2.

Několik faktorů, které je potřeba poznamenat, abyste mohli navrhnout proces pro maximální výkon:

• V případě prostředků infrastruktury neexistuje kolize prostředků při souběžné načítání více tabulek z ADLS do služby Fabric Warehouse. Výsledkem je, že při načítání paralelních vláken nedojde ke snížení výkonu. Maximální propustnost příjmu dat bude omezena pouze výpočetním výkonem vaší kapacity Fabric.
• Správa úloh infrastruktury poskytuje oddělení prostředků přidělených pro zatížení a dotazování. Během provádění dotazů a načítání dat současně neexistuje kolize prostředků.

Související obsah

• Vytvoření skladu v Microsoft Fabric
• Pokyny k výkonu datového skladu Infrastruktury
• Zabezpečení datových skladů v Microsoft Fabric
• Blog: Mapování vyhrazených fondů SQL služby Azure Synapse na výpočetní prostředky datového skladu Fabric