Nástroje pro migraci datového skladu Oracle do Azure Synapse Analytics
Tento článek je šestou částí sedmidílné série, která obsahuje pokyny k migraci z Oracle na Azure Synapse Analytics. Tento článek se zaměřuje na osvědčené postupy pro nástroje Microsoftu a třetích stran.
Nástroje pro migraci datového skladu
Migrací stávajícího datového skladu do Azure Synapse můžete využít:
Analytická databáze s globálními zabezpečenými, škálovatelnými, nízkými náklady, nativními pro cloud a průběžnou platbou.
Bohatý analytický ekosystém Microsoftu, který existuje v Azure. Tento ekosystém se skládá z technologií, které pomáhají modernizovat datový sklad, jakmile se migruje, a rozšířit analytické možnosti tak, aby řídily novou hodnotu.
Několik nástrojů od partnerů Microsoftu i třetích stran vám může pomoct s migrací stávajícího datového skladu do Azure Synapse. Tento článek popisuje následující typy nástrojů:
Nástroje microsoftu pro migraci dat a databází.
Nástroje pro automatizaci datového skladu třetích stran pro automatizaci a zdokumentování migrace do Azure Synapse
Nástroje pro migraci datového skladu třetích stran pro migraci schématu a dat do Azure Synapse
Nástroje třetích stran pro přemostit rozdíly SQL mezi existujícími DBMS datového skladu a Azure Synapse
Nástroje microsoftu pro migraci dat
Microsoft nabízí několik nástrojů, které vám pomůžou migrovat stávající datový sklad do Azure Synapse, například:
služby Microsoft pro fyzický přenos dat.
služby Microsoft pro příjem dat.
Další části probírají tyto nástroje podrobněji.
Pomocník s migrací SQL Serveru (SSMA)
Pomocník s migrací SQL Serveru (SSMA) pro Oracle může automatizovat mnoho částí procesu migrace, včetně některých funkcí a procedurálního kódu. SSMA podporuje Azure Synapse jako cílové prostředí.
SSMA pro Oracle vám může pomoct s migrací datového skladu Nebo datového tržiště Oracle do Azure Synapse. SSMA je navržený tak, aby automatizoval proces migrace tabulek, zobrazení a dat z existujícího prostředí Oracle.
Microsoft Azure Data Factory
Data Factory je plně spravovaná služba hybridní integrace dat s průběžnou platbou za použití pro vysoce škálovatelné zpracování ETL a ELT. Používá Apache Spark ke zpracování a analýze dat paralelně a v paměti k maximalizaci propustnosti.
Tip
Data Factory umožňuje vytvářet škálovatelné kanály integrace dat bez kódu.
Konektory data Factory podporují připojení k externím zdrojům dat a databázím a zahrnují šablony pro běžné úlohy integrace dat. Vizuální front-endové uživatelské rozhraní založené na prohlížeči umožňuje neprogramátorům vytvářet a spouštět kanály pro ingestování, transformaci a načítání dat. Zkušení programátoři můžou začlenit vlastní kód, jako jsou programy Pythonu.
Tip
Data Factory umožňuje spolupráci mezi obchodními a IT odborníky.
Data Factory je také nástroj pro orchestraci a je nejlepším nástrojem Microsoftu pro automatizaci kompletního procesu migrace. Automatizace snižuje riziko, úsilí a čas migrace a usnadňuje opakování procesu migrace. Následující diagram znázorňuje tok dat mapování ve službě Data Factory.
Další snímek obrazovky ukazuje tok dat pro transformaci ve službě Data Factory.
Ve službě Data Factory můžete vyvíjet jednoduché nebo komplexní procesy ETL a ELT bez kódování nebo údržby pomocí několika kliknutí. ETL/ELT zpracovává ingestování, přesouvání, přípravu, transformaci a zpracování dat. Můžete navrhnout a spravovat plánování a triggery ve službě Data Factory, abyste vytvořili automatizované prostředí pro integraci a načítání dat. Ve službě Data Factory můžete definovat, spravovat a plánovat procesy hromadného načítání dat PolyBase.
Tip
Data Factory obsahuje nástroje, které vám pomůžou migrovat data i celý datový sklad do Azure.
Data Factory můžete použít k implementaci a správě hybridního prostředí s využitím místních, cloudových, streamovaných a saaS dat zabezpečeným a konzistentním způsobem. Data SaaS můžou pocházet z aplikací, jako je Salesforce.
Transformace toků dat je nová funkce ve službě Data Factory. Tato funkce otevře Data Factory podnikovým uživatelům, kteří chtějí vizuálně zjišťovat, zkoumat a připravovat data ve velkém měřítku bez psaní kódu. Transformace toků dat nabízí samoobslužnou přípravu dat, podobně jako microsoft Excel, Power Query a toky dat Microsoft Power BI. Podnikoví uživatelé můžou připravit a integrovat data prostřednictvím uživatelského rozhraní ve stylu tabulky s možnostmi rozevírací transformace.
Migrace dat ve velkém měřítku pomáhá s migrací dat ve zdroji do cíle Azure SQL pomocí služby Data Factory.
Služba Data Factory je doporučeným přístupem k implementaci integrace dat a procesů ETL/ELT v prostředí Azure Synapse, zejména pokud chcete refaktorovat stávající starší procesy.
služby Microsoft pro fyzický přenos dat
V následujících částech najdete řadu produktů a služeb, které Microsoft nabízí, aby zákazníkům pomohly s přenosem dat. Tento offline přesun dat umožní koncovým uživatelům výrazně snížit výpadky migrace.
Azure ExpressRoute
Azure ExpressRoute vytváří privátní připojení mezi datovými centry Azure a infrastrukturou v místním prostředí nebo v kolokačním prostředí. Připojení ExpressRoute neprocházejí přes veřejný internet a nabízejí větší spolehlivost, vyšší rychlost a nižší latenci než typická připojení k internetu. V některých případech získáte významné nákladové výhody pomocí připojení ExpressRoute k přenosu dat mezi místními systémy a Azure.
AzCopy
AzCopy je nástroj příkazového řádku, který kopíruje soubory do služby Azure Blob Storage přes standardní internetové připojení. V projektu migrace skladu můžete pomocí AzCopy nahrát extrahované, komprimované textové soubory s oddělovači před jejich načtením do Azure Synapse pomocí PolyBase. AzCopy může nahrát jednotlivé soubory, výběry souborů nebo složky souborů. Pokud jsou exportované soubory ve formátu Parquet, použijte místo toho nativní čtečku Parquet.
Azure Data Box
Azure Data Box je služba Microsoftu, která poskytuje proprietární fyzické úložné zařízení, do kterého můžete kopírovat data migrace. Pak zařízení odešlete do datového centra Azure pro nahrání dat do cloudového úložiště. Tato služba může být nákladově efektivní pro velké objemy dat, jako jsou desítky nebo stovky terabajtů nebo kdy není šířka pásma sítě snadno dostupná. Azure Data Box se obvykle používá pro velké jednorázové načítání historických dat do Azure Synapse.
Azure Data Box Gateway
Azure Data Box Gateway je virtualizované zařízení brány cloudového úložiště, které se nachází v místním prostředí a odesílá vaše obrázky, média a další data do Azure. Data Box Gateway můžete použít k jednorázovým úlohám migrace nebo průběžným přírůstkovým nahráváním dat.
služby Microsoft pro příjem dat
V následujících částech najdete informace o produktech a službách, které Microsoft nabízí, aby zákazníkům pomohly s příjmem dat.
COPY INTO
Příkaz COPY INTO poskytuje největší flexibilitu pro příjem dat s vysokou propustností do Azure Synapse. Další informace o možnostech najdete v COPY INTO tématu COPY (Transact-SQL).
PolyBase
PolyBase je nejrychlejší a nejš škálovatelnější metoda hromadného načítání dat do Azure Synapse. PolyBase používá architekturu MPP (Massively Parallel Processing) azure Synapse k paralelnímu načítání dat k dosažení nejrychlejší propustnosti. PolyBase může číst data z plochých souborů ve službě Azure Blob Storage nebo přímo z externích zdrojů dat a dalších relačních databází prostřednictvím konektorů.
Tip
PolyBase může načítat data paralelně ze služby Azure Blob Storage do Azure Synapse.
PolyBase může také přímo číst ze souborů komprimovaných pomocí gzip, aby se snížil fyzický objem dat během procesu načítání. PolyBase podporuje oblíbené formáty dat, jako jsou text s oddělovači, ORC a Parquet.
Tip
PolyBase můžete vyvolat z Data Factory jako součást kanálu migrace.
PolyBase je úzce integrovaná se službou Data Factory, která podporuje rychlý vývoj procesů ETL/ELT pro načítání dat. Procesy načítání dat můžete naplánovat prostřednictvím vizuálního uživatelského rozhraní pro vyšší produktivitu a méně chyb než ručně napsaný kód. Microsoft doporučuje PolyBase pro příjem dat do Azure Synapse, zejména pro příjem dat s velkým objemem dat.
PolyBase k načtení dat používá CREATE TABLE AS nebo INSERT...SELECT příkazy. CREATE TABLE AS minimalizuje protokolování, aby se dosáhlo nejvyšší propustnosti. Nejúčinnějším vstupním formátem pro načtení dat je komprimované textové soubory s oddělovači. Pro maximální propustnost rozdělte velké vstupní soubory na několik menších souborů a načtěte je paralelně. Pro nejrychlejší načítání do pracovní tabulky definujte cílovou tabulku jako HEAP typ a použijte distribuci kruhového dotazování.
PolyBase má určitá omezení, vyžaduje, aby délka řádku dat byla menší než 1 megabajt a nepodporuje vnořené formáty s pevnou šířkou, jako jsou JSON a XML.
Nástroje Microsoftu pro migrace Oracle
Pomocník s migrací SQL Serveru (SSMA) pro Oracle vám může pomoct s migrací starší místní platformy datového skladu do Azure Synapse.
Partneři Microsoftu pro migrace Oracle
Partneři Microsoftu nabízejí nástroje, služby a odborné znalosti, které vám pomůžou migrovat starší místní platformu datového skladu do Azure Synapse.
Další kroky
Další informace o implementaci moderních datových skladů najdete v dalším článku této série: Nad rámec migrace Oracle implementujte moderní datový sklad v Microsoft Azure.