Migrace místních dat Hadoop do Azure Data Lake Storage s platformou WANdisco LiveData pro Azure
WaNdisco LiveData Platform pro Azure migruje petabajty místních dat Hadoopu do systémů souborů Azure Data Lake Storage bez přerušení operací s daty nebo vyžadování výpadků. Průběžné kontroly platformy brání ztrátě dat a zároveň zachování konzistentní na obou koncích přenosu, i když prochází změnami.
Platforma se skládá ze dvou služeb. LiveData Migrator pro Azure migruje aktivně používaná data z místních prostředí do úložiště Azure a LiveData Plane pro Azure zajišťuje, aby se všechna upravená nebo ingestovaná data replikovala konzistentně.
Správa obou služeb pomocí webu Azure Portal a Azure CLI Každá služba se řídí stejným modelem fakturace s průběžnými platbami jako všechny ostatní služby Azure: Spotřeba dat v Platformě LiveData pro Azure se zobrazí na měsíční faktuře Za Azure, která bude poskytovat metriky využití.
Na rozdíl od migrace dat do offline režimu kopírováním statických informací do Azure Data Boxu nebo pomocí nástrojů Hadoop, jako je DistCp, můžete během online migrace pomocí WANdisco LiveData pro Azure udržovat plnou provoz svých obchodních systémů. Udržujte si provozní prostředí s velkými objemy dat i při přesouvání dat do Azure.
Klíčové výhody platformy WANdisco LiveData pro Azure
Platforma WANdisco LiveData Platform pro síť Azure podporující konzistenci dat dosahuje konzistencí v reálném čase a provádí replikaci dat ve velkém měřítku. Další informace najdete v následujícím videu:
Mezi klíčové výhody platformy patří:
Přesnost dat: Komplexní ověřování dat zabraňuje ztrátě dat a zajišťuje, aby přenášená data byla vhodná pro použití.
Konzistence dat: Udržujte svazky dat automaticky konzistentní mezi prostředími, i když procházejí průběžnou změnou.
Efektivita dat: Nepřetržitě přenášet velké objemy dat s plnou kontrolou spotřeby šířky pásma.
Eliminace výpadků: Během migrace můžete volně vytvářet, upravovat, číst a odstraňovat data s jinými aplikacemi bez nutnosti narušit obchodní operace během přenosu dat do Azure. Pokračujte v provozu aplikací, analytické infrastruktury, ingestování úloh a dalšího zpracování.
Jednoduché použití: Pomocí integrace Azure platformy můžete vytvářet, konfigurovat, plánovat a sledovat průběh automatizovaných migrací. Podle potřeby také nakonfigurujte selektivní replikaci dat, metadata Hive, zabezpečení dat a důvěrnost.
Klíčové funkce platformy WANdisco LiveData Platform pro Azure
Mezi klíčové funkce platformy patří:
Migrace metadat: Kromě dat HDFS migrujte metadata (z Hivu a dalších úložišť) pomocí LiveData Migrator pro Azure.
Naplánovaný přenos: K řízení a automatizaci přenosu dat použijte LiveData Migrator pro Azure, abyste eliminovali potřebu ruční migrace změn do dat.
Kerberos: LiveData Migrator pro clustery podpora Azure s Kerberized.
Šablony vyloučení: Vytvořte pravidla v LiveData Migratoru pro Azure, která brání migraci určitých velikostí souborů nebo názvů souborů (definovaných pomocí vzorů globů) do cílového úložiště. Vytvořte šablony vyloučení na webu Azure Portal nebo pomocí rozhraní příkazového řádku a použijte je na libovolný počet migrací.
Mapování cest: Definujte alternativní cílové cesty pro konkrétní cílové systémy souborů, které automaticky přesouvají přenášená data do zadaných adresářů.
Správa šířky pásma: Nakonfigurujte maximální šířku pásma sítě LiveData Migrator pro Azure, aby se zabránilo nadměrné spotřebě šířky pásma.
Vyloučení: Definujte dotazy šablon, které brání migraci všech souborů a adresářů, které splňují kritéria, a umožňují selektivně migrovat data ze zdrojového systému.
Metriky: Zobrazení podrobností o přenosu dat ve službě LiveData Migrator pro Azure, jako jsou soubory přenášené v průběhu času, vyloučené cesty, položky, které se nepodařilo přenést, a další.
Rychlejší migrace velkých objemů dat bez rizika
První služba, která je součástí platformy WANdisco LiveData Platform pro Azure, je LiveData Migrator pro Azure, která migruje data z místních prostředí do Služby Azure Storage. Po nasazení nástroje LiveData Migrator do místního clusteru Hadoop se automaticky vytvoří nejlepší konfigurace pro váš systém souborů. Odtud zadejte podrobnosti protokolu Kerberos pro systém. LiveData Migrator pro Azure pak bude připraven k migraci dat do Azure Storage.
Než začnete používat LiveData Migrator pro Azure, projděte si tyto požadavky.
Provedení migrace:
V Azure CLI:
- Zaregistrujte poskytovatele prostředků WANdisco v Azure CLI spuštěním
az provider register --namespace Wandisco.Fusion --consent-to-permissionspříkazu . - Přijměte účtované fakturační podmínky platformy LiveData Platform spuštěním
az vm image terms accept --offer ldma --plan metered-v1 --publisher Wandisco --subscription <subscriptionID>příkazu .
- Zaregistrujte poskytovatele prostředků WANdisco v Azure CLI spuštěním
Nasaďte instanci LiveData Migrator z webu Azure Portal do místního clusteru Hadoop. (Není nutné provádět změny clusteru ani ho restartovat.)
Poznámka:
WANdisco LiveData Migrator pro Azure nabízí možnost vytvoření testovacího clusteru Hadoop.
Pokud je to možné, nakonfigurujte podrobnosti protokolu Kerberos.
Definujte cílový účet úložiště s podporou služby Azure Data Lake Storage.
Definujte umístění dat, která chcete migrovat, například:
/user/hive/warehouse.
Spusťte migraci.
Sledujte průběh migrace prostřednictvím standardních nástrojů Azure, včetně Azure CLI a webu Azure Portal.
Obousměrná replikace dat v rámci aktivní změny pomocí LiveData Plane pro Azure
Druhou službou, která je součástí platformy LiveData Platform, je LiveData Plane pro Azure. LiveData Plane používá koordinační modul WANdisco, který udržuje data konzistentní v mnoha místních clusterech Hadoop a Azure Storage inteligentním použitím změn dat na všech systémech a odstraňuje riziko konfliktů dat v různých bodech použití.
Po počáteční migraci zachovejte data konzistentní se službou LiveData Plane pro Azure:
Nasaďte LiveData Plane pro místní Azure a v Azure počínaje webem Azure Portal. Nejsou vyžadovány žádné změny aplikace.
Nakonfigurujte pravidla replikace, která pokrývají umístění dat, která chcete zachovat konzistentní, například:
/user/contoso/sales/region/WA.Spouštějte aplikace, které přistupují k datům a upravují je v libovolném umístění podle potřeby.
LiveData Plane pro Azure konzistentně replikuje změny dat ve všech prostředích bez významného dopadu na provoz clusteru nebo výkon aplikace.
Testovací verze nebo zkušební verze
Na stránce LiveData Platform for Azure Marketplace máte dvě možnosti:
Tlačítko Získat hned spustí službu ve vašem předplatném. Odtud můžete použít vlastní cluster Hadoop nebo zkušební cluster WANdisco.
Výběrem testovací verze otestujte LiveData Migrator pro Azure v prostředí, které je předem nakonfigurované a hostované za vás. To vám umožní vyzkoušet LiveData Migrator pro Azure před přidáním do vašeho předplatného bez jakýchkoli nákladů nebo rizik pro vaše data.