Hulpprogramma's voor migratie van Oracle-datawarehouse naar Azure Synapse Analytics
Dit artikel is deel zes van een zevendelige reeks die richtlijnen biedt voor het migreren van Oracle naar Azure Synapse Analytics. De focus van dit artikel is aanbevolen procedures voor microsoft- en hulpprogramma's van derden.
Hulpprogramma's voor datawarehouse-migratie
Door uw bestaande datawarehouse naar Azure Synapse te migreren, profiteert u van:
Een wereldwijd veilige, schaalbare, goedkope, cloudeigen, betalen per gebruik analytische database.
Het uitgebreide analytische Ecosysteem van Microsoft dat bestaat in Azure. Dit ecosysteem bestaat uit technologieën om uw datawarehouse te moderniseren zodra het is gemigreerd en uw analytische mogelijkheden uit te breiden om nieuwe waarde te creëren.
Verschillende hulpprogramma's van zowel Microsoft- als externe partners kunnen u helpen bij het migreren van uw bestaande datawarehouse naar Azure Synapse. In dit artikel worden de volgende typen hulpprogramma's besproken:
Microsoft-hulpprogramma's voor gegevens- en databasemigratie.
Automatiseringsprogramma's van derden voor datawarehouses voor het automatiseren en documenteren van de migratie naar Azure Synapse.
Hulpprogramma's voor migratie van datawarehouses van derden voor het migreren van schema's en gegevens naar Azure Synapse.
Hulpprogramma's van derden om de SQL-verschillen tussen uw bestaande datawarehouse DBMS en Azure Synapse te overbruggingen.
Microsoft-hulpprogramma's voor gegevensmigratie
Microsoft biedt verschillende hulpprogramma's waarmee u uw bestaande datawarehouse kunt migreren naar Azure Synapse, zoals:
Microsoft-services voor fysieke gegevensoverdracht.
Microsoft-services voor gegevensopname.
In de volgende secties worden deze hulpprogramma's uitvoeriger besproken.
SQL Server Migration Assistant (SSMA)
SQL Server Migration Assistant (SSMA) voor Oracle kan veel onderdelen van het migratieproces automatiseren, waaronder in sommige gevallen functies en procedurele code. SSMA ondersteunt Azure Synapse als doelomgeving.
Met SSMA voor Oracle kunt u een Oracle-datawarehouse of datamart migreren naar Azure Synapse. SSMA is ontworpen om het proces van het migreren van tabellen, weergaven en gegevens uit een bestaande Oracle-omgeving te automatiseren.
Microsoft Azure Data Factory
Data Factory is een volledig beheerde, betalen per gebruik, hybride gegevensintegratieservice voor zeer schaalbare ETL- en ELT-verwerking. Apache Spark wordt gebruikt om gegevens parallel en in het geheugen te verwerken en te analyseren om de doorvoer te maximaliseren.
Tip
Met Data Factory kunt u met code schaalbare pijplijnen voor gegevensintegratie bouwen.
Data Factory-connectors ondersteunen verbindingen met externe gegevensbronnen en databases en bevatten sjablonen voor algemene gegevensintegratietaken. Een visuele front-end, browsergebaseerde gebruikersinterface stelt niet-programmeurs in staat pijplijnen te maken en uit te voeren om gegevens op te nemen, te transformeren en te laden. Meer ervaren programmeurs kunnen aangepaste code opnemen, zoals Python-programma's.
Tip
Data Factory maakt gezamenlijke ontwikkeling mogelijk tussen zakelijke en IT-professionals.
Data Factory is ook een indelingsprogramma en is het beste Microsoft-hulpprogramma om het end-to-end migratieproces te automatiseren. Automatisering vermindert het risico, de inspanning en de tijd die nodig is om te migreren en maakt het migratieproces eenvoudig herhaalbaar. In het volgende diagram ziet u een toewijzingsgegevensstroom in Data Factory.
In de volgende schermopname ziet u een wrangling-gegevensstroom in Data Factory.
In Data Factory kunt u met slechts een paar klikken eenvoudige of uitgebreide ETL- en ELT-processen ontwikkelen zonder code of onderhoud. ETL/ELT-processen verwerken uw gegevens op, verplaatsen, voorbereiden, transformeren en verwerken. U kunt planning en triggers ontwerpen en beheren in Data Factory om een geautomatiseerde gegevensintegratie en laadomgeving te bouwen. In Data Factory kunt u processen voor bulksgewijs laden van PolyBase-gegevens definiëren, beheren en plannen.
Tip
Data Factory bevat hulpprogramma's voor het migreren van zowel uw gegevens als uw hele datawarehouse naar Azure.
U kunt Data Factory gebruiken om een hybride omgeving te implementeren en beheren met on-premises, cloud-, streaming- en SaaS-gegevens op een veilige en consistente manier. SaaS-gegevens kunnen afkomstig zijn van toepassingen zoals Salesforce.
Wrangling-gegevensstromen is een nieuwe mogelijkheid in Data Factory. Met deze mogelijkheid opent u Data Factory voor zakelijke gebruikers die gegevens op schaal visueel willen detecteren, verkennen en voorbereiden zonder code te schrijven. Wrangling-gegevensstromen bieden selfservicegegevensvoorbereiding, vergelijkbaar met Microsoft Excel-, Power Query- en Microsoft Power BI-gegevensstromen. Zakelijke gebruikers kunnen gegevens voorbereiden en integreren via een gebruikersinterface in spreadsheetstijl met vervolgkeuzelijsten voor transformatieopties.
Gegevensmigratie op schaal helpt de migratie van gegevens bij de bron naar het Azure SQL-doel met behulp van Data Factory.
Data Factory is de aanbevolen methode voor het implementeren van gegevensintegratie en ETL/ELT-processen in de Azure Synapse-omgeving, met name als u bestaande verouderde processen wilt herstructureren.
Microsoft-services voor fysieke gegevensoverdracht
In de volgende secties wordt een reeks producten en services besproken die Microsoft biedt om klanten te helpen bij het overdragen van gegevens. Dankzij deze offlinegegevensverplaatsing kunnen eindgebruikers de downtime van de migratie aanzienlijk verminderen.
Azure ExpressRoute
Azure ExpressRoute maakt privéverbindingen tussen Azure-datacenters en infrastructuur op uw locatie of in een collocatieomgeving. ExpressRoute-verbindingen gaan niet via het openbare internet en bieden meer betrouwbaarheid, snellere snelheden en lagere latenties dan gewone internetverbinding. In sommige gevallen profiteert u van aanzienlijke kostenvoordelen door ExpressRoute-verbindingen te gebruiken om gegevens over te dragen tussen on-premises systemen en Azure.
AzCopy
AzCopy is een opdrachtregelprogramma waarmee bestanden naar Azure Blob Storage worden gekopieerd via een standaardinternetverbinding. In een warehousemigratieproject kunt u AzCopy gebruiken om geëxtraheerde, gecomprimeerde, gescheiden tekstbestanden te uploaden voordat u ze in Azure Synapse laadt met behulp van PolyBase. AzCopy kan afzonderlijke bestanden, bestandsselecties of bestandsmappen uploaden. Als de geëxporteerde bestanden de Parquet-indeling hebben, gebruikt u in plaats daarvan een systeemeigen Parquet-lezer.
Azure Data Box
Azure Data Box is een Microsoft-service die u een eigen fysiek opslagapparaat biedt waarnaar u migratiegegevens kunt kopiëren. Vervolgens verzendt u het apparaat naar een Azure-datacenter voor het uploaden van gegevens naar cloudopslag. Deze service kan rendabel zijn voor grote hoeveelheden gegevens, zoals tientallen of honderden terabytes, of waar de netwerkbandbreedte niet direct beschikbaar is. Azure Data Box wordt doorgaans gebruikt voor een grote eenmalige belasting van historische gegevens in Azure Synapse.
Azure Data Box Gateway
Azure Data Box Gateway is een gevirtualiseerd cloudopslaggatewayapparaat dat zich op uw locatie bevindt en uw afbeeldingen, media en andere gegevens naar Azure verzendt. Data Box Gateway gebruiken voor eenmalige migratietaken of doorlopende incrementele gegevensuploads.
Microsoft-services voor gegevensopname
In de volgende secties worden de producten en services besproken die Microsoft biedt om klanten te helpen bij het opnemen van gegevens.
COPY INTO
De INSTRUCTIE COPY INTO biedt de meeste flexibiliteit voor gegevensopname met hoge doorvoer in Azure Synapse. Zie COPY (Transact-SQL) voor meer informatie over COPY INTO mogelijkheden.
PolyBase
PolyBase is de snelste, meest schaalbare methode voor het bulksgewijs laden van gegevens in Azure Synapse. PolyBase maakt gebruik van de MPP-architectuur (Massively Parallel Processing) van Azure Synapse voor het parallel laden van gegevens om de snelste doorvoer te bereiken. PolyBase kan gegevens lezen uit platte bestanden in Azure Blob Storage of rechtstreeks vanuit externe gegevensbronnen en andere relationele databases via connectors.
Tip
PolyBase kan gegevens parallel vanuit Azure Blob Storage laden in Azure Synapse.
PolyBase kan ook rechtstreeks lezen uit bestanden die zijn gecomprimeerd met gzip om het fysieke volume van gegevens tijdens een laadproces te verminderen. PolyBase ondersteunt populaire gegevensindelingen, zoals tekst met scheidingstekens, ORC en Parquet.
Tip
U kunt PolyBase vanuit Data Factory aanroepen als onderdeel van een migratiepijplijn.
PolyBase is nauw geïntegreerd met Data Factory ter ondersteuning van snelle ontwikkeling van ETL-/ELT-processen voor gegevensbelasting. U kunt processen voor gegevensbelasting plannen via een visuele gebruikersinterface voor hogere productiviteit en minder fouten dan handgeschreven code. Microsoft raadt PolyBase aan voor gegevensopname in Azure Synapse, met name voor gegevensopname met grote volumes.
PolyBase gebruikt CREATE TABLE AS of INSERT...SELECT instructies om gegevens te laden. CREATE TABLE AS minimaliseert logboekregistratie om de hoogste doorvoer te bereiken. De meest efficiënte invoerindeling voor het laden van gegevens is gecomprimeerde tekstbestanden met scheidingstekens. Voor maximale doorvoer splitst u grote invoerbestanden in meerdere kleinere bestanden en laadt u ze parallel. Voor het snelst laden naar een faseringstabel definieert u de doeltabel als HEAP type en gebruikt u round robin-distributie.
PolyBase heeft enkele beperkingen, de lengte van de gegevensrij moet kleiner zijn dan 1 megabyte en biedt geen ondersteuning voor geneste indelingen met vaste breedte, zoals JSON en XML.
Microsoft-hulpprogramma's voor Oracle-migraties
SQL Server Migration Assistant (SSMA) voor Oracle kan u helpen bij het migreren van uw verouderde on-premises datawarehouse-platform naar Azure Synapse.
Microsoft-partners voor Oracle-migraties
Microsoft-partners bieden hulpprogramma's, services en expertise om u te helpen uw verouderde on-premises datawarehouseplatform te migreren naar Azure Synapse.
Volgende stappen
Zie het volgende artikel in deze reeks voor meer informatie over het implementeren van moderne datawarehouses: Voorbij Oracle-migratie, een modern datawarehouse implementeren in Microsoft Azure.