Ferramentas para migração de data warehouse Oracle para o Azure Synapse Analytics
Este artigo é parte seis de uma série de sete partes que fornece orientação sobre como migrar do Oracle para o Azure Synapse Analytics. O foco deste artigo são as práticas recomendadas para a Microsoft e ferramentas de terceiros.
Ferramentas de migração de data warehouse
Ao migrar seu data warehouse existente para o Azure Synapse, você se beneficia de:
Um banco de dados analítico globalmente seguro, escalável, de baixo custo, nativo da nuvem e pago conforme o uso.
O rico ecossistema analítico da Microsoft que existe no Azure. Esse ecossistema consiste em tecnologias para ajudar a modernizar seu data warehouse depois de migrado e estender seus recursos analíticos para gerar novo valor.
Várias ferramentas da Microsoft e de parceiros de terceiros podem ajudá-lo a migrar seu data warehouse existente para o Azure Synapse. Este artigo descreve os seguintes tipos de ferramentas:
Ferramentas de migração de dados e banco de dados da Microsoft.
Ferramentas de automação de data warehouse de terceiros para automatizar e documentar a migração para o Azure Synapse.
Ferramentas de migração de data warehouse de terceiros para migrar esquema e dados para o Azure Synapse.
Ferramentas de terceiros para colmatar as diferenças SQL entre o DBMS do armazém de dados existente e o Azure Synapse.
Ferramentas de migração de dados da Microsoft
A Microsoft oferece várias ferramentas para ajudá-lo a migrar seu data warehouse existente para o Azure Synapse, como:
Serviços Microsoft para transferência de dados físicos.
Serviços Microsoft para ingestão de dados.
As próximas seções discutem essas ferramentas com mais detalhes.
Assistente de Migração do SQL Server (SSMA)
O Assistente de Migração do SQL Server (SSMA) para Oracle pode automatizar muitas partes do processo de migração, incluindo, em alguns casos, funções e código de procedimento. O SSMA dá suporte ao Azure Synapse como um ambiente de destino.
O SSMA para Oracle pode ajudá-lo a migrar um data warehouse ou data mart Oracle para o Azure Synapse. O SSMA foi projetado para automatizar o processo de migração de tabelas, exibições e dados de um ambiente Oracle existente.
Fábrica de dados do Microsoft Azure
O Data Factory é um serviço de integração de dados híbrido totalmente gerenciado, pago conforme o uso, para processamento de ETL e ELT altamente escalável. Ele usa o Apache Spark para processar e analisar dados em paralelo e na memória para maximizar a taxa de transferência.
Gorjeta
O Data Factory permite que você crie pipelines de integração de dados escaláveis sem código.
Os conectores do Data Factory suportam conexões com fontes de dados e bancos de dados externos e incluem modelos para tarefas comuns de integração de dados. Uma interface do usuário visual baseada em navegador e front-end permite que não-programadores criem e executem pipelines para ingerir, transformar e carregar dados. Programadores mais experientes podem incorporar código personalizado, como programas Python.
Gorjeta
O Data Factory permite o desenvolvimento colaborativo entre profissionais de negócios e de TI.
O Data Factory também é uma ferramenta de orquestração e é a melhor ferramenta da Microsoft para automatizar o processo de migração de ponta a ponta. A automação reduz o risco, o esforço e o tempo de migração e torna o processo de migração facilmente repetível. O diagrama a seguir mostra um fluxo de dados de mapeamento no Data Factory.
A próxima captura de tela mostra um fluxo de dados em disputa no Data Factory.
No Data Factory, você pode desenvolver processos simples ou abrangentes de ETL e ELT sem codificação ou manutenção com apenas alguns cliques. ETL/ELT processa ingerir, mover, preparar, transformar e processar seus dados. Você pode projetar e gerenciar agendamento e gatilhos no Data Factory para criar um ambiente automatizado de integração e carregamento de dados. No Data Factory, você pode definir, gerenciar e agendar processos de carregamento de dados em massa do PolyBase.
Gorjeta
O Data Factory inclui ferramentas para ajudar a migrar os seus dados e todo o seu armazém de dados para o Azure.
Você pode usar o Data Factory para implementar e gerenciar um ambiente híbrido com dados locais, na nuvem, streaming e SaaS de forma segura e consistente. Os dados de SaaS podem vir de aplicativos como o Salesforce.
Disputar fluxos de dados é um novo recurso no Data Factory. Esse recurso abre o Data Factory para usuários corporativos que desejam descobrir, explorar e preparar dados visualmente em escala sem escrever código. O Wrangling data flows oferece preparação de dados de autoatendimento, semelhante aos fluxos de dados do Microsoft Excel, Power Query e Microsoft Power BI. Os usuários corporativos podem preparar e integrar dados por meio de uma interface do usuário no estilo de planilha com opções de transformação suspensa.
A capacidade de migração de dados em escala ajuda a migração de dados na origem para o destino SQL do Azure usando o Data Factory.
O Data Factory é a abordagem recomendada para implementar a integração de dados e processos ETL/ELT no ambiente do Azure Synapse, especialmente se você quiser refatorar processos herdados existentes.
Serviços Microsoft para transferência de dados físicos
As seções a seguir discutem uma gama de produtos e serviços que a Microsoft oferece para ajudar os clientes com a transferência de dados. Esse movimento de dados offline permitirá que os usuários finais reduzam significativamente o tempo de inatividade da migração.
Azure ExpressRoute
O Azure ExpressRoute cria conexões privadas entre os data centers e a infraestrutura do Azure em suas instalações ou em um ambiente de colocação. As conexões ExpressRoute não passam pela Internet pública e oferecem mais confiabilidade, velocidades mais rápidas e latências mais baixas do que as conexões típicas da Internet. Em alguns casos, você obtém benefícios de custo significativos usando conexões de Rota Expressa para transferir dados entre sistemas locais e o Azure.
AzCopy
AzCopy é um utilitário de linha de comando que copia arquivos para o Armazenamento de Blobs do Azure por meio de uma conexão padrão com a Internet. Em um projeto de migração de depósito, você pode usar o AzCopy para carregar arquivos de texto extraídos, compactados e delimitados antes de carregá-los no Azure Synapse usando o PolyBase. AzCopy pode carregar arquivos individuais, seleções de arquivos ou pastas de arquivos. Se os arquivos exportados estiverem no formato Parquet, use um leitor Parquet nativo.
Azure Data Box
O Azure Data Box é um serviço da Microsoft que fornece um dispositivo de armazenamento físico proprietário para o qual você pode copiar dados de migração. Em seguida, você envia o dispositivo para um data center do Azure para carregamento de dados no armazenamento em nuvem. Esse serviço pode ser econômico para grandes volumes de dados, como dezenas ou centenas de terabytes, ou onde a largura de banda da rede não está prontamente disponível. O Azure Data Box normalmente é usado para uma grande carga de dados históricos única no Azure Synapse.
Azure Data Box Gateway
O Azure Data Box Gateway é um dispositivo de gateway de armazenamento em nuvem virtualizado que reside em suas instalações e envia suas imagens, mídia e outros dados para o Azure. Use o Data Box Gateway para tarefas de migração pontuais ou carregamentos de dados incrementais contínuos.
Serviços Microsoft para ingestão de dados
As seções a seguir discutem os produtos e serviços que a Microsoft oferece para ajudar os clientes com a ingestão de dados.
COPY INTO
A instrução COPY INTO fornece a maior flexibilidade para a ingestão de dados de alta taxa de transferência no Azure Synapse. Para obter mais informações sobre COPY INTO recursos, consulte COPY (Transact-SQL).
PolyBase
O PolyBase é o método mais rápido e escalável para carregamento de dados em massa no Azure Synapse. O PolyBase usa a arquitetura de processamento paralelo maciço (MPP) do Azure Synapse para carregamento paralelo de dados para obter a taxa de transferência mais rápida. O PolyBase pode ler dados de arquivos simples no Armazenamento de Blobs do Azure ou diretamente de fontes de dados externas e outros bancos de dados relacionais por meio de conectores.
Gorjeta
O PolyBase pode carregar dados em paralelo do Armazenamento de Blobs do Azure no Azure Synapse.
O PolyBase também pode ler diretamente de arquivos compactados com gzip para reduzir o volume físico de dados durante um processo de carregamento. O PolyBase suporta formatos de dados populares, como texto delimitado, ORC e Parquet.
Gorjeta
Você pode invocar o PolyBase do Data Factory como parte de um pipeline de migração.
O PolyBase está totalmente integrado com o Data Factory para suportar o rápido desenvolvimento de processos ETL/ELT de carga de dados. Você pode agendar processos de carregamento de dados por meio de uma interface do usuário visual para maior produtividade e menos erros do que o código escrito à mão. A Microsoft recomenda o PolyBase para ingestão de dados no Azure Synapse, especialmente para ingestão de dados de alto volume.
O PolyBase usa CREATE TABLE AS instruções ou INSERT...SELECT para carregar dados. CREATE TABLE AS minimiza o registro em log para alcançar a taxa de transferência mais alta. O formato de entrada mais eficiente para o carregamento de dados são os ficheiros de texto delimitados comprimidos. Para obter a taxa de transferência máxima, divida arquivos de entrada grandes em vários arquivos menores e carregue-os em paralelo. Para um carregamento mais rápido em uma tabela de preparação, defina a tabela de destino como HEAP tipo e use a distribuição round-robin.
O PolyBase tem algumas limitações, requer que o comprimento da linha de dados seja inferior a 1 megabyte e não suporta formatos aninhados de largura fixa como JSON e XML.
Ferramentas da Microsoft para migrações Oracle
O Assistente de Migração do SQL Server (SSMA) para Oracle pode ajudá-lo a migrar sua plataforma de data warehouse local herdada para o Azure Synapse.
Parceiros da Microsoft para migrações Oracle
Os parceiros da Microsoft oferecem ferramentas, serviços e experiência para ajudá-lo a migrar sua plataforma de data warehouse local herdada para o Azure Synapse.
Próximos passos
Para saber mais sobre como implementar armazéns de dados modernos, consulte o próximo artigo desta série: Além da migração Oracle, implemente um data warehouse moderno no Microsoft Azure.