O alto volume de transações para aplicativos de mainframe cria um grande volume de dados. O Azure oferece um destino atraente para modernização de mainframe e migração de dados. Os bancos de dados relacionais e NoSQL do Azure fornecem escalabilidade, alta disponibilidade e facilidade de manutenção que atende ou excede a dos ambientes de mainframe. Se você quiser desativar uma carga de trabalho de mainframe e reter os dados em um armazenamento de baixo custo, o Azure fornece opções.
A migração de cargas de trabalho do mainframe para o Azure como parte da replataforma ou refatoração de aplicativos normalmente requer migração de dados em escala. O LIBER*IRIS da mLogica fornece uma solução comprovada para migração de dados em massa de um mainframe para o Azure. A solução opera em escala para migrar cargas de trabalho corporativas. Este artigo mostra como migrar dados de mainframe IBM z/OS com alta fidelidade para o Azure.
mLogica LIBER*IRIS e os seus logótipos são marcas comerciais da sua empresa. O uso destas marcas não implica qualquer endosso.
Arquitetura
O diagrama a seguir mostra como o mLogica LIBER*IRIS se integra aos componentes do Azure para migrar dados de mainframe para o Azure em escala.
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de Trabalho
As etapas para migrar dados de mainframe para o Azure são as seguintes:
- Copie arquivos DDL (linguagem de definição de dados), arquivos DBD (descrição de banco de dados), copybooks, layouts de dados e outros artefatos de descrição de dados para uma máquina virtual Linux do Azure configurada com as ferramentas de serviço de migração de dados mLogica usando FTPS em uma VPN (rede virtual privada) site a site segura do Azure ou Rota Expressa do Azure.
- O cluster de migração de dados mLogica Liber*IRIS gera scripts de extração de dados para serem executados no mainframe.
- Use FTPS sobre a VPN para transferir os scripts de extração de dados para o mainframe. A conexão FTPS converte ASCII para o formato EBCDIC de mainframe.
- Os scripts extraídos são executados no mainframe. Eles exportam dados de várias fontes para arquivos sequenciais, onde todos os dados decimais compactados são descompactados. Eles geram os scripts de carregamento SQL usados para carregar os dados no banco de dados de destino.
- Os arquivos sequenciais e scripts de carregamento são transferidos usando SFTP binário para o Armazenamento de Blobs do Azure. Os dados de mainframe ainda estão no formato EBCDIC neste momento.
- O serviço de migração de dados mLogica executa os scripts de carga para converter EBCDIC em ASCII. Os scripts gravam erros durante o carregamento no Armazenamento do Azure. Para reduzir custos, você pode usar duas contas de armazenamento: armazenar arquivos de dados em uma camada de acesso quente e arquivos de log em uma camada de acesso frio.
- Os scripts carregam os dados convertidos ASCII de arquivos sequenciais no banco de dados relacional do Azure de destino. Os scripts de carregamento incluem comandos DDL para criar tabelas e outros objetos e consultas SQL para carregar os dados nesses objetos. Dimensione o processo de carga horizontalmente em um cluster para maximizar a taxa de transferência, conforme necessário. Os logs de execução e os logs de exceção detalhados são armazenados no Armazenamento de Blobs do Azure para análise posterior.
- O serviço de migração de dados mLogica Liber*IRIS executa os scripts de carregamento para transformar dados do formato de arquivo relacional para o formato de banco de dados NoSQL. Você pode carregar esses dados NoSQL no Azure Cosmos DB usando a API SQL do Azure Cosmos DB.
Componentes
Networking e Identidade
- O Azure ExpressRoute permite estender suas redes locais para o Azure por meio de uma conexão privada usando um provedor de conectividade.
- O Gateway de VPN do Azure é um gateway de rede virtual usado para enviar tráfego criptografado entre uma rede virtual do Azure e um local local pela Internet.
- O Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso que pode ser sincronizado com um diretório local.
Aplicação
- As Máquinas Virtuais do Azure fornecem recursos de computação escaláveis sob demanda. O cluster de migração de dados mLogica é executado em máquinas virtuais Linux do Azure otimizadas para desempenho de rede.
Armazenamento
- O Armazenamento de Blobs do Azure oferece uma instalação de armazenamento altamente disponível, criptografada em repouso, econômica e de alta capacidade. Ele permite o tráfego SFTP binário direto do mainframe. O Armazenamento de Blob pode montar contêineres em máquinas virtuais Linux usando NFS.
- O Azure SQL, o Banco de Dados do Azure para PostgreSQL e o Banco de Dados do Azure para MySQL são serviços de plataforma como serviço (PaaS) totalmente gerenciados para SQL Server, PostgreSQL e MySQL. Eles fornecem opções de alto desempenho e alta disponibilidade para dados relacionais de mainframe, dados não relacionais emulados e dados VSAM (Virtual Storage Access Method) emulados.
- O Azure Cosmos DB é um banco de dados NoSQL do Azure. Use-o para migrar fontes de mainframe não relacionais, como o Sistema de Gerenciamento de Informações (IMS), o Sistema Integrado de Gerenciamento de Banco de Dados (IDMS) e o Sistema de Banco de Dados Adaptável (ADABAS).
Monitorização
- O Azure Monitor fornece uma solução abrangente para coletar, analisar e agir em telemetria de ambientes locais e na nuvem.
- Application Insights recebe telemetria de aplicativos para analisar e apresentar.
- Os Logs do Azure Monitor são um recurso do Azure Monitor que coleta e organiza dados de log e desempenho de recursos monitorados. Esse recurso pode consolidar dados de várias fontes em um único espaço de trabalho. Essas fontes incluem logs de plataforma dos serviços do Azure, dados de log e desempenho de agentes de máquina virtual e dados de uso e desempenho de aplicativos. Analise essas fontes juntas usando uma linguagem de consulta sofisticada, capaz de analisar rapidamente milhões de registros.
- O Log Analytics é um recurso do Azure Monitor. As consultas de log ajudam você a usar os dados coletados nos Logs do Azure Monitor e nos logs de execução de script de carregamento mLogica, que são armazenados no Armazenamento de Blobs. Uma linguagem de consulta poderosa permite unir dados de várias tabelas, agregar grandes conjuntos de dados e executar operações complexas.
Potenciais casos de utilização
Há dois casos de uso principais para este exemplo de carga de trabalho:
Replataforma ou refatoração da carga de trabalho
Mova todos os dados de mainframe relacionados à carga de trabalho de um mainframe para o Azure. Esses dados incluem bancos de dados, como DB2, IMS e IDMS, e arquivos.
Arquivo
Desative a carga de trabalho de mainframe e retenha os dados em uma solução de armazenamento do Azure de baixo custo.
Recomendações
Siga estas recomendações gerais, a menos que tenha um requisito específico que as substitua:
- Para reduzir a latência da rede, crie todos os recursos do Azure mencionados neste cenário em uma região.
- Em vez de enviar um único arquivo grande do mainframe para o Azure, divida os dados em vários arquivos e envie-os em paralelo.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.
Fiabilidade
A confiabilidade garante que seu aplicativo possa atender aos compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para Confiabilidade.
Resiliência
Use o Azure Monitor e o Application Insights para monitorar o cluster de migração de dados mLogica. Configure alertas para gerenciamento proativo.
Para obter mais informações sobre resiliência no Azure, consulte Projetando aplicativos confiáveis do Azure.
Disponibilidade
Este fluxo de trabalho de exemplo descreve a migração de dados de mainframe para Azure para replataforma, refatorar ou arquivar uma carga de trabalho. Esta tarefa é discreta, executada algumas vezes durante um projeto de um mês. Embora a alta disponibilidade não seja necessária nesse cenário, você pode projetar o cluster de migração de dados mLogica para fornecer alta disponibilidade.
Os serviços de banco de dados do Azure dão suporte à redundância de zona. Você pode configurá-los para failover se houver uma interrupção ou durante uma janela de manutenção.
Segurança
A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design parade segurança . Para obter orientações gerais sobre como criar soluções seguras, consulte a documentação de segurança do Azure.
Os serviços de banco de dados no Azure oferecem suporte a várias opções de segurança:
- Criptografia de dados em repouso usando criptografia de dados transparente
- Criptografia de dados em trânsito usando TLS
- Criptografia de dados durante o processamento usando Always Encrypted com enclaves seguros
Você pode controlar a autenticação e o controle de acesso no cluster de migração de dados mLogica usando o Microsoft Entra ID. Você pode configurar os recursos do Azure para autenticação e autorização usando a ID do Microsoft Entra e o controle de acesso baseado em função.
Os dados transferidos entre o cluster de migração de dados mLogica e o mainframe são criptografados em trânsito usando TLS. Os certificados TLS podem ser armazenados no Cofre da Chave do Azure para maior segurança. Os dados transferidos do mainframe para o Armazenamento de Blobs do Azure são criptografados em trânsito usando SSH.
Os dados de mainframe e os scripts de carregamento são armazenados temporariamente no Armazenamento de Blobs do Azure. Eles são criptografados em repouso. Os dados são excluídos do Armazenamento de Blobs do Azure após a conclusão da migração.
Este fluxo de trabalho de exemplo usa o Azure ExpressRoute ou VPN site a site para uma conexão privada e eficiente com o Azure a partir de seu ambiente local.
Otimização de Custos
A Otimização de Custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de projeto para Otimização de custos.
Aqui estão algumas possibilidades de otimização de custos:
O Banco de Dados SQL do Azure sem servidor dimensiona, pausa e retoma automaticamente os recursos de computação com base na sua atividade de carga de trabalho, para que você pague apenas pelos recursos que consome.
Use a política de ciclo de vida para mover dados entre camadas de acesso no armazenamento do Azure.
No armazenamento do Azure, se não houver acesso por um período de tempo, mova seus dados de uma camada de acesso mais quente para uma camada mais fria. Você também pode mover dados de uma camada de acesso mais fria para uma camada de acesso de arquivamento.
Use o Azure Advisor para localizar recursos subutilizados. Obtenha recomendações sobre como reconfigurar ou consolidar recursos para reduzir seus gastos.
Use a calculadora de preços do Azure para estimar o custo de usar componentes do Azure para esta solução.
Excelência Operacional
A Excelência Operacional abrange os processos operacionais que implantam um aplicativo e o mantêm em execução na produção. Para obter mais informações, consulte Lista de verificação de revisão de projeto para o Operational Excellence.
O Azure DevOps pode ser usado para reprojetar aplicativos de mainframe no Azure durante cada fase do desenvolvimento de software e da colaboração em equipe. O Azure DevOps fornece estes serviços:
- Azure Boards. Planejamento ágil, acompanhamento de itens de trabalho, visualização e relatórios.
- Azure Pipelines. Uma linguagem, plataforma e plataforma de integração contínua/entrega contínua (CI/CD) independente da nuvem com suporte para containers ou Kubernetes.
- Repositórios do Azure. Repositórios Git privados hospedados na nuvem.
- Artefactos do Azure. Gerenciamento integrado de pacotes com suporte para feeds de pacotes Maven, npm, Python e NuGet de fontes públicas ou privadas.
- Planos de Teste do Azure. Uma solução integrada de testes planeados e exploratórios.
Eficiência de desempenho
Eficiência de desempenho é a capacidade de sua carga de trabalho de escalar para atender às demandas colocadas pelos usuários de maneira eficiente. Para obter mais informações, consulte Lista de verificação de revisão de design para Eficiência de desempenho.
Se você estiver migrando vários grandes conjuntos de dados independentes, implante o cluster de migração de dados mLogica em várias máquinas virtuais para maximizar a velocidade de carregamento de dados.
Você pode carregar vários conjuntos de dados em paralelo do mainframe para o Armazenamento de Blobs.
O Azure SQL DB serverless fornece uma opção para dimensionamento automático com base na carga de trabalho. Outros bancos de dados do Azure podem ser dimensionados para cima e para baixo usando automação para atender às demandas de carga de trabalho. Para obter mais informações, consulte Autoscaling.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelo seguinte colaborador.
Autor principal:
Sandip Khandelwal - Brasil | Arquiteto de Engenharia Sénior
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
Reveja os Guias de Migração da Base de Dados do Azure.
Para obter mais informações, entre em contato com Azure Data Engineering - Mainframe & Midrange Modernization.
- Descrição geral do Azure Monitor
- Introduction to Azure Blob Storage (Introdução ao Armazenamento de Blobs do Azure)
- mLogica LIBER*IRIS
- Guia de início rápido: criar uma máquina virtual Linux no portal do Azure
- Máquinas virtuais no Azure
- Bem-vindo ao Azure Cosmos DB