Este artigo apresenta uma solução para usar os produtos Luminex para transferir dados de mainframe de e para o Azure para atender às necessidades de backup, arquivamento e outras necessidades de negócios. Os principais componentes da solução incluem o Cloud Data Sharing da plataforma Luminex mainframe data integration (MDI) e o CloudTAPE da plataforma Luminex mainframe virtual tape (MVT).
Apache® e Apache Kafka são marcas registadas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou noutros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
Em um mainframe, os dispositivos de armazenamento secundário incluem dispositivos de armazenamento de acesso direto (DASDs) e dispositivos de armazenamento de acesso sequencial (SASDs).
Os DASDs são montados no mainframe.
Uma fita é um tipo de SASD conectado ao mainframe como armazenamento externo.
A plataforma MDI envia informações que podem ser armazenadas em arquivos para o Azure. Os exemplos incluem dados SMF (system management facilities), arquivos VSAM (Virtual Storage Access Method), arquivos sequenciais e GDGs (grupos de dados de geração). O hardware MDI instalado no datacenter inclui controladores Luminex Channel Gateway X (CGX) e servidores Luminex MDI.
O MVT CloudTAPE fornece arquivamento e backup em fita. O hardware MVT instalado no datacenter inclui controladores CGX Luminex e servidores CloudTAPE.
MDI e MVT usam dispositivos controladores CGX baseados no protocolo Fibre Connection (FICON). Esses dispositivos se conectam diretamente ao mainframe. Não são necessários motores especiais do System z Integrated Information Processor (zIIP) para a transferência de dados. Não há nenhum agente Luminex no mainframe e nenhuma porta TCP/IP precisa estar aberta para comunicação entre o mainframe e os dispositivos Luminex.
Os dados de mainframe são transferidos para o Azure por meio de uma conexão privada e segura do Azure ExpressRoute.
O Luminex MDI zKonnect e outros serviços transmitem os dados do arquivo para análise de big data no Azure. Por exemplo, os dados do sistema, como logs de mainframe e dados SMF, são transmitidos para os Hubs de Eventos do Azure. Os serviços do Azure ingerem os dados e, em seguida, processam-nos, transformam-nos e projetam-nos.
O MDI usa dispositivos Luminex CGX para processar, transferir e armazenar em cache dados de arquivos. Estão disponíveis duas opções:
- As instruções JCL (Job Control Language) são enviadas. O Luminex fornece instruções que especificam informações sobre arquivos de entrada, o destino do Azure, chaves e informações de segurança, transformação de dados e formatos de arquivo na nuvem. As organizações que usam o procedimento Luminex para transferência de dados podem usar suas próprias instruções JCL. Quando o trabalho termina, um código de retorno de zero indica uma transferência bem-sucedida.
- O trabalho é monitorado a partir da interface do usuário MDI. Uma equipe de operações pode usar uma combinação do agendador, do mainframe e da interface do usuário MDI para monitorar e solucionar problemas de trabalhos. A interface do usuário do MDI fornece informações como o nome do trabalho, a ID do trabalho, o usuário ou grupo, a hora de início e o tempo decorrido. Os mecanismos de repetição do MDI são ativados se a transferência de arquivos não for bem-sucedida inicialmente.
O trabalho pode ser configurado para armazenar em cache os arquivos no armazenamento local antes da transferência. Após o término da transferência, esse armazenamento local é removido.
O MVT CloudTAPE envia dados de fita de mainframe para armazenamentos de dados do Azure, como o Armazenamento de Blobs do Azure, Arquivos do Azure e Armazenamento do Azure Data Lake. Os dados podem ser estruturados e não estruturados. A transferência não usa instruções JCL. Em vez disso, o MVT CloudTAPE move ou replica fitas de mainframe no formato IBM 3490 ou 3590 que os controladores CGX emulam.
Os serviços do Azure fornecem recursos de processamento, armazenamento, análise e visualização de dados.
Componentes
O ExpressRoute estende as redes locais para a nuvem da Microsoft. O ExpressRoute usa um provedor de conectividade para estabelecer conexões privadas entre dados locais e serviços de nuvem da Microsoft.
O Azure Files é um serviço que faz parte do Armazenamento do Azure. Os Ficheiros do Azure oferecem partilhas de ficheiros completamente geridas na cloud. Os compartilhamentos de arquivos do Azure podem ser acessados por meio do protocolo SMB (Server Message Block) padrão do setor. Esta solução usa o Luminex MDI e MVT para transferir arquivos de mainframe para Arquivos do Azure.
O Armazenamento de Blobs é um serviço que faz parte do Armazenamento. O Blob Storage fornece armazenamento otimizado de objetos na nuvem para grandes quantidades de dados não estruturados. Nesta solução, o Armazenamento de Blobs fornece uma maneira de arquivar dados principais quentes e frios.
Nesta solução, os produtos Luminex podem transferir dados de mainframe para vários bancos de dados do Azure:
- O SQL do Azure é uma família de bancos de dados do Azure que são alimentados pelo mecanismo do SQL Server.
- O Banco de Dados SQL do Azure é um mecanismo de banco de dados de plataforma como serviço (PaaS) totalmente gerenciado que faz parte da família SQL do Azure. Com recursos automatizados alimentados por IA, o Banco de dados SQL lida com funções de gerenciamento de banco de dados, como atualização, aplicação de patches, backups e monitoramento.
- O Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional totalmente gerenciado baseado na edição da comunidade do mecanismo de banco de dados PostgreSQL de código aberto.
- O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional totalmente gerenciado baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto.
Os Hubs de Eventos são uma plataforma de streaming de big data totalmente gerenciada. Nesta solução, o Luminex zKonnect transmite dados de mainframe para Hubs de Eventos quase em tempo real. Os Hubs de Eventos fornecem um ponto de extremidade compatível com APIs de produtor e consumidor do Apache Kafka. A maioria dos aplicativos cliente Apache Kafka existentes usa essas APIs como uma alternativa para executar seus próprios clusters Apache Kafka.
O Power BI é uma coleção de serviços de software e aplicativos que exibem informações de análise. Essa solução usa dados de mainframe que vêm de várias fontes e tem estruturas variadas. O Power BI é usado para transformar os dados em insights coerentes, visualmente imersivos e interativos.
O Data Lake Storage oferece uma maneira de executar análises de big data com armazenamento hierárquico de baixo custo e alta taxa de transferência.
Alternativas
Em vez de usar soluções de terceiros para transferência de dados, você pode usar uma solução da Microsoft. Para obter informações sobre como transferir dados de sistemas mainframe e midrange para o Azure, consulte Mover dados de arquivamento de sistemas de mainframe para o Azure. Para obter informações sobre soluções específicas da Microsoft, consulte os seguintes recursos:
Para abordar quaisquer considerações de latência, conectividade, tecnologia e regulamentação, você pode transferir dados para o Azure Stack em vez de para o Azure. O Azure Stack Hub oferece um conjunto de serviços de armazenamento em nuvem. Para obter mais informações, consulte Armazenamento do Azure Stack Hub: diferenças e considerações.
Também é possível usar dispositivos Luminex MVT e CGX para mainframes IBM z/VM e z/VSE.
Ao transferir fitas para o Azure, você pode compactá-las e criptografá-las para ajudar a transmitir dados com segurança em todos os estágios. Você pode facilmente configurar essa funcionalidade.
Você também pode usar essa solução para intercâmbio bidirecional de dados. Você pode recuperar os dados da fita para o mainframe e transformá-los em sua forma original.
- Com o MDI, o processo é semelhante à transferência para o Azure. Você envia declarações JCL que fornecem as especificidades da transferência reversa. Os dados podem ser transferidos como fitas ou como arquivos sequenciais. A configuração JCL especifica o formato.
- Com o MVT CloudTAPE, os dados são recuperados automaticamente se você solicitá-los do mainframe.
Os dispositivos Luminex CGX também suportam conectividade de canal ESCON (Enterprise Systems Connection). O software de backup de mainframe existente vê o gateway de canal como um dispositivo de fita de mainframe reconhecido. Como resultado, nenhuma alteração de software é necessária.
Essa solução usa a Rota Expressa para transferir dados do datacenter para o Azure. Recomendamos essa abordagem, mas você também pode usar a internet para transferência de dados.
Detalhes do cenário
O armazenamento físico de mainframe pode estar localizado no processador de mainframe ou pode ser externo ao mainframe. O armazenamento do processador, que é como a memória para o mainframe, está localizado no processador. As unidades de disco e as unidades de fita são exemplos de armazenamento externo. Os conjuntos de dados em armazenamento são organizados em várias estruturas lógicas de registro e bloco. Parâmetros como a organização do conjunto de dados (DSORG) e o formato de registro (RECFM) definem essas estruturas de dados. Os registros no conjunto de dados podem ser fixos ou variáveis em comprimento, e eles podem ser armazenados em formato binário ou texto.
Dispositivos de armazenamento secundários, como DASDs e SASDs, armazenam dados acessados com frequência ou com pouca frequência.
- Os DASDs são usados para localização e recuperação imediata de dados. Com acesso direto, você pode ler ou gravar dados indo diretamente para um local físico específico no dispositivo. Como resultado, os DASDs são rápidos e eficientes.
- As SASDs, como as fitas, são inerentemente mais lentas do que as DASDs. Para acessar dados de fita, comece em um local e, em seguida, passe por locais sucessivos até encontrar os dados necessários. Os mainframes usam fitas físicas e VTLs (bibliotecas virtuais de fitas), que também são chamadas de fitas virtuais. Atualmente, as fitas virtuais são preferidas em relação às fitas físicas.
O tipo de armazenamento que utiliza depende das suas necessidades. Muitas organizações precisam de armazenamento refrigerado para fins de conformidade, regulamentação, emissão de relatórios, auditoria ou outros. Algumas organizações têm políticas de retenção de dados que exigem que você armazene dados por quase 100 anos. Exemplos desse tipo de dados incluem cópias de prescrições, registros de pacientes, histórico de recompensas de clientes e outras informações. Os dados que você armazena a longo prazo são, em sua maioria, de alto volume e acessados com pouca frequência. O armazenamento de longo prazo geralmente custa menos do que o armazenamento ativo, que normalmente você acessa várias vezes ao dia e que é atualizado com frequência. As considerações de segurança também afetam a sua escolha de armazenamento. Os ciberataques são uma ameaça constante.
O Azure oferece várias soluções de armazenamento e é um local de destino comprovado para suas necessidades de armazenamento, backup e arquivamento de longo prazo. Você pode usar o armazenamento a frio para dados acessados com pouca frequência e o armazenamento a quente para dados acessados com frequência. As estruturas de arquivos de mainframe, como conjuntos de dados VSAM, arquivos simples e dados de fita, são mapeadas para construções de dados do Azure em bancos de dados, arquivos estruturados e armazenamento de blobs. O armazenamento do Azure pode armazenar dados de grande volume com eficiência de custos, escalabilidade, replicação e autossustentabilidade. Os serviços do Azure também podem ajudá-lo a recuperar seus dados, visualizar seus dados e obter insights de seus dados.
A solução neste artigo usa as plataformas Luminex MDI e MVT para transferir dados de mainframe de e para o Azure para atender a backup, arquivamento e outras necessidades de negócios.
Luminex MDI é uma plataforma de transferência e coprocessamento de dados. O MDI usa dispositivos Luminex CGX para processar, transferir e armazenar em cache arquivos de mainframe. O MDI fornece troca segura e eficiente de dados e compartilhamento de carga de trabalho entre mainframes z/OS e sistemas distribuídos. Usando produtos MDI como Cloud Data Sharing, Big Data Transfer e zKonnect, você pode mover arquivos para o Azure para backup, arquivamento, normalização de dados, mesclagem e análise. Você pode configurar os dados transferidos para chegar no formato ASCII ou EBCDIC no Azure. O MDI Cloud Data Sharing fornece uma maneira de migrar arquivos de mainframe como arquivos VSAM, arquivos sequenciais e GDGs para o Azure. O MDI também dá suporte à integração com os serviços de mensagens do Azure. Os aplicativos hospedados no Azure podem usar os arquivos de mainframe armazenados no Azure para modernização, latência reduzida e desempenho aprimorado.
O Luminex MVT é uma plataforma de arquivamento e backup em fita. O MVT usa o software de unidade de controle Luminex CGX que emula unidades de fita mainframe 3490 e 3590, para que você possa usar aplicativos de fita existentes sem alterações. O ambiente CGX fornece um conjunto de produtos para criptografia de fita, compartimentação, migração, replicação, recuperação, recuperação de desastres e alta disponibilidade. Especificamente, o produto CloudTAPE fornece uma maneira de migrar dados de fita para o Azure.
MDI e MVT usam dispositivos de controlador CGX de alta velocidade para se conectar diretamente ao mainframe. Esses controladores são baseados no FICON, um protocolo de transporte que os servidores de mainframe e os controladores de armazenamento de classe empresarial conectados suportam. O FICON usa Fibre Channel como o protocolo de transporte subjacente. Os controladores CGX também aproveitam o armazenamento conectado à rede (NAS) e os sistemas de armazenamento interno para fornecer os altos níveis de desempenho, escalabilidade, confiabilidade, segurança e disponibilidade que as empresas exigem. Com o transporte FICON, a E/S pode ser compartilhada em vários sistemas. O FICON proporciona uma eficiência ótima do protocolo. Ele também ajuda a fornecer integridade e segurança de dados, mesmo com maiores distâncias entre o servidor e os dispositivos de armazenamento.
Com MDI e MVT, nenhum mecanismo especial zIIP é necessário para transferência de dados e nenhuma porta TCP/IP precisa estar aberta para permitir a comunicação entre o mainframe e os dispositivos Luminex. Você conecta os dispositivos Luminex CGX diretamente ao mainframe como qualquer outro dispositivo de armazenamento de mainframe. Se necessário, o software de gerenciamento de fitas e backup herdado existente pode ser executado em paralelo. Para MVT CloudTAPE e MDI Cloud Data Sharing, o consumo de milhões de instruções por segundo (MIPS) é mínimo porque a transferência usa processos leves.
Potenciais casos de utilização
Muitos cenários podem se beneficiar dessa solução. As possibilidades incluem organizações com os seguintes objetivos:
- Minimização dos esforços de gerenciamento e manutenção de fitas.
- Modernização de cargas de trabalho legadas.
- Encontrar soluções de backup e arquivamento.
- Ampliando sua modernização de mainframe movendo fitas de mainframe para a nuvem. As organizações podem ter esse objetivo se quiserem reduzir o tamanho do datacenter, mas não abandoná-lo. Se uma organização não usa muito fitas de mainframe, elas podem ser um candidato adequado para migração.
- Transformar dados migrados em um formato diferente para armazenamento em nuvem, como converter dados EBCDIC em ASCII, arquivos VSAM em JSON e dados sequenciais em formato CSV.
- Transferir metadados de fita para metadados de armazenamento do Azure.
- Fornecer aplicativos novos e refatorados hospedados no Azure com acesso fácil aos dados.
- Expandindo sua pegada na nuvem.
- Monitore, exiba e crie relatórios facilmente sobre arquivos de mainframe e dados de fita e integre esses dados aos serviços do Azure.
- Monetizar dados de mainframe desbloqueados atuais e históricos e usá-los em ferramentas de business intelligence e analytics na nuvem.
Se estiver a implementar uma solução semelhante e quiser partilhar as suas experiências ou comentários, contacte a equipa Microsoft Legacy Modernization Azure Core Engineering (ACE).
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.
Fiabilidade
A confiabilidade garante que seu aplicativo possa atender aos compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para Confiabilidade.
- Você pode implantar essa solução em várias regiões e implementar a replicação geográfica na camada de dados. Os grupos de failover automático do Azure também ajudam a fornecer proteção de dados.
- Os controladores CGX em cluster podem fornecer uma solução de recuperação ativa-ativa durante uma falha.
- A matriz de fita síncrona MVT oferece confiabilidade em vários datacenters. A sua infraestrutura ajusta-se a falhas sem interrupção.
- O Luminex Replication pode replicar dados para um ou vários destinos. Um destino pode ser um ou mais locais de recuperação de desastres que tenham um mainframe e um controlador CGX instalados na propriedade. Você também pode pré-configurar um destino por meio da replicação geográfica do Azure. Se você usa o Azure e outras nuvens públicas ou privadas, também pode usar uma estratégia híbrida para recuperação de desastres. Essencialmente, você pode usar a estratégia de replicação que melhor atenda às suas necessidades. Os exemplos incluem estratégias um-para-um, um-para-muitos, muitos-para-muitos e em cascata.
Segurança
A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design parade segurança .
- O armazenamento totalmente gerenciado nesta solução elimina problemas relacionados à segurança da mídia física. Exemplos são danos ou acesso não autorizado que podem ocorrer quando você envia fitas físicas em veículos.
- O Luminex CGSafe fornece compactação e criptografia de fita. Este produto faz parte da família MVT e está incluído no CloudTAPE. O CGSafe criptografa e comprime fitas durante a ingestão, em repouso e em trânsito.
- Quando você usa o MDI Cloud Data Sharing, os arquivos são enviados por HTTPS usando SSL. No Azure, você pode criptografar os arquivos em repouso.
- Como a solução usa conectividade FICON e ESCON, você não precisa abrir nenhuma porta para transferência de dados.
Otimização de Custos
A Otimização de Custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de projeto para Otimização de custos.
- Os preços pré-pagos e os modelos multicamadas no Azure fornecem opções para atender a várias necessidades de custo e desempenho. Por exemplo, se você acessar dados com pouca frequência, a camada de acesso legal do Azure é uma boa opção para armazenamento de baixo custo.
- O preço dessa solução depende do volume de dados de fita, da localização do datacenter e da largura de banda. O custo também depende de quais serviços do Azure você usa. Esses fatores determinam o hardware que você usa, como o número de controladores Luminex CGX. Os fatores também afetam os custos de software, serviço, licenciamento e suporte.
- O intercâmbio de dados não requer processadores zIIP. Como resultado, você economiza em custos ao executar o software.
- Depois que a infraestrutura do Luminex estiver instalada, você poderá usar o hardware do Luminex para outros fins. Por exemplo, você já pode usar o MDI Cloud Data Sharing para transferência de arquivos. Se você aumentar seu ambiente com MDI zKonnect para streaming, poderá economizar em custos porque poderá comprar software e infraestrutura Luminex adicionais a um preço significativamente reduzido.
- Se você já tiver uma infraestrutura de Rota Expressa, poderá usá-la para esta solução.
- Usar o Azure e o Luminex para backup e recuperação ajuda a eliminar alguns custos associados à infraestrutura de fita física. Os exemplos incluem despesas de mídia e envio e armazenamento externo para compartimentação.
Excelência Operacional
A Excelência Operacional abrange os processos operacionais que implantam um aplicativo e o mantêm em execução na produção. Para obter mais informações, consulte Lista de verificação de revisão de projeto para o Operational Excellence.
- A transferência de dados para o Azure nesta solução dá-lhe flexibilidade quando desenvolve uma estratégia de backup. Você pode habilitar a migração automatizada, regular ou a migração de dados em fases. Depois de instalar um dispositivo Luminex em seu datacenter, você pode configurar a comunicação unidirecional ou bidirecional, a migração em estágios ou a migração única. Essa flexibilidade fornece suporte para a implementação de princípios de trabalho DevOps e Agile e para a adoção imediata da nuvem.
- Você pode aproveitar os recursos do Azure para backup, arquivamento e recuperação de desastres de mainframe.
- Você pode implantar pipelines de integração contínua/entrega contínua (CI/CD) no Azure para gerenciar atividades de movimentação, transformação e controle de dados.
Eficiência de desempenho
Eficiência de desempenho é a capacidade de sua carga de trabalho de escalar para atender às demandas colocadas pelos usuários de maneira eficiente. Para obter mais informações, consulte Lista de verificação de revisão de design para Eficiência de desempenho.
- Se você tiver um grande volume de dados, poderá agrupar controladores CGX. Normalmente, um dispositivo CGX oferece uma velocidade de transferência de dados de até 800 megabytes por segundo (MB/s). Os controladores CGX estão disponíveis com até quatro portas Fibre Channel ou 1 Gigabit Ethernet (GbE), 10 GbE ou 25 GbE. Esses controladores também oferecem até quatro portas para conectividade com sistemas de armazenamento conectados.
- Nos serviços do Azure, várias opções e camadas de desempenho estão disponíveis. Por exemplo, as contas de armazenamento de blob de bloco oferecem níveis de desempenho padrão e premium. Você pode escolher a camada que melhor atende às suas necessidades.
- O acesso predefinido e o gerenciamento do ciclo de vida no Azure facilitam a otimização do desempenho de casos de uso específicos.
- O software de emulação de fita nesta solução usa o sistema de E/S FICON. Usando este sistema, você pode reduzir o tempo da CPU, aumentar a velocidade de transmissão de dados e reduzir o tempo decorrido.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Principais autores:
- Daniel Saunders - Brasil | Engenheiro de Vendas
- Bhuvi Vatsey - Brasil | Gerente de Programa Técnico Sênior
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
- Para obter mais informações, contate a equipe Microsoft Legacy Modernization Azure Core Engineering (ACE).
- Para obter informações sobre soluções de transferência de dados de terceiros, consulte Soluções de arquivamento de terceiros.
Recursos relacionados
- Modernize dados de mainframe e midrange
- Mover dados de arquivamento de sistemas de mainframe para o Azure
- Replicar dados de mainframe usando o Precisely Connect
- Replicação de dados de mainframe e midrange para o Azure usando a Qlik
- Replicação de dados de mainframe e midrange para o Azure usando RDRS
- Migrar uma camada de dados de mainframe para o Azure usando mLogica LIBER*IRIS
- modernização de mainframe usando o BMC AMI Cloud