Ao usar o Azure como uma plataforma de dados moderna, você pode escolher entre plataforma como serviço (PaaS) ou infraestrutura como serviço (IaaS). O PaaS fornece opções nativas da nuvem para ingestão, transformação e armazenamento de dados. A IaaS oferece maior controle sobre sua infraestrutura híbrida, começando com o tamanho e o tipo de máquinas virtuais (VM) que você escolher. Com qualquer uma das abordagens, você pode aproveitar uma variedade de bancos de dados relacionais, NoSQL e na memória totalmente gerenciados, soluções de armazenamento e ofertas de análise que abrangem mecanismos proprietários e de código aberto. Este exemplo de arquitetura mostra ambas as abordagens.
Arquitetura
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de Trabalho
O IBM MQ é o middleware que atua como um link de acoplamento flexível entre um sistema de mainframe ou midrange e os serviços do Azure. As mensagens são recebidas e enviadas de acordo com os requisitos do aplicativo para se comunicar com a camada de aplicativo de mainframe.
Em uma abordagem nativa da nuvem, os Aplicativos Lógicos do Azure usam o conector MQ para trocar mensagens com o IBM MQ. O recurso Agendador orquestra o fluxo de trabalho do Azure, enviando e recebendo mensagens em intervalos recorrentes de um segundo.
O conector MQ pode enviar as mensagens que lê diretamente para o armazenamento através de um conector ou enviá-las para serem transformadas primeiro. Os Aplicativos Lógicos incluem várias opções para transformação de dados, como um tempo de execução JavaScript embutido que você pode usar para executar trechos de código JavaScript simples para transformação de dados ou operações de dados que executam transformações em dados de tabela JSON, CSV e HTML. Você também pode criar funções de tarefa única sem servidor usando o Azure Function.
Os dados são carregados no armazenamento. O Azure oferece muitas soluções de armazenamento de dados gerenciados, cada uma fornecendo recursos e capacidades diferentes.
Em uma abordagem IaaS, uma VM executa o Microsoft Host Integration Server (HIS) com o BizTalk Adapter para WebSphere MQ. O HIS troca mensagens com o IBM MQ e expõe a orquestração como serviço da web para um aplicativo .NET personalizado.
Um aplicativo .NET persiste os dados usando qualquer armazenamento de dados do Azure com suporte. Por exemplo, o aplicativo pode mascarar dados ou usar pontos de extremidade privados para segurança.
Os dados são carregados no armazenamento. O Azure oferece muitas soluções de armazenamento de dados gerenciados, cada uma fornecendo recursos e capacidades diferentes.
Componentes
As Aplicações Lógicas do Azure fornecem ferramentas para orquestração de dados, integração de dados e transformação de dados. Inclui centenas de conectores para aceder a dados no local ou na nuvem. Certifique-se de testar a taxa de transferência e o desempenho antes de escolher um conector de armazenamento de dados.
O Agendador de Aplicativos Lógicos fornece gatilhos para iniciar e executar fluxos de trabalho com base no intervalo e na frequência de recorrência especificados.
O conector MQ do Logic Apps conecta seus fluxos de trabalho do Logic Apps a um servidor IBM MQ local ou no Azure. Os fluxos de trabalho recebem e enviam mensagens armazenadas em seu servidor MQ. Um cliente Microsoft MQ também está incluído para comunicação com um servidor MQ remoto através de uma rede TCP/IP. É possível usar o cliente para se conectar ao IBM WebSphere MQ 7.5, MQ 8.0 e MQ 9.0, 9.1 e 9.2.
O Host Integration Server (HIS) pode servir como um integrador de mensagens por meio do adaptador WebSphere MQ no Microsoft BizTalk Server. Um adaptador cliente e servidor troca mensagens entre o IBM MQ e o BizTalk Server. O HIS também serve como um ouvinte MQ e pode sondar o servidor MQ em busca de mensagens em intervalos que você especificar.
O .NET é uma plataforma de desenvolvimento gratuita e de código aberto usada neste exemplo para criar um aplicativo para extrair os dados através do HIS para a camada de armazenamento de dados. Ele também pode ser usado para acessar o IBM WebSphere MQ Servers diretamente por meio do Microsoft Client for MQ.
Alternativas
Para a camada de dados, você pode escolher entre serviços gerenciados, incluindo o Banco de Dados do Azure para PostgreSQL, o Banco de Dados do Azure para MySQL, o Azure Cosmos DB, o Banco de Dados do Azure para MariaDB e o Azure SQL.
Para a camada de armazenamento, crie um data lake corporativo usando o Armazenamento do Azure Data Lake.
Para a camada de dados, crie uma plataforma de análise de big data usando o Azure Synapse Analytics.
Detalhes do cenário
Uma abordagem popular em cenários de transformação digital é ver se os aplicativos existentes e as camadas de middleware podem ser executados como estão em uma configuração híbrida em que o Microsoft Azure serve como a plataforma de dados escalável e distribuída. Este exemplo descreve uma abordagem data-first para integração de middleware que permite que filas de mensagens IBM (MQs) em execução em sistemas mainframe ou midrange trabalhem com serviços do Azure para que você possa encontrar a melhor plataforma de dados para sua carga de trabalho.
Ao usar o Azure como uma plataforma de dados moderna, você pode escolher entre plataforma como serviço (PaaS) ou infraestrutura como serviço (IaaS). O PaaS fornece opções nativas da nuvem para ingestão, transformação e armazenamento de dados. A IaaS oferece maior controle sobre sua infraestrutura híbrida, começando com o tamanho e o tipo de máquinas virtuais (VM) que você escolher. Com qualquer uma das abordagens, você pode aproveitar uma variedade de bancos de dados relacionais, NoSQL e na memória totalmente gerenciados, soluções de armazenamento e ofertas de análise que abrangem mecanismos proprietários e de código aberto.
Este exemplo de arquitetura mostra ambas as abordagens:
PaaS nativo da nuvem. Os Aplicativos Lógicos do Azure trocam mensagens com o IBM MQ por meio do conector MQ. Conectores adicionais fornecem acesso rápido a eventos, dados e ações em outros aplicativos, serviços, sistemas, protocolos e plataformas. Os Aplicativos Lógicos também incluem ferramentas para transformar dados da fila se você precisar modificar o formato, a estrutura ou os valores de dados antes de armazená-los no Azure ou enviá-los para a camada de aplicativo.
IaaS baseada em VM. Executando o Microsoft Host Integration Server (HIS) em uma VM, é possível usar um componente de integração de mensagens que se conecta ao IBM MQ. Você controla o processo de transformação de dados criando um aplicativo .NET para ler e gravar mensagens. O aplicativo pode persistir dados no armazenamento de dados do Azure de sua escolha e você pode escolher o intervalo de sondagem do servidor MQ.
Potenciais casos de utilização
Qualquer uma destas abordagens pode ser utilizada para:
Habilite aplicativos de acoplamento flexível que se comunicam por meio de sistemas de mensagens para usar a plataforma de dados do Azure.
Sincronize ou replique dados incrementalmente entre um sistema de mainframe ou midrange e o Azure.
Fluxo de mensagens de eventos entre sistemas mainframe ou midrange e o Azure.
Considerações
Uma configuração de datacenter híbrido faz sentido para organizações que estão desenvolvendo suas estratégias de nuvem. Conectar-se ao Azure pode ajudar a preencher as lacunas em seu datacenter, aprimorar o desempenho, melhorar a continuidade dos negócios e expandir seu alcance globalmente.
Por exemplo, os aplicativos locais podem se comunicar com uma plataforma de dados moderna no Azure e começar a tirar proveito da análise de big data ou do aprendizado de máquina. Se precisar de uma solução de armazenamento econômica, você pode replicar dados de mainframe, armazená-los no Azure e manter os dados sincronizados. O Azure também pode adicionar a escala necessária para dar suporte ao processamento de transações online (OLTP), lote e sistemas de ingestão de dados.
Disponibilidade
Os contratos de nível de serviço (SLAs) do Azure descrevem suas garantias de tempo de atividade. Os SLAs para vários componentes podem variar. Por exemplo, os Aplicativos Lógicos do Azure estarão disponíveis pelo menos 99,9% do tempo. As definições de configuração escolhidas podem melhorar o SLA.
Eficiência de desempenho
Certifique-se de testar a taxa de transferência e o desempenho da camada de transformação de dados antes de finalizar a abordagem arquitetônica. O desempenho depende de vários fatores, incluindo o tamanho da mensagem de uma carga de trabalho, a latência e os conectores usados. Os testes ajudam a encontrar a plataforma de dados de destino mais compatível.
Armazenamento
Neste exemplo de arquitetura, os conectores de Aplicativos Lógicos podem ser usados para enviar mensagens diretamente para o Armazenamento do Azure e o Armazenamento do Azure Data Lake. Por exemplo, os Aplicativos Lógicos incluem o conector de Armazenamento de Blob do Azure, como mostra a figura a seguir. O conector facilita o armazenamento de grandes quantidades de dados não estruturados no Armazenamento de Blobs do Azure. Os seus dados tornam-se acessíveis a partir de qualquer lugar do mundo via HTTP ou HTTPS. O armazenamento de Blob também suporta o Azure Data Lake Storage Gen2, uma solução de análise de big data para a nuvem. Os dados são carregados no armazenamento usando um serviço do Azure, como a ferramenta AzCopy, o Azure Data Factory ou outra solução que possa se conectar ao armazenamento.
Transfira um ficheiro do Visio desta arquitetura.
As opções de arquitetura PaaS e IaaS suportam muitos serviços de banco de dados gerenciados populares. Você pode carregar dados usando um carregador personalizado, uma solução de fornecedor ou um serviço gerenciado, como o Azure Data Factory. As opções de banco de dados incluem:
Base de Dados SQL do Azure. Parte da família do Azure SQL, a Base de Dados SQL do Azure constitui-se como o serviço de bases de dados relacionais inteligente e dimensionável criado para a cloud. Sempre atualizado, ele inclui recursos automatizados que otimizam o desempenho, a durabilidade e a escalabilidade, para que você possa se concentrar na criação de novos aplicativos.
Instância Gerenciada SQL do Azure. Parte do portfólio de serviços SQL do Azure, a Instância Gerenciada do SQL combina a mais ampla compatibilidade do mecanismo do SQL Server com todos os benefícios de um PaaS totalmente gerenciado.
Azure SQL em Máquinas Virtuais do Azure. Parte da família SQL do Azure, essa opção econômica foi projetada para levantar e transferir cargas de trabalho do SQL Server para o Azure. Ele combina o desempenho, a segurança e a análise do SQL Server com a flexibilidade e a conectividade híbrida do Azure, com 100% de compatibilidade de código. Agora inclui imagens do SQL Server 2019.
Banco de Dados do Azure para PostgreSQL. Este serviço de banco de dados relacional totalmente gerenciado é baseado na edição da comunidade do mecanismo de banco de dados PostgreSQL de código aberto. Você pode se concentrar na inovação de aplicativos em vez do gerenciamento de banco de dados e dimensionar facilmente suas cargas de trabalho.
Banco de Dados do Azure para MySQL. Este serviço de banco de dados relacional totalmente gerenciado é baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto.
Azure Cosmos DB. Um banco de dados multimodelo distribuído globalmente, o Azure Cosmos DB fornece taxa de transferência e armazenamento que podem ser dimensionados de forma elástica e independente em qualquer número de regiões geográficas. É um serviço de banco de dados NoSQL totalmente gerenciado que garante latências de um dígito e milissegundos no percentil 99 em qualquer lugar do mundo.
Azure Synapse Analytics. Este serviço de análise empresarial acelera o tempo de obtenção de informações em armazéns de dados e sistemas de big data.
Otimização de custos
Este artigo descreve uma ampla gama de Serviços do Azure para demonstrar as várias possibilidades e você provavelmente não usará todas elas para integração MQ.
Use a calculadora de preços do Azure para estimar os custos dos recursos do Azure.
Use os preços do BizTalk para entender os preços da solução HIS.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Autor principal:
- Ashish Khandelwal - Brasil | Gerente Principal de Arquitetura de Engenharia
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
Para obter mais informações, envie um email para Azure Data Engineering - Mainframe & Midrange Modernization (datasqlninja@microsoft.com).
Leia os Guias de Migração do Banco de Dados do Azure.