Editar

Partilhar via

Replicação de dados de mainframe e midrange para o Azure usando a Qlik

Azure Event Hubs
Azure Data Lake
Azure Databricks

Essa solução usa uma instância local da Qlik para replicar fontes de dados locais para o Azure em tempo real.

Nota

Pronuncie "Qlik" como "clique".

Apache® e Apache Kafka® são marcas registadas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou noutros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.

Arquitetura

Arquitetura para migração de dados para o Azure usando a Qlik.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de Trabalho

  1. Host agent: O Host agent no sistema local captura informações de log de alterações de armazenamentos de dados DB2, IMS e VSAM e as passa para o servidor Qlik Replication.
  2. Servidor de replicação: o software do servidor Qlik Replication passa as informações do log de alterações para o Kafka e os Hubs de Eventos do Azure. A Qlik neste exemplo é local, mas pode ser implantada em uma máquina virtual no Azure.
  3. Ingestão de fluxo: Kafka e Hubs de Eventos fornecem agentes de mensagens para receber e armazenar informações de log de alterações.
  4. Kafka Connect: A API do Kafka Connect é usada para obter dados do Kafka para atualizar armazenamentos de dados do Azure, como o Azure Data Lake Storage, o Azure Databricks e o Azure Synapse Analytics.
  5. Armazenamento Data Lake: o Armazenamento Data Lake é uma área de preparo para os dados do log de alterações.
  6. Databricks: o Databricks processa os dados do log de alterações e atualiza os arquivos correspondentes no Azure.
  7. Serviços de dados do Azure: o Azure fornece uma variedade de serviços eficientes de armazenamento de dados. Entre estes, destacam-se:

    • Serviços de bases de dados relacionais:

      • SQL Server nas Máquinas Virtuais do Azure
      • Base de Dados SQL do Azure
      • Instância Gerida do Azure SQL
      • Base de Dados do Azure para PostgreSQL
      • Base de Dados do Azure para MySQL
      • Azure Cosmos DB

      Há muitos fatores a serem considerados ao escolher um serviço de armazenamento de dados: tipo de carga de trabalho, consultas entre bancos de dados, requisitos de confirmação em duas fases, capacidade de acessar o sistema de arquivos, quantidade de dados, taxa de transferência necessária, latência e assim por diante.

    • Serviços de banco de dados não relacional do Azure: o Azure Cosmos DB, um banco de dados NoSQL, fornece resposta rápida, escalabilidade automática e velocidade garantida em qualquer escala.

    • Azure Synapse Analytics: o Synapse Analytics é um serviço de análise que reúne integração de dados, armazenamento de dados corporativos e análise de big data. Com ele, você pode consultar dados usando recursos sem servidor ou dedicados em escala.

    • Microsoft Fabric: o Microsoft Fabric é uma solução de análise tudo-em-um para empresas. Ele cobre tudo, desde movimentação de dados até ciência de dados, análise em tempo real e business intelligence. Ele oferece um conjunto abrangente de serviços, incluindo data lake, engenharia de dados e integração de dados.

Componentes

Essa arquitetura consiste em vários serviços de nuvem do Azure e é dividida em quatro categorias de recursos: rede e identidade, aplicativo, armazenamento e monitoramento. Os serviços para cada um e suas funções são descritos nas seções a seguir.

Networking e identidade

  • O Azure ExpressRoute estende suas redes locais para serviços de nuvem oferecidos pela Microsoft por meio de uma conexão privada de um provedor de conectividade. Com a Rota Expressa, você pode estabelecer conexões com serviços de nuvem, como o Microsoft Azure e o Office 365.
  • O Gateway de VPN do Azure é um tipo específico de gateway de rede virtual que envia tráfego criptografado entre uma rede virtual do Azure e um local local pela Internet pública.
  • O Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso que pode ser sincronizado com um diretório ativo local.

Aplicação

  • Os Hubs de Eventos do Azure são uma plataforma de streaming de big data e um serviço de ingestão de eventos que pode armazenar mensagens de dados de alteração do DB2, IMS e VSAM. Pode receber e processar milhões de mensagens por segundo. Os dados enviados para um hub de eventos podem ser transformados e armazenados usando um provedor de análise em tempo real ou um adaptador personalizado.
  • O Apache Kafka é uma plataforma de streaming de eventos distribuídos de código aberto que é usada para pipelines de dados de alto desempenho, análises de streaming, integração de dados e aplicativos de missão crítica. Ele pode ser facilmente integrado com a integração de dados da Qlik para armazenar dados de alteração do DB2.
  • Azure Data Lake Storage O Azure Data Lake Storage fornece um data lake para armazenar os dados de log de alterações processados localmente.
  • O Azure Databricks é uma ferramenta de engenharia de dados baseada na nuvem baseada no Apache Spark. Ele pode processar e transformar grandes quantidades de dados. Você pode explorar os dados usando modelos de aprendizado de máquina. Os trabalhos podem ser escritos em R, Python, Java, Scala e Spark SQL.

Armazenamento

  • O Armazenamento do Azure é um conjunto de serviços de nuvem massivamente escaláveis e seguros para dados, aplicativos e cargas de trabalho. Inclui os Arquivos do Azure, o Armazenamento de Tabela do Azure e o Armazenamento de Filas do Azure. Os Arquivos do Azure geralmente são uma ferramenta eficaz para migrar cargas de trabalho de mainframe.
  • O Azure Cosmos DB é um serviço de banco de dados NoSQL totalmente gerenciado com APIs de código aberto para MongoDB e Cassandra. Um aplicativo possível é migrar dados não tabulares de mainframe para o Azure.

Monitorização

  • O Azure Monitor fornece uma solução abrangente para coletar, analisar e agir em telemetria de ambientes locais e na nuvem. Inclui:
    • Application Insights, para análise e apresentação de telemetria.
    • Monitor Logs, que coleta e organiza dados de log e desempenho de recursos monitorados. Dados de diferentes fontes, como logs de plataforma de serviços do Azure, dados de log e desempenho de agentes de máquinas virtuais e dados de uso e desempenho de aplicativos, podem ser consolidados em um único espaço de trabalho para serem analisados juntos. A análise usa uma linguagem de consulta sofisticada que é capaz de analisar rapidamente milhões de registros.
    • Log Analytics, que pode consultar logs do monitor. Uma linguagem de consulta poderosa permite unir dados de várias tabelas, agregar grandes conjuntos de dados e executar operações complexas com código mínimo.

Alternativas

  • O diagrama mostra o Qlik instalado localmente, uma prática recomendada para mantê-lo próximo às fontes de dados locais. Uma alternativa é instalar o Qlik na nuvem em uma máquina virtual do Azure.
  • O Qlik Data Integration pode entregar diretamente ao Databricks sem passar pelo Kafka ou por um hub de eventos.
  • A integração do Qlik Data não pode replicar diretamente para o Azure Cosmos DB, mas você pode integrar o Azure Cosmos DB a um hub de eventos usando a arquitetura de fornecimento de eventos.

Detalhes do cenário

Muitas organizações usam mainframe e sistemas midrange para executar cargas de trabalho exigentes e críticas. A maioria dos aplicativos usa um ou mais bancos de dados, e a maioria dos bancos de dados é compartilhada por muitos aplicativos, geralmente em vários sistemas. Nesse ambiente, modernizar-se para a nuvem significa que os dados locais devem ser fornecidos a aplicativos baseados em nuvem. Portanto, a replicação de dados torna-se uma importante tática de modernização.

A plataforma Qlik Data Integration inclui o Qlik Replication, que faz a replicação de dados. Ele usa a captura de dados de alteração (CDC) para replicar armazenamentos de dados locais em tempo real para o Azure. Os dados de alteração podem vir dos logs de alteração do DB2, IMS e VSAM. Essa técnica de replicação elimina cargas em massa em lote inconvenientes. Essa solução usa uma instância local da Qlik para replicar fontes de dados locais para o Azure em tempo real.

Potenciais casos de utilização

Esta solução pode ser apropriada para:

  • Ambientes híbridos que exigem replicação de alterações de dados de um sistema mainframe ou midrange para bancos de dados do Azure.
  • Migração de banco de dados online do DB2 para um banco de dados SQL do Azure com pouco tempo de inatividade.
  • Replicação de dados de vários armazenamentos de dados locais para o Azure para consolidação e análise.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Fiabilidade

A confiabilidade garante que seu aplicativo possa atender aos compromissos que você assume com seus clientes. Para obter mais informações, consulte Visão geral do pilar de confiabilidade.

  • O Qlik Data Integration pode ser configurado em um cluster de alta disponibilidade.
  • Os serviços de banco de dados do Azure oferecem suporte à redundância de zona e podem ser projetados para failover para um nó secundário em caso de interrupção ou durante uma janela de manutenção.

Segurança

A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Visão geral do pilar de segurança.

  • O ExpressRoute fornece uma conexão privada e eficiente com o Azure localmente, mas você pode, em vez disso, usar VPN site a site.
  • Os recursos do Azure podem ser autenticados usando o Microsoft Entra ID. As permissões podem ser gerenciadas pelo controle de acesso baseado em função.
  • Os serviços de banco de dados no Azure oferecem suporte a várias opções de segurança, como:
    • Encriptação de dados em repouso.
    • Mascaramento dinâmico de dados.
    • Banco de dados sempre criptografado.
  • Para obter orientações gerais sobre como criar soluções seguras, consulte a Documentação de Segurança do Azure.

Otimização de custos

A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.

Use a Calculadora de Preços do Azure para estimar os custos da sua implementação.

Excelência operacional

A excelência operacional abrange os processos operacionais que implantam um aplicativo e o mantêm em execução na produção. Para obter mais informações, consulte Visão geral do pilar de excelência operacional.

  • Você pode combinar os recursos do Application Insights e do Log Analytics do Monitor para monitorar a integridade dos recursos do Azure. Você pode definir alertas para que possa gerenciar proativamente.
  • Para obter orientação sobre resiliência no Azure, consulte Projetando aplicativos confiáveis do Azure.

Eficiência de desempenho

Eficiência de desempenho é a capacidade da sua carga de trabalho para dimensionar para satisfazer as exigências que os utilizadores lhe colocam de forma eficiente. Para obter mais informações, consulte Visão geral do pilar de eficiência de desempenho.

Databricks, Armazenamento Data Lake e outros bancos de dados do Azure têm recursos de dimensionamento automático. Para obter mais informações, consulte Autoscaling.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Autor principal:

Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.

Próximos passos