Editar

Compartilhar via


Processamento de transações em lotes de alto volume

AKS (Serviço de Kubernetes do Azure)
Barramento de Serviço do Azure
Máquinas Virtuais do Azure

A arquitetura usa o AKS para implementar clusters de computação dos aplicativos que processam lotes de alto volume de transações. Os aplicativos recebem as transações em mensagens de tópicos ou filas do Barramento de Serviço. Os tópicos e filas podem estar em datacenters do Azure em diferentes regiões geográficas e vários clusters do AKS podem ler a entrada deles.

Nota

Essa arquitetura se adapta a um tipo de processamento de transação em lotes que, em mainframes ibm, geralmente é implementada usando a família IBM MQ de middleware orientado a mensagens.

Arquitetura

Diagrama de uma arquitetura implementada usando o AKS e o Barramento de Serviço.

Baixe um arquivo do Visio dessa arquitetura.

Fluxo de trabalho

Os círculos numerados no diagrama correspondem às etapas numeradas na lista a seguir.

  1. A arquitetura usa tópicos e filas do Barramento de Serviço para organizar a entrada de processamento em lote e passá-la downstream para processamento.
  2. O Azure Load Balancer, um balanceador de carga de Camada 4 (TCP, UDP), distribui o tráfego de entrada entre instâncias íntegras de serviços definidas em um conjunto com balanceamento de carga. O balanceamento de carga e o gerenciamento de conexões otimizam o processamento.
  3. Os nós de trabalho do cluster do AKS escutam os pontos de extremidade da fila do Barramento de Serviço para entrada.
  4. Os nós Java usam o Serviço de Mensagens Java para se conectar ao Barramento de Serviço e interfaces Java, como a Conectividade de Banco de Dados Java, para se conectar a outras fontes de dados. Eles usam outras APIs Java conforme necessário.
  5. As transações recuperáveis são executadas juntamente com o código de negócios para cada etapa do lote.
  6. A infraestrutura do lote usa a rede acelerada do Azure para obter velocidade.
  7. O Cache do Azure para Redis, o Azure Cosmos DB e o Azure Stream Analytics fornecem armazenamento funcional, se necessário.
  8. A camada de dados permanente usa o Azure Data Factory para integração de dados e a Instância Gerenciada de SQL do Azure, camada de desempenho comercialmente crítico, para alta disponibilidade. O armazenamento permanente é flexívelmente acoplado para facilitar a alternância para outras tecnologias de banco de dados e para otimização da organização de armazenamento (usando fragmentos ou partições, por exemplo).
  9. As soluções de dados (transição e permanente) usam a opção GRS (armazenamento com redundância geográfica) do Armazenamento do Azure para proteger contra falhas catastróficas.

Componentes

A arquitetura usa estes componentes:

  • rede virtual do Azure fornece uma rede privada segura na nuvem. Ele pode conectar máquinas virtuais (VMs) entre si, à Internet e a redes locais.
  • do Azure ExpressRoute fornece conexões privadas entre datacenters do Azure e infraestrutura local.
  • a do Azure Bastion fornece acesso privado e totalmente gerenciado de RDP e SSH a VMs.
  • máquinas virtuais do Azure fornece a flexibilidade da virtualização sem precisar fornecer e manter o hardware que o hospeda. As opções do sistema operacional incluem Windows e Linux.
  • Uma VM criada com rede acelerada usa a virtualização de E/S raiz única (SR-IOV), melhorando consideravelmente seu desempenho de rede. Para obter mais informações, consulte Criar uma VM do Windows com rede acelerada usando do Azure PowerShell e visão geral da virtualização de E/S de Raiz Única (SR-IOV).
  • Um adaptador de rede do Azure conecta uma VM à Internet e a recursos locais e do Azure. Conforme mostrado nesta arquitetura, você pode dar a cada VM filho seu próprio adaptador de rede e endereço IP. Para obter mais informações sobre interfaces de rede, consulte Criar, alterar ou excluir um adaptador de rede.
  • discos gerenciados do Azure são armazenamento de blocos altamente duráveis e de alto desempenho para VMs. Há quatro opções de armazenamento em disco para a nuvem: Armazenamento em Disco Ultra, SSD Premium, SSD Standard e HDD Standard.
  • aks (Serviço de Kubernetes do Azure) é um serviço kubernetes totalmente gerenciado para implantar e gerenciar aplicativos em contêineres.
  • barramento de serviço fornece maaS (mensagens de nuvem como serviço) confiáveis e integração híbrida simples.
  • serviços de balanceamento de carga do Azure fornece dimensionamento para alta disponibilidade e alto desempenho. Essa arquitetura usa load balancer. Ele fornece recursos de balanceamento de carga TCP (TCP, UDP) de baixa latência para equilibrar o tráfego entre VMs e entre aplicativos híbridos de várias camadas.
  • Cache do Azure para Redis é um serviço de cache na memória totalmente gerenciado e rápido e totalmente gerenciado para compartilhar dados e estado entre recursos de computação.
  • do Azure Cosmos DB é um banco de dados NoSQL rápido com APIs abertas para qualquer escala.
  • do Azure Stream Analytics fornece análise em tempo real sobre fluxos rápidos de dados de aplicativos e dispositivos.
  • do Azure Databricks é um serviço de análise de Big Data rápido, fácil e colaborativo baseado no Apache SparkTM.
  • sql do Azure é uma família de bancos de dados de nuvem SQL que fornece uma experiência unificada para todo o seu portfólio sql e uma ampla gama de opções de implantação de borda para nuvem.
  • da Instância Gerenciada de SQL do Azure, parte do portfólio de serviços SQL do Azure, é uma instância SQL gerenciada, segura e sempre up-todata na nuvem.
  • data factory é uma solução de integração de dados totalmente gerenciada e sem servidor para preparar e transformar todos os seus dados em escala.
  • O Data Factory dá suporte ao formato de dados do arquivo Parquet. Para obter mais informações, consulte formato Parquet no Azure Data Factory.
  • O Log Analytics é uma ferramenta no portal do Azure usada para editar e executar consultas de log em logs logs de do Azure Monitor. Para obter mais informações, consulte Visão geral do Log Analytics no Azure Monitor.
  • A opção GRS (armazenamento com redundância geográfica) de Armazenamento do Azure copia seus dados de forma síncrona três vezes em um único local físico na região primária e copia-os de forma assíncrona para um único local físico na região secundária. Para obter mais informações, consulte de redundância do Armazenamento do Azure.
  • o Armazenamento de Blobs do Azure é massivamente escalonável e seguro para armazenamento de objetos baseados em REST para cargas de trabalho nativas de nuvem, arquivos, data lakes, computação de alto desempenho e aprendizado de máquina.
  • arquivos do Azure fornece compartilhamentos de arquivos simples, seguros e sem servidor na nuvem. Use os protocolos SMB (Bloco de Mensagens de Servidor) padrão do setor e NFS (Sistema de Arquivos de Rede) para acessar os compartilhamentos.

Detalhes do cenário

No Azure, você pode implementar o processamento de transações em lotes, como postar pagamentos em contas, usando uma arquitetura baseada no AKS (Serviço de Kubernetes do Microsoft Azure) e no Barramento de Serviço do Azure. Esse tipo de arquitetura fornece a velocidade de processamento de transações, o dimensionamento e a confiabilidade necessários para o processamento em lotes de alto volume.

Normalmente, uma mensagem permanece na fila até que sua transação seja concluída, permitindo a recuperação se houver uma falha. Além disso, você pode replicar tópicos e filas para outras regiões, compartilhar cargas de trabalho e continuar o processamento mesmo se uma região falhar.

Possíveis casos de uso

A solução é ideal para as indústrias de finanças, educação e ciência. Essa arquitetura destina-se ao processamento em alto volume de lotes de transações, especialmente transações independentes que podem ser processadas em paralelo. Portanto, é um provável candidato para uso na migração do processamento em lote do mainframe. Os aplicativos possíveis são:

  • Processamento de transações financeiras, como folha de pagamento, pedidos e pagamentos.
  • Processamento de dados experimentais coletados por instrumentos científicos.
  • Outro processamento em lote de mainframe.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Fiabilidade

A confiabilidade garante que seu aplicativo possa atender aos compromissos que você faz aos seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design parade confiabilidade.

  • serviço de recuperação de desastre do Azure Site Recovery protege contra interrupções importantes. É confiável, econômico e fácil de implantar.
  • Os conjuntos de disponibilidade para VMs garantem que VMs suficientes estejam disponíveis para atender às necessidades críticas do processo em lotes.
  • O Barramento de Serviço, o AKS e a Instância Gerenciada de SQL do Azure fornecem alta disponibilidade e capacidade de recuperação entre regiões geográficas.

Segurança

A segurança fornece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design parade segurança.

  • Todos os componentes na arquitetura em lotes do Barramento de Serviço funcionam com componentes de segurança do Azure, como a ID do Microsoft Entra, a Rede Virtual e a criptografia.

Otimização de custos

A Otimização de Custos trata-se de procurar maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design parade Otimização de Custos.

Para estimar os custos para a implementação dessa solução, use a calculadora de preços .

Os recursos de dimensionamento automático de clusters do AKS e outros recursos de PaaS (Plataforma como Serviço) do Azure que fornecem dimensionamento sob demanda mantêm os custos no mínimo.

Aqui estão as considerações de preços para componentes específicos:

  • A maioria das empresas já tem uma implementação do Microsoft Active Directory. Caso contrário, microsoft entra ID P1 ou P2 é de baixo custo.
  • de preços de VM do Windows e de preços de VM linux dependem da capacidade de computação.
  • Para obter preços de discos de armazenamento gerenciados Premium ou Ultra, consulte de preços de Discos Gerenciados.
  • Não há custos iniciais para banco de dados SQL do Azure; você paga pelos recursos conforme usado.
  • Para do ExpressRoute, você paga uma taxa de porta mensal e encargos de transferência de dados de saída.
  • os custos de do Armazenamento do Azure dependem das opções de redundância de dados e do volume.
  • os Arquivos do Azure preços dependem de muitos fatores: volume de dados, redundância de dados, volume de transação e o número de servidores de sincronização de arquivos que você usa.
  • Para obter preços de disco gerenciado do SSD, consulte Os Discos Gerenciados preços.
  • Para do Site Recovery, você paga por cada instância protegida.
  • Esses serviços são gratuitos com sua assinatura do Azure, mas você paga pelo uso e pelo tráfego:
    • load balancer.
    • O volume de execução da atividade determina o custo de data factory.
    • Para de Rede Virtual do Azure, os endereços IP têm uma carga nominal.
    • O volume de transferência de dados de saída determina custos de do Azure Bastion.

Excelência Operacional

A Excelência Operacional abrange os processos de operações que implantam um aplicativo e o mantêm em execução em produção. Para obter mais informações, consulte Lista de verificação de revisão de design parade Excelência Operacional.

Eficiência de desempenho

A Eficiência de Desempenho é a capacidade da sua carga de trabalho de dimensionar para atender às demandas colocadas nele pelos usuários de maneira eficiente. Para obter mais informações, consulte Lista de verificação de design parade Eficiência de Desempenho.

  • A arquitetura foi projetada para acomodar o processamento paralelo de transações independentes.
  • O Barramento de Serviço, o AKS e outros recursos de PaaS do Azure fornecem alto desempenho para processamento de transações, computação e armazenamento de dados.
  • O Barramento de Serviço, o AKS e outros recursos de PaaS do Azure são dimensionados dinamicamente conforme necessário.

Próximas etapas