Ideias de soluções
Este artigo descreve uma ideia de solução. Seu arquiteto de nuvem pode usar essa orientação para ajudar a visualizar os principais componentes para uma implementação típica dessa arquitetura. Use este artigo como ponto de partida para projetar uma solução bem arquitetada que se alinhe com os requisitos específicos da sua carga de trabalho.
Quando você migra um aplicativo de mainframe ou midrange local para o Azure, a transferência de dados é uma consideração principal. Vários cenários de modernização exigem a replicação rápida de arquivos para o Azure ou a manutenção da sincronização entre arquivos locais e arquivos do Azure.
Este artigo descreve vários processos para transferir arquivos para o Azure, converter e transformar dados de arquivo e armazenar os dados no local e no Azure.
Arquitetura
O diagrama a seguir mostra algumas das opções para replicar e sincronizar arquivos locais com o Azure:
Transfira um ficheiro do Visio desta arquitetura.
Fluxo de dados
Transfira arquivos para o Azure:
A maneira mais fácil de transferir arquivos no local ou para o Azure é usando o Protocolo de Transferência de Arquivos (FTP). Você pode hospedar um servidor FTP em uma máquina virtual (VM) do Azure. Uma linguagem de controle de trabalho FTP (JCL) simples envia arquivos para o Azure em formato binário, o que é essencial para preservar a computação de mainframe e midrange e os tipos de dados binários. Você pode armazenar arquivos transmitidos em discos locais, armazenamento de arquivos de VM do Azure ou Armazenamento de Blob do Azure.
Você também pode carregar arquivos locais para o Armazenamento de Blobs usando ferramentas como o AzCopy.
O conector FTP/SFTP do Azure Data Factory também pode ser usado para transferir dados do sistema de mainframe para o Armazenamento de Blob. Esse método requer uma VM intermediária na qual um tempo de execução de integração auto-hospedado (SHIR) está instalado.
Também pode encontrar ferramentas de terceiros no Azure Marketplace para transferir ficheiros de mainframes para o Azure.
Orquestre, converta e transforme dados:
O Azure não pode ler arquivos de página de código IBM Extended Binary Coded Decimal Interchange Code (EBCDIC) em discos de VM do Azure ou Armazenamento de Blob. Para tornar esses arquivos compatíveis com o Azure, o Host Integration Server (HIS) os converte do formato EBCDIC para o American Standard Code for Information Interchange (ASCII).
Copybooks definem a estrutura de dados de COBOL, PL/I e arquivos de linguagem assembly. HIS converte esses arquivos para ASCII com base nos layouts do copybook.
Antes de transferir dados para armazenamentos de dados do Azure, talvez seja necessário transformar os dados ou usá-los para análises. O Data Factory pode gerenciar essas atividades de extração-transformação-carga (ETL) e extração-carga-transformação (ELT) e armazenar os dados diretamente no Armazenamento do Azure Data Lake.
Para integrações de big data, o Azure Databricks e o Azure Synapse Analytics podem executar todas as atividades de transformação de forma rápida e eficaz usando o mecanismo Apache Spark para executar cálculos na memória.
Armazenar dados:
Você pode armazenar dados transferidos em um dos vários modos de armazenamento persistentes do Azure disponíveis, dependendo de suas necessidades.
Se não houver necessidade de análise, o Azure Data Factory pode armazenar dados diretamente em uma ampla variedade de opções de armazenamento, como Armazenamento Data Lake e Armazenamento de Blob.
O Azure hospeda vários bancos de dados, que atendem a diferentes necessidades:
- Os bancos de dados relacionais incluem a família SQL Server e bancos de dados de código aberto como PostgreSQL e MySQL.
- Os bancos de dados não relacionais incluem o Azure Cosmos DB, um banco de dados NoSQL rápido, multimodelo e distribuído globalmente.
Analise análises e business intelligence:
O Microsoft Fabric é uma solução de análise tudo-em-um que sua organização pode usar para estudar a movimentação de dados, experimentar ciências de dados e revisar análises em tempo real e business intelligence. Ele oferece um conjunto abrangente de recursos, incluindo um data lake, engenharia de dados e integração de dados.
Componentes
Vários cenários de transferência, integração e armazenamento de arquivos usam componentes diferentes. Consulte a calculadora de preços do Azure para estimar os custos dos recursos do Azure.
Rede
Um gateway de dados local é um software de ponte que conecta dados locais a serviços de nuvem. Você pode instalar o gateway em uma VM local dedicada.
Integração de dados e transformação
O Provedor de Dados para Arquivos Host é um componente do HIS que converte arquivos de página de código EBCDIC em ASCII. O provedor pode ler e gravar registros offline em um arquivo binário local ou usar Systems Network Architecture (SNA) ou Transmission Control Protocol/Internet Protocol (TCP/IP) para ler e gravar registros em conjuntos de dados remotos de mainframe IBM z/OS ou arquivos físicos i5/OS. Os conectores HIS estão disponíveis para o BizTalk e os Aplicativos Lógicos do Azure.
O Azure Data Factory é um serviço de integração de dados híbrido que você pode usar para criar, agendar e orquestrar fluxos de trabalho ETL e ELT.
O Azure Databricks é uma plataforma de análise baseada no Apache Spark otimizada para o Azure. Você pode usar o Databricks para correlacionar dados de entrada e enriquecê-los com outros dados armazenados no Databricks.
O Azure Synapse Analytics é um armazém de dados na nuvem rápido e flexível com uma arquitetura de processamento paralelo maciço (MPP) que pode utilizar para dimensionar, calcular e armazenar dados de forma elástica e independente.
Bases de Dados
O Banco de Dados SQL do Azure é um serviço de banco de dados de nuvem relacional escalável. O Banco de Dados SQL do Azure é perene e está sempre atualizado, com recursos automatizados e alimentados por IA que otimizam o desempenho e a durabilidade. As opções de computação sem servidor e armazenamento em hiperescala dimensionam automaticamente os recursos sob demanda. Com o Benefício Híbrido do Azure, você pode usar suas licenças locais existentes do SQL Server na nuvem sem custo extra.
A Instância Gerenciada SQL do Azure combina a mais ampla compatibilidade do mecanismo de banco de dados do SQL Server com todos os benefícios de uma plataforma como serviço (PaaS) totalmente gerenciada e perene. Com a Instância Gerenciada SQL, você pode modernizar seus aplicativos existentes em escala com ferramentas, habilidades e recursos familiares.
O SQL Server em Máquinas Virtuais do Azure eleva e desloca suas cargas de trabalho do SQL Server para a nuvem para combinar a flexibilidade e a conectividade híbrida do Azure com o desempenho, a segurança e a análise do SQL Server. Você pode acessar as atualizações e versões mais recentes do SQL Server com 100% de compatibilidade de código.
O Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional totalmente gerenciado baseado na edição da comunidade do mecanismo de banco de dados PostgreSQL de código aberto.
O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional totalmente gerenciado baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto.
O Azure Cosmos DB é um serviço de banco de dados NoSQL multimodelo totalmente gerenciado para criar e modernizar aplicativos escaláveis e de alto desempenho. O Azure Cosmos DB dimensiona a taxa de transferência e o armazenamento de forma elástica e independente entre regiões geográficas e garante latências de um dígito e milissegundos na disponibilidade do percentil 99 em qualquer lugar do mundo.
Outros armazenamentos de dados
O Armazenamento de Blobs armazena grandes quantidades de dados não estruturados, como texto ou dados binários, que você pode acessar de qualquer lugar via HTTP ou HTTPS. Você pode usar o Armazenamento de Blob para expor dados publicamente ou para armazenar dados de aplicativos de forma privada.
O Data Lake Storage é um repositório de armazenamento que contém uma grande quantidade de dados em formato nativo bruto. O Data Lake Storage fornece dimensionamento para cargas de trabalho de análise de big data com terabytes e petabytes de dados. Os dados normalmente vêm de várias fontes heterogêneas e podem ser estruturados, semiestruturados ou não estruturados.
Potenciais casos de utilização
Os casos de uso de replicação e sincronização de arquivos no local incluem:
Dependências downstream ou upstream, por exemplo, se os aplicativos executados em um mainframe e os aplicativos executados no Azure precisarem trocar dados por meio de arquivos.
Teste paralelo de aplicativos rehospedados ou reprojetados no Azure com aplicativos locais.
Aplicativos locais firmemente acoplados em sistemas que não podem ser imediatamente remediados ou modernizados.
Contribuidores
Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.
Principais autores:
- Ashish Khandelwal - Brasil | Gerente Principal de Arquitetura de Engenharia
- Nithish Aruldoss - Brasil | Arquiteto de Engenharia
Para ver perfis não públicos do LinkedIn, inicie sessão no LinkedIn.
Próximos passos
- Para obter mais informações, contate a equipe de engenharia de dados do Microsoft SQL.
- Guias de migração de banco de dados do Azure