Compartilhar via

Cenários de código aberto do Apache no Azure

  • Artigo

A Microsoft tem orgulho de apoiar projetos, iniciativas e fundações de código aberto e contribuir para milhares de comunidades do gênero. Usando as tecnologias de código aberto no Azure, você pode executar aplicativos à sua maneira e otimizar seus investimentos.

Este artigo fornece um resumo das arquiteturas e soluções que usam o Azure junto com as soluções de código aberto da Apache.

Apache®, Apache Ignite, Ignite e o logotipo de chamas são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.

Apache Cassandra

Arquitetura Resumo Foco na tecnologia
Diretrizes de particionamento de dados Veja diretrizes de como separar partições de dados para que sejam gerenciadas e acessadas separadamente. Entenda estratégias de particionamento horizontal, vertical e funcional. O Cassandra é ideal para particionamento vertical. Bancos de dados
Alta disponibilidade na MEC pública do Azure Saiba como implantar cargas de trabalho no modo em espera ativa para obter alta disponibilidade e recuperação de desastre na computação de borda de acesso múltiplo pública do Azure. O Cassandra pode ser usado para dar suporte à replicação geográfica. Híbrido
Aplicativo de N camadas com Apache Cassandra Implante máquinas virtuais do Linux e uma rede virtual configurada para uma arquitetura de N camadas com o Apache Cassandra. Bancos de dados
Dados não relacionais e NoSQL Saiba mais sobre bancos de dados não relacionais que armazenam dados como pares chave-valor, grafos, séries temporais, objetos e outros modelos de armazenamento baseados nos requisitos de dados. O Azure Cosmos DB for Apache Cassandra é um serviço recomendado do Azure. Bancos de dados
Executar o Apache Cassandra em VMs do Azure Examine as considerações de desempenho para executar o Apache Cassandra em máquinas virtuais do Azure. Siga essas recomendações como linha de base para testar sua carga de trabalho. Bancos de dados
Processamento de fluxo com mecanismos de dados de código aberto totalmente gerenciados Transmita eventos usando os serviços de dados do Azure totalmente gerenciados. Use tecnologias de código aberto como os componentes Kafka, Kubernetes, Cassandra, PostgreSQL e Redis. Análise

Apache CouchDB

Arquitetura Resumo Foco na tecnologia
Aplicativo web de linha de base com redundância de zona Use as práticas comprovadas nesta arquitetura de referência para melhorar a redundância, escalabilidade e o desempenho em um aplicativo Web do Serviço de Aplicativo do Azure. O CouchDB é um banco de dados de documentos recomendado. Web

Apache Hadoop

Arquitetura Resumo Foco na tecnologia
Arquiteturas de Big Data Saiba mais sobre arquiteturas de Big Data que lidam com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais. Os clusters do Azure HDInsight Hadoop podem ser usados para processamento em lotes. Bancos de dados
Escolher uma tecnologia de transferência de dados Saiba mais sobre as opções de transferência de dados do Azure, como o serviço Importação/Exportação do Azure, o Azure Data Box, o Azure Data Factory e as ferramentas de linha de comando e de interface gráfica. O ecossistema do Hadoop fornece ferramentas para transferência de dados. Bancos de dados
IA de cidadãos com o Power Platform Saiba como usar o Azure Machine Learning e o Power Platform para criar rapidamente uma prova de conceito de machine learning e uma versão de produção. O Azure Data Lake, um sistema de arquivos compatível com o Hadoop, armazena os dados. IA
Considerações de dados para microsserviços Saiba mais sobre como gerenciar dados em uma arquitetura de microsserviços. Veja um exemplo que usa o Azure Data Lake Storage, um sistema de arquivos do Hadoop. Microsserviços
Extração, transformação e carga Saiba mais sobre os pipelines de transformação de dados ETL (extração, transformação e carregamento) e ELT (extração, carregamento e transformação) e como usar fluxos de controle e de dados. O Hadoop pode ser usado como armazenamento de dados de destino em processos de ELT. Análise
Padrão de exibição materializada Gere exibições pré-preenchidas nos dados em um ou mais armazenamentos de dados quando os dados não estiverem formatados como o ideal para as operações de consulta necessárias. Use o Hadoop para um mecanismo de armazenamento de Big Data que dê suporte à indexação. Bancos de dados
Prever baixas de empréstimos como incobráveis com o HDInsight Spark Use o HDInsight e machine learning para prever a probabilidade de baixas de empréstimos incobráveis. O HDInsight dá suporte ao Hadoop. Bancos de dados

HBase no Apache

Arquitetura Resumo Foco na tecnologia
Arquiteturas de Big Data Saiba mais sobre arquiteturas de Big Data que lidam com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais. Você pode usar o HBase para a apresentação de dados nesses cenários. Bancos de dados
Escolher uma tecnologia de armazenamento de Big Data Compare as opções de tecnologias de armazenamento de Big Data no Azure. Inclui uma discussão sobre o HBase no HDInsight. Bancos de dados
Escolha um armazenamento de dados analíticos Saiba mais sobre como usar o HBase para acesso aleatório e coerência forte para grandes quantidades de dados não estruturados e semiestruturados. Análise
Diretrizes de particionamento de dados Veja diretrizes para separar partições de dados para que elas possam ser gerenciadas e acessadas separadamente. Entenda estratégias de particionamento horizontal, vertical e funcional. O HBase é ideal para particionamento vertical. Bancos de dados
Dados não relacionais e NoSQL Saiba mais sobre bancos de dados não relacionais que armazenam dados como pares chave-valor, grafos, séries temporais, objetos e outros modelos de armazenamento baseados nos requisitos de dados. O HBase pode ser usado para dados colunares e de séries temporais. Bancos de dados

Apache Hive

Arquitetura Resumo Foco na tecnologia
Arquiteturas de Big Data Saiba mais sobre arquiteturas de Big Data que lidam com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais. Você pode usar o Hive para processamento em lotes e apresentação de dados nesses cenários. Bancos de dados
Escolher uma tecnologia de processamento em lotes Compare as opções de tecnologia para processamento em lotes de Big Data no Azure. Saiba mais sobre as funcionalidades do Hive. Análise
Escolha um armazenamento de dados analíticos Avalie as opções de armazenamento de dados analíticos para Big Data no Azure. Saiba mais sobre as funcionalidades do Hive. Análise
Extração, transformação e carga Saiba mais sobre os pipelines de transformação de dados de ETL e ELT, além de como usar fluxos de controle e de dados. No processo de ELT, você pode usar o Hive para consultar dados de origem. Você também pode usá-lo junto com o Hadoop como um armazenamento de dados. Bancos de dados
Previsão de baixas de empréstimos como incobráveis com clusters do HDInsight Spark Use o HDInsight e machine learning para prever a probabilidade de baixas de empréstimos incobráveis. Os resultados da análise são armazenados em tabelas do Hive. Análise
Monitoramento preditivo de motores de aeronaves Saiba como combinar dados de aeronaves em tempo real com análise para criar uma solução de monitoramento e integridade preditivos do motor de aeronaves. Os scripts do Hive fornecem agregações em eventos brutos arquivados pelo Azure Stream Analytics. Análise

Apache JMeter

Arquitetura Resumo Foco na tecnologia
Transformação de nuvem do sistema bancário no Azure Use aplicativos simulados e reais e cargas de trabalho existentes para monitorar a reação de uma infraestrutura da solução quanto à escalabilidade e ao desempenho. Uma solução do JMeter personalizada é usada para teste de carga. Migração
Padrões e implementações para uma transformação de nuvem para serviços bancários Saiba mais sobre as implementações e os padrões usados para transformar um sistema bancário para a nuvem. O JMeter é usado para teste de carga. Migração
SRE e aplicativos de nuvem escalonáveis Crie aplicativos de nuvem escalonáveis usando a modelagem de desempenho e outros princípios e práticas da SRE (Engenharia de confiabilidade de sites). O JMeter é usado para teste de carga. Web

Apache Kafka

Arquitetura Resumo Foco na tecnologia
Proteção de dados de aplicativo para cargas de trabalho do AKS no Azure NetApp Files Implante o Serviço de Controle do Astra com o Azure NetApp Files para proteção de dados, recuperação de desastre e mobilidade para aplicativos AKS (Serviço de Kubernetes do Azure), incluindo aplicativos do Kafka. Contêineres
Opções de mensagens assíncronas Saiba mais sobre as opções de mensagens assíncronas no Azure, incluindo suporte para clientes do Kafka. Integração
Controle da frota de veículos com direção automatizada Saiba mais sobre uma abordagem de ponta a ponta para um OEM (fabricante de equipamento original) automotivo. Inclui várias bibliotecas de código aberto que você pode reutilizar. Os serviços de back-end nessa arquitetura podem se conectar ao Kafka. Web
Transformação de nuvem do sistema bancário no Azure Use aplicativos simulados e reais e cargas de trabalho existentes para monitorar a reação de uma infraestrutura da solução quanto à escalabilidade e ao desempenho. Os eventos dos Hubs de Eventos para Kafka alimentam o sistema. Contêineres
Escolher uma tecnologia de processamento de fluxo Compare as opções de processamento de fluxo de mensagens em tempo real no Azure, incluindo a API de fluxos do Kafka. Análise
Padrão de Verificação de Declaração Examine o padrão de Verificação de Declaração, que divide uma mensagem grande em uma verificação de declaração e um payload para evitar sobrecarregar um barramento de mensagens. Saiba mais sobre um exemplo que usa o Kafka para a geração de verificação de declaração. Integração
Streaming de dados com o AKS Use o AKS para ingerir e processar facilmente um fluxo de dados em tempo real com milhões de pontos de dados coletados por meio de sensores. O Kafka armazena dados para análise. Contêineres
Pipelines de ingestão, ETL e processamento de fluxos com o Azure Databricks Crie pipelines de ETL para dados em lote e de streaming com o Azure Databricks para simplificar a ingestão de data lake em qualquer escala. O Kafka é uma opção para ingerir dados. Análise
Integrar hubs de eventos com o Azure Functions Saiba como arquitetar, desenvolver e implantar código eficiente e escalonável que é executado no Azure Functions e responde a eventos Hubs de Eventos do Azure. Saiba como os eventos podem ser persistidos nos tópicos do Kafka. Sem servidor
Análise de IoT com o Azure Data Explorer Use o Azure Data Explorer para análise de telemetria de IoT quase em tempo real em dados de streaming de alto volume e de fluxo rápido de uma variedade de fontes de dados, incluindo o Kafka. Análise
Replicação de dados de mainframe e de alcance médio no Azure usando o Qlik Use o Qlik Replicate para migrar sistemas de mainframe e de médio alcance para a nuvem ou para estender esses sistemas com aplicativos de nuvem. Nessa solução, o Kafka armazena informações de log de alterações usadas para replicar os armazenamentos de dados. Mainframe
Padrões e implementações para uma transformação de nuvem para serviços bancários Saiba mais sobre as implementações e os padrões usados para transformar um sistema bancário para a nuvem. Um escalonador do Kafka é usado para detectar se a solução precisa ativar ou desativar a implantação do aplicativo. Sem servidor
Padrão Publisher-Subscriber Saiba mais sobre o padrão Editor-Assinante, que permite que um aplicativo anuncie eventos de maneira assíncrona a muitos consumidores interessados. O Kafka é recomendado para mensagens. Integração
Padrão de limitação de taxa Use um padrão de limitação de taxa para evitar ou minimizar erros de limitação. Esse padrão pode implementar o Kafka para mensagens. Integração
Refatorar aplicativos de mainframe com Advanced Saiba como usar a solução de refatoração de COBOL automatizada do Advanced para modernizar seus aplicativos COBOL de mainframe, executá-los no Azure e reduzir os custos. O Kafka pode ser usado como uma fonte de dados. Mainframe
Processamento de fluxo com mecanismos de dados de código aberto totalmente gerenciados Transmita eventos usando os serviços de dados do Azure totalmente gerenciados. Use tecnologias de código aberto como os componentes Kafka, Kubernetes, Cassandra, PostgreSQL e Redis. Análise

Apache MapReduce

Arquitetura Resumo Foco na tecnologia
Opções de mensagens assíncronas Saiba mais sobre as opções de mensagens assíncronas no Azure. Você pode usar o MapReduce para gerar relatórios sobre eventos capturados pelos Hubs de Eventos. Integração
Arquiteturas de Big Data Saiba mais sobre arquiteturas de Big Data que lidam com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais. Você pode usar MapReduce para processamento em lotes e para fornecer funcionalidade para operações paralelas nesses cenários. Bancos de dados
Escolher uma tecnologia de processamento em lotes Saiba mais sobre tecnologias para processamento em lotes de Big Data no Azure, incluindo o HDInsight com MapReduce. Análise
Padrão de geode Implante serviços de back-end em um conjunto de nós geográficos. Cada um deles pode atender a solicitações de cliente em qualquer região. Esse padrão ocorre em arquiteturas de Big Data que usam o MapReduce para consolidar resultados entre computadores. Bancos de dados
Minimizar a coordenação Siga estas recomendações para aprimorar a escalabilidade minimizando a coordenação entre os serviços de aplicativo. Use o MapReduce para dividir o trabalho em tarefas independentes. Bancos de dados

Apache NiFi

Arquitetura Resumo Foco na tecnologia
Apache NiFi no Azure Automatizar fluxos de dados com o Apache NiFi no Azure. Use uma solução escalonável e altamente disponível para mover dados para a nuvem ou armazenamento e entre sistemas de nuvem. Análise
Implantações baseadas no Helm para Apache NiFi Use gráficos do Helm ao implantar o NiFi no AKS. O Helm simplifica o processo de instalação e gerenciamento de aplicativos do Kubernetes. Análise

Apache Oozie

Arquitetura Resumo Foco na tecnologia
Arquiteturas de Big Data Saiba mais sobre arquiteturas de Big Data que lidam com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais. Você pode usar o Oozie para orquestração nesses cenários. Bancos de dados
Escolha uma tecnologia de orquestração de pipeline de dados Saiba mais sobre as principais funcionalidades de orquestração do Oozie. Bancos de dados

Apache Solr

Arquitetura Resumo Foco na tecnologia
Escolher um armazenamento de dados de pesquisa Saiba mais sobre as funcionalidades dos armazenamentos de dados de pesquisa no Azure e os principais critérios para escolher um que melhor corresponda às suas necessidades. Saiba mais sobre as principais funcionalidades do HDInsight com o Solr. Bancos de dados

Apache Spark

Arquitetura Resumo Foco na tecnologia
Análises de ponta a ponta com o Azure Synapse Saiba como usar os Serviços de Dados do Azure para criar uma plataforma de análise moderna que pode lidar com os desafios mais comuns de uma organização em relação a dados. O mecanismo de análise dos pools do Spark está disponível no workspaces do Azure Synapse. Análise
Pontuação em lote do Spark no Azure Databricks Crie uma solução escalonável para pontuar em lote um modelo de classificação do Apache Spark. IA
Arquiteturas de Big Data Saiba mais sobre arquiteturas de Big Data que lidam com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais. Você pode usar o Spark para processamento em lotes ou de fluxos e como um armazenamento de dados analíticos. Bancos de dados
Escolher uma tecnologia de processamento em lotes Compare as opções de tecnologia de processamento em lotes de Big Data no Azure, incluindo opções para implementar o Spark. Análise
Escolher uma tecnologia de processamento de fluxo Compare as opções de processamento de fluxo de mensagens em tempo real no Azure, incluindo opções para implementar o Spark. Análise
Escolha um armazenamento de dados analíticos Avalie as opções de armazenamento de dados analíticos para Big Data no Azure. Saiba mais sobre as funcionalidades dos pools do Spark do Azure Synapse. Análise
Ciência de dados e machine learning com Azure Databricks Aprimore as operações usando o Azure Databricks, o Delta Lake e o MLflow para ciência de dados e aprendizado de máquina. Desenvolva, treine e implante modelos de aprendizado de máquina. O Azure Databricks fornece clusters gerenciados do Spark. IA
Extração, transformação e carga Saiba mais sobre os pipelines de transformação de dados ETL (extração, transformação e carregamento) e ELT (extração, carregamento e transformação) e como usar fluxos de controle e de dados. No processo de ELT, você pode usar o Spark para consultar dados de origem. Você também pode usá-lo junto com o Hadoop como um armazenamento de dados. Bancos de dados
Previsões de baixas de empréstimos como incobráveis com o HDInsight Spark Use o HDInsight e machine learning para prever a probabilidade de baixas de empréstimos incobráveis. Bancos de dados
Muitos modelos de machine learning com o Spark Saiba mais sobre os diversos modelos de machine learning no Azure. IA
Produtos de machine learning da Microsoft Compare as opções para criar, implantar e gerenciar modelos de aprendizado de máquina, incluindo a plataforma de análise baseada no Spark do Azure Databricks e o SynapseML. IA
Data warehouse moderno para pequenas e médias empresas Use o Azure Synapse, o Banco de Dados SQL do Azure e o Azure Data Lake Storage para modernizar dados locais e herdados de PMEs. As ferramentas no workspace do Azure Synapse podem usar funcionalidades de computação do Spark para processar dados. Análise
Escolher uma tecnologia de processamento de linguagem natural Escolha um serviço de processamento de linguagem natural para análise de sentimento, detecção de tópico e idioma, extração de frases-chave e categorização de documentos. Saiba mais sobre as principais funcionalidades do Azure HDInsight com o Spark. IA
Métricas e padrões de observabilidade Saiba como usar métricas e padrões de observabilidade para aprimorar o desempenho de processamento de um sistema de Big Data usando o Azure Databricks. A biblioteca de monitoramento do Azure Databricks transmite eventos do Spark e métricas do Spark Structured Streaming de trabalhos. Bancos de dados
Processamento de fluxo com mecanismos de dados de código aberto totalmente gerenciados Transmita eventos usando os serviços de dados do Azure totalmente gerenciados. Use tecnologias de código aberto como os componentes do Spark, Kafka, Kubernetes, Cassandra, PostgreSQL e Redis. Análise

Apache Sqoop

Arquitetura Resumo Foco na tecnologia
Arquiteturas de Big Data Saiba mais sobre arquiteturas de Big Data que lidam com ingestão, processamento e análise de dados grandes ou complexos demais para sistemas de banco de dados tradicionais. Nesses cenários, você pode usar o Sqoop para automatizar fluxos de trabalho de orquestração. Bancos de dados
Escolher uma tecnologia de transferência de dados Saiba mais sobre as opções de transferência de dados, como Importação/Exportação do Azure, Data Box e Sqoop. Bancos de dados

Apache ZooKeeper

Arquitetura Resumo Foco na tecnologia
Apache NiFi no Azure Automatize fluxos de dados com o NiFi no Azure. Use uma solução escalonável e altamente disponível para mover dados para a nuvem ou armazenamento e entre sistemas de nuvem. Nesta solução, o NiFi usa o ZooKeeper para coordenar o fluxo de dados. Análise
Implantações baseadas no Helm para Apache NiFi Use gráficos do Helm ao implantar o NiFi no AKS. O Helm simplifica o processo de instalação e gerenciamento de aplicativos do Kubernetes. Nessa arquitetura, o ZooKeeper fornece coordenação de cluster. Análise
Padrão de limitação de taxa Use um padrão de limitação de taxa para evitar ou minimizar erros de limitação. Nesse cenário, você pode usar o ZooKeeper para criar um sistema que dê concessões temporárias à capacidade. Integração