Partilhar via

Cenários de código aberto Apache no Azure

  • Artigo

A Microsoft orgulha-se de apoiar projetos, iniciativas e fundações de código aberto e contribuir para milhares de comunidades de código aberto. Usando tecnologias de código aberto no Azure, você pode executar aplicativos do seu jeito enquanto otimiza seus investimentos.

Este artigo fornece um resumo das arquiteturas e soluções que usam o Azure em conjunto com soluções de código aberto Apache.

Apache®, Apache Ignite, Ignite e o logotipo flame são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.

Apache Cassandra

Arquitetura Resumo Foco em tecnologia
Documentação de orientação para a criação de partições de dados Veja orientações sobre como separar partições de dados para serem gerenciadas e acessadas separadamente. Compreender estratégias de particionamento horizontal, vertical e funcional. Cassandra é ideal para particionamento vertical. Bases de Dados
Alta disponibilidade no MEC público do Azure Saiba como implantar cargas de trabalho no modo de espera ativa para obter alta disponibilidade e recuperação de desastres na computação de borda pública de multiacesso do Azure. Cassandra pode ser usado para suportar a geo-replicação. Híbrido
Aplicação de N camadas com Apache Cassandra Implante máquinas virtuais Linux e uma rede virtual configurada para uma arquitetura de N camadas com o Apache Cassandra. Bases de Dados
Dados não relacionais e NoSQL Saiba mais sobre bancos de dados não relacionais que armazenam dados como pares chave-valor, gráficos, séries temporais, objetos e outros modelos de armazenamento, com base nos requisitos de dados. O Azure Cosmos DB para Apache Cassandra é um serviço recomendado do Azure. Bases de Dados
Executar o Apache Cassandra em VMs do Azure Examine as considerações de desempenho para executar o Apache Cassandra em máquinas virtuais do Azure. Use essas recomendações como uma linha de base para testar sua carga de trabalho. Bases de Dados
Processamento de fluxo com mecanismos de dados de código aberto totalmente gerenciados Transmita eventos usando serviços de dados do Azure totalmente gerenciados. Use tecnologias de código aberto como Kafka, Kubernetes, Cassandra, PostgreSQL e componentes Redis. Análise

Apache CouchDB

Arquitetura Resumo Foco em tecnologia
Aplicação Web de linha de base com redundância de zona Use as práticas comprovadas nessa arquitetura de referência para melhorar a redundância, a escalabilidade e o desempenho em um aplicativo Web do Serviço de Aplicativo do Azure. CouchDB é um banco de dados de documentos recomendado. Web

Apache Hadoop

Arquitetura Resumo Foco em tecnologia
Arquiteturas de macrodados Saiba mais sobre arquiteturas de big data que lidam com a ingestão, processamento e análise de dados muito grandes ou complexos para sistemas de banco de dados tradicionais. Os clusters Hadoop do Azure HDInsight podem ser usados para processamento em lote. Bases de Dados
Escolha uma tecnologia de transferência de dados Saiba mais sobre as opções de transferência de dados do Azure, como o serviço de Importação/Exportação do Azure, o Azure Data Box, o Azure Data Factory e as ferramentas de linha de comando e interface gráfica. O ecossistema Hadoop fornece ferramentas para transferência de dados. Bases de Dados
IA cidadã com Power Platform Saiba como utilizar o Azure Machine Learning e a Power Platform para criar rapidamente uma prova de conceito e uma versão de produção de aprendizagem automática. O Azure Data Lake, um sistema de arquivos compatível com Hadoop, armazena dados. IA
Considerações de dados para microsserviços Saiba mais sobre como gerenciar dados em uma arquitetura de microsserviços. Veja um exemplo que usa o Azure Data Lake Store, um sistema de arquivos Hadoop. Microsserviços
Extrair, transformar e carregar Saiba mais sobre os pipelines de transformação de dados ETL (extract-transform-load) e ELT (extract-load-transform) e como usar fluxos de controle e fluxos de dados. O Hadoop pode ser usado como armazenamento de dados de destino em processos ELT. Análise
Padrão de visualização materializado Gere visualizações pré-preenchidas sobre os dados em um ou mais armazenamentos de dados quando os dados não estiverem idealmente formatados para as operações de consulta necessárias. Use o Hadoop para um mecanismo de armazenamento de big data que ofereça suporte à indexação. Bases de Dados
Preveja cobranças de empréstimos com o HDInsight Spark Use o HDInsight e o aprendizado de máquina para prever a probabilidade de os empréstimos serem cobrados. O HDInsight é compatível com Hadoop. Bases de Dados

Apache HBase

Arquitetura Resumo Foco em tecnologia
Arquiteturas de macrodados Saiba mais sobre arquiteturas de big data que lidam com a ingestão, processamento e análise de dados muito grandes ou complexos para sistemas de banco de dados tradicionais. Você pode usar o HBase para apresentação de dados nesses cenários. Bases de Dados
Escolha uma tecnologia de armazenamento de big data Compare as opções de tecnologia de armazenamento de big data no Azure. Inclui uma discussão sobre o HBase no HDInsight. Bases de Dados
Escolha um armazenamento de dados analíticos Saiba mais sobre como usar o HBase para acesso aleatório e forte consistência para grandes quantidades de dados não estruturados e semiestruturados. Análise
Documentação de orientação para a criação de partições de dados Veja orientações para separar partições de dados para que possam ser gerenciadas e acessadas separadamente. Compreender estratégias de particionamento horizontal, vertical e funcional. O HBase é ideal para particionamento vertical. Bases de Dados
Dados não relacionais e NoSQL Saiba mais sobre bancos de dados não relacionais que armazenam dados como pares chave-valor, gráficos, séries temporais, objetos e outros modelos de armazenamento, com base nos requisitos de dados. O HBase pode ser usado para dados colunares e de séries temporais. Bases de Dados

Apache Hive

Arquitetura Resumo Foco em tecnologia
Arquiteturas de macrodados Saiba mais sobre arquiteturas de big data que lidam com a ingestão, processamento e análise de dados muito grandes ou complexos para sistemas de banco de dados tradicionais. Você pode usar o Hive para processamento em lote e apresentação de dados nesses cenários. Bases de Dados
Escolha uma tecnologia de processamento em lote Compare as opções de tecnologia para processamento em lote de big data no Azure. Saiba mais sobre os recursos do Hive. Análise
Escolha um armazenamento de dados analíticos Avalie as opções de armazenamento de dados analíticos para big data no Azure. Saiba mais sobre os recursos do Hive. Análise
Extrair, transformar e carregar Saiba mais sobre pipelines de transformação de dados ETL e ELT e como usar fluxos de controle e fluxos de dados. No ELT, você pode usar o Hive para consultar dados de origem. Você também pode usá-lo junto com o Hadoop como um armazenamento de dados. Bases de Dados
Previsão de cobrança de empréstimo com clusters HDInsight Spark Use o HDInsight e o aprendizado de máquina para prever a probabilidade de os empréstimos serem cobrados. Os resultados do Google Analytics são armazenados em tabelas do Hive. Análise
Monitorização preditiva do motor da aeronave Saiba como combinar dados de aeronaves em tempo real com análises para criar uma solução para monitoramento e integridade preditivos do motor da aeronave. Os scripts do Hive fornecem agregações em eventos brutos que são arquivados pelo Azure Stream Analytics. Análise

Apache JMeter

Arquitetura Resumo Foco em tecnologia
Transformação na nuvem do sistema bancário no Azure Use aplicativos simulados e reais e cargas de trabalho existentes para monitorar a reação de uma infraestrutura de solução para escalabilidade e desempenho. Uma solução JMeter personalizada é usada para testes de carga. Migração
Padrões e implementações para uma transformação da nuvem bancária Saiba mais sobre os padrões e implementações usados para transformar um sistema bancário para a nuvem. JMeter é usado para testes de carga. Migração
Aplicativos em nuvem escaláveis e SRE Crie aplicativos de nuvem escaláveis usando modelagem de desempenho e outros princípios e práticas de engenharia de confiabilidade de site (SRE). JMeter é usado para testes de carga. Web

Apache Kafka

Arquitetura Resumo Foco em tecnologia
Proteção de dados de aplicativo para cargas de trabalho AKS em Arquivos NetApp do Azure Implante o Serviço de Controle Astra com Arquivos NetApp do Azure para proteção de dados, recuperação de desastres e mobilidade para aplicativos do Serviço Kubernetes do Azure (AKS), incluindo aplicativos Kafka. Contentores
Opções de mensagens assíncronas Saiba mais sobre as opções de mensagens assíncronas no Azure, incluindo suporte para clientes Kafka. Integração
Controlo de frota de veículos guiados automatizados Saiba mais sobre uma abordagem de ponta a ponta para um fabricante de equipamento original automotivo (OEM). Inclui várias bibliotecas de código aberto que você pode reutilizar. Os serviços de back-end nessa arquitetura podem se conectar ao Kafka. Web
Transformação na nuvem do sistema bancário no Azure Use aplicativos simulados e reais e cargas de trabalho existentes para monitorar a reação de uma infraestrutura de solução para escalabilidade e desempenho. Os eventos dos Hubs de Eventos para Kafka alimentam o sistema. Contentores
Escolha uma tecnologia de processamento de fluxo Compare opções para processamento de fluxo de mensagens em tempo real no Azure, incluindo a API de fluxos Kafka. Análise
Padrão de verificação de sinistro Examine o padrão Claim-Check, que divide uma mensagem grande em uma verificação de declaração e uma carga útil para evitar sobrecarregar um barramento de mensagens. Saiba mais sobre um exemplo que usa Kafka para geração de verificação de reivindicações. Integração
Streaming de dados com AKS Utilize o AKS para ingerir e processar facilmente um fluxo de dados em tempo real, com milhões de pontos de dados recolhidos através de sensores. Kafka armazena dados para análise. Contentores
Ingestão, ETL e pipelines de processamento de fluxo com o Azure Databricks Crie pipelines de ETL para dados em lote e streaming com o Azure Databricks para simplificar a ingestão de data lake em qualquer escala. Kafka é uma opção para ingerir dados. Análise
Integrar Hubs de Eventos com o Azure Functions Saiba como arquitetar, desenvolver e implantar código eficiente e escalável que é executado no Azure Functions e responde a eventos dos Hubs de Eventos do Azure. Saiba como os eventos podem persistir nos tópicos de Kafka. Sem servidor
Análise de IoT com o Azure Data Explorer Use o Azure Data Explorer para análises de telemetria IoT quase em tempo real em dados de streaming de fluxo rápido e alto volume de uma variedade de fontes de dados, incluindo Kafka. Análise
Replicação de dados de mainframe e midrange para o Azure usando a Qlik Use o Qlik Replicate para migrar sistemas de mainframe e midrange para a nuvem ou para estender esses sistemas com aplicativos em nuvem. Nesta solução, o Kafka armazena informações de log de alterações que são usadas para replicar os armazenamentos de dados. Mainframe
Padrões e implementações para uma transformação da nuvem bancária Saiba mais sobre os padrões e implementações usados para transformar um sistema bancário para a nuvem. Um escalador Kafka é usado para detetar se a solução precisa ativar ou desativar a implantação de aplicativos. Sem servidor
Padrão Editor-Assinante Saiba mais sobre o padrão Editor-Assinante, que permite que um aplicativo anuncie eventos para muitos consumidores interessados de forma assíncrona. Kafka é recomendado para mensagens. Integração
Padrão de limitação de taxa Use um padrão de limitação de taxa para evitar ou minimizar erros de limitação. Este padrão pode implementar Kafka para mensagens. Integração
Refatore aplicativos de mainframe com Advanced Saiba como usar a solução de refatoração COBOL automatizada da Advanced para modernizar seus aplicativos COBOL de mainframe, executá-los no Azure e reduzir custos. Kafka pode ser usado como fonte de dados. Mainframe
Processamento de fluxo com mecanismos de dados de código aberto totalmente gerenciados Transmita eventos usando serviços de dados do Azure totalmente gerenciados. Use tecnologias de código aberto como Kafka, Kubernetes, Cassandra, PostgreSQL e componentes Redis. Análise

Apache MapReduce

Arquitetura Resumo Foco em tecnologia
Opções de mensagens assíncronas Saiba mais sobre as opções de mensagens assíncronas no Azure. Você pode usar o MapReduce para gerar relatórios sobre eventos capturados por Hubs de Eventos. Integração
Arquiteturas de macrodados Saiba mais sobre arquiteturas de big data que lidam com a ingestão, processamento e análise de dados muito grandes ou complexos para sistemas de banco de dados tradicionais. Você pode usar o MapReduce para processamento em lote e para fornecer funcionalidade para operações paralelas nesses cenários. Bases de Dados
Escolha uma tecnologia de processamento em lote Saiba mais sobre as tecnologias para processamento em lote de big data no Azure, incluindo o HDInsight com MapReduce. Análise
Padrão geodo Implante serviços de back-end em um conjunto de nós geográficos, cada um dos quais pode atender a qualquer solicitação de cliente em qualquer região. Esse padrão ocorre em arquiteturas de big data que usam o MapReduce para consolidar resultados em máquinas. Bases de Dados
Minimizar a coordenação Siga estas recomendações para melhorar a escalabilidade minimizando a coordenação entre os serviços de aplicativos. Use MapReduce para dividir o trabalho em tarefas independentes. Bases de Dados

Apache NiFi

Arquitetura Resumo Foco em tecnologia
Apache NiFi no Azure Automatize fluxos de dados com o Apache NiFi no Azure. Use uma solução escalável e altamente disponível para mover dados para a nuvem ou armazenamento e entre sistemas de nuvem. Análise
Implantações baseadas em leme para Apache NiFi Use gráficos Helm ao implantar o NiFi no AKS. O Helm simplifica o processo de instalação e gerenciamento de aplicativos Kubernetes. Análise

Apache Oozie

Arquitetura Resumo Foco em tecnologia
Arquiteturas de macrodados Saiba mais sobre arquiteturas de big data que lidam com a ingestão, processamento e análise de dados muito grandes ou complexos para sistemas de banco de dados tradicionais. Você pode usar o Oozie para orquestração nesses cenários. Bases de Dados
Escolha uma tecnologia de orquestração de pipeline de dados Saiba mais sobre os principais recursos de orquestração do Oozie. Bases de Dados

Apache Solr

Arquitetura Resumo Foco em tecnologia
Escolha um armazenamento de dados de pesquisa Saiba mais sobre os recursos dos armazenamentos de dados de pesquisa no Azure e os principais critérios para escolher o que melhor atende às suas necessidades. Saiba mais sobre os principais recursos do HDInsight com Solr. Bases de Dados

Apache Spark

Arquitetura Resumo Foco em tecnologia
Analytics de ponta a ponta com o Azure Synapse Saiba como usar os Serviços de Dados do Azure para criar uma plataforma de análise moderna capaz de lidar com os desafios de dados mais comuns. O mecanismo de análise Spark Pools está disponível nos espaços de trabalho do Azure Synapse. Análise
Pontuação em lote do Spark no Azure Databricks Crie uma solução escalável para pontuação em lote de um modelo de classificação Apache Spark. IA
Arquiteturas de macrodados Saiba mais sobre arquiteturas de big data que lidam com a ingestão, processamento e análise de dados muito grandes ou complexos para sistemas de banco de dados tradicionais. Você pode usar o Spark para processamento em lote ou fluxo e como um armazenamento de dados analíticos. Bases de Dados
Escolha uma tecnologia de processamento em lote Compare as opções de tecnologia para processamento em lote de big data no Azure, incluindo opções para implementar o Spark. Análise
Escolha uma tecnologia de processamento de fluxo Compare opções para processamento de fluxo de mensagens em tempo real no Azure, incluindo opções para implementar o Spark. Análise
Escolha um armazenamento de dados analíticos Avalie as opções de armazenamento de dados analíticos para big data no Azure. Saiba mais sobre os recursos dos pools do Azure Synapse Spark. Análise
Ciência de dados e aprendizagem automática com o Azure Databricks Melhore as operações usando o Azure Databricks, Delta Lake e MLflow para ciência de dados e aprendizado de máquina. Desenvolva, treine e implante modelos de aprendizado de máquina. O Azure Databricks fornece clusters Spark gerenciados. IA
Extrair, transformar e carregar Saiba mais sobre os pipelines de transformação de dados ETL (extract-transform-load) e ELT (extract-load-transform) e como usar fluxos de controle e fluxos de dados. No ELT, você pode usar o Spark para consultar dados de origem. Você também pode usá-lo junto com o Hadoop como um armazenamento de dados. Bases de Dados
Previsões de cobrança de empréstimo com o HDInsight Spark Use o HDInsight e o aprendizado de máquina para prever a probabilidade de os empréstimos serem cobrados. Bases de Dados
Muitos modelos de aprendizado de máquina com o Spark Saiba mais sobre muitos modelos de aprendizado de máquina no Azure. IA
Produtos de aprendizagem automática da Microsoft Compare opções para criar, implantar e gerenciar seus modelos de aprendizado de máquina, incluindo a plataforma de análise baseada no Azure Databricks Spark e o SynapseML. IA
Armazém de dados moderno para pequenas e médias empresas Use o Azure Synapse, o Banco de Dados SQL do Azure e o Armazenamento do Azure Data Lake para modernizar os dados herdados e locais do SMB. As ferramentas no espaço de trabalho do Azure Synapse podem usar os recursos de computação do Spark para processar dados. Análise
Tecnologia de processamento de linguagem natural Escolha um serviço de processamento de linguagem natural para análise de sentimento, deteção de tópicos e idiomas, extração de frases-chave e categorização de documentos. Saiba mais sobre os principais recursos do Azure HDInsight com o Spark. IA
Padrões e métricas de observabilidade Saiba como usar padrões e métricas de observabilidade para melhorar o desempenho de processamento de um sistema de big data usando o Azure Databricks. A biblioteca de monitoramento do Azure Databricks transmite eventos do Spark e métricas do Spark Structured Streaming de trabalhos. Bases de Dados
Processamento de fluxo com mecanismos de dados de código aberto totalmente gerenciados Transmita eventos usando serviços de dados do Azure totalmente gerenciados. Use tecnologias de código aberto como componentes Spark, Kafka, Kubernetes, Cassandra, PostgreSQL e Redis. Análise

Apache Sqoop

Arquitetura Resumo Foco em tecnologia
Arquiteturas de macrodados Saiba mais sobre arquiteturas de big data que lidam com a ingestão, processamento e análise de dados muito grandes ou complexos para sistemas de banco de dados tradicionais. Nesses cenários, você pode usar o Sqoop para automatizar fluxos de trabalho de orquestração. Bases de Dados
Escolha uma tecnologia de transferência de dados Saiba mais sobre as opções de transferência de dados, como o Azure Import/Export, o Data Box e o Sqoop. Bases de Dados

Apache ZooKeeper

Arquitetura Resumo Foco em tecnologia
Apache NiFi no Azure Automatize fluxos de dados com o NiFi no Azure. Use uma solução escalável e altamente disponível para mover dados para a nuvem ou armazenamento e entre sistemas de nuvem. Nesta solução, a NiFi usa o ZooKeeper para coordenar o fluxo de dados. Análise
Implantações baseadas em leme para Apache NiFi Use gráficos Helm ao implantar o NiFi no AKS. O Helm simplifica o processo de instalação e gerenciamento de aplicativos Kubernetes. Nessa arquitetura, o ZooKeeper fornece coordenação de cluster. Análise
Padrão de limitação de taxa Use um padrão de limitação de taxa para evitar ou minimizar erros de limitação. Nesse cenário, você pode usar o ZooKeeper para criar um sistema que concede concessões temporárias à capacidade. Integração