Compartir a través de

Escenarios de código abierto de Apache en Azure

  • Artículo

Microsoft está deseando respaldar proyectos, iniciativas y fundamentos de código abierto y contribuir a miles de comunidades de código abierto. Mediante el uso de tecnologías de código abierto en Azure, puede ejecutar aplicaciones a la vez que optimiza sus inversiones.

En este artículo, se proporciona un resumen de las arquitecturas y soluciones que usan Azure junto con soluciones de código abierto de Apache.

Apache®, Apache Ignite, Ignite y el logotipo de la llama son marcas registradas o marcas comerciales de Apache Software Foundation en Estados Unidos y otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Apache Cassandra

Architecture Resumen Enfoque de tecnología
Guía de creación de particiones de datos Vea la guía sobre cómo separar las particiones de datos para administrarlas y tener acceso a ellas por separado. Comprenda las estrategias de creación de particiones horizontal, vertical y funcional. Cassandra es ideal para el particionamiento vertical. Bases de datos
Aplicación de n niveles con Apache Cassandra Implemente máquinas virtuales Linux y una red virtual configurada para una arquitectura de n niveles con Apache Cassandra. Bases de datos
Datos no relacionales y NoSQL Obtenga información sobre bases de datos no relacionales que almacenan datos como pares clave-valor, grafos, series temporales, objetos y otros modelos de almacenamiento basados en los requisitos de datos. Azure Cosmos DB for Apache Cassandra es un servicio de Azure recomendado. Bases de datos
Ejecución de Apache Cassandra en máquinas virtuales de Azure Examine las consideraciones sobre rendimiento para la ejecución de Apache Cassandra en máquinas virtuales de Azure. Utilice estas recomendaciones como línea base para realizar pruebas en la carga de trabajo. Bases de datos
Procesamiento de flujos con motores de datos de código abierto completamente administrados Transmita eventos mediante servicios de datos de Azure totalmente administrados. Use tecnologías de código abierto, tales como los componentes de Kafka, Kubernetes, Cassandra, PostgreSQL y Redis. Análisis

Apache CouchDB

Architecture Resumen Enfoque de tecnología
Aplicación web de línea base con redundancia de zona Use los procedimientos probados de esta arquitectura de referencia para mejorar la redundancia, escalabilidad y rendimiento en una aplicación web de Azure App Service. CouchDB es una base de datos de documentos recomendada. Web

Apache Hadoop

Architecture Resumen Enfoque de tecnología
Arquitecturas de macrodatos Obtenga información sobre arquitecturas de macrodatos que controlan la ingesta, el procesamiento y el análisis de datos que son demasiado grandes o complejos para los sistemas de bases de datos tradicionales. Se pueden usar clústeres de Azure HDInsight Hadoop para el procesamiento por lotes. Bases de datos
Elección de una tecnología de transferencia de datos Obtenga información sobre las opciones de transferencia de datos de Azure, como el servicio Import/Export, Azure Data Box, Azure Data Factory y las herramientas de interfaz gráfica y de línea de comandos. El ecosistema de Hadoop proporciona herramientas para la transferencia de datos. Bases de datos
Inteligencia artificial ciudadana con Power Platform Obtenga información sobre cómo usar Azure Machine Learning y Power Platform para crear rápidamente una prueba de concepto de aprendizaje automático y una versión de producción. Azure Data Lake, un sistema de archivos compatible con Hadoop, almacena los datos. INTELIGENCIA ARTIFICIAL
Consideraciones sobre los datos para los microservicios Obtenga información sobre cómo administrar datos en una arquitectura de microservicios. Consulte un ejemplo en el que se usa Azure Data Lake Store, un sistema de archivos de Hadoop. Microservicios
Extracción, transformación y carga Obtenga información sobre las canalizaciones de transformación de datos de extracción, transformación y carga (ETL) y de extracción, carga y transformación (ELT), y cómo usar flujos de datos y flujos de control. Se puede usar Hadoop como almacén de datos de destino en los procesos de ELT. Análisis
Patrón Materialized View Genere vistas rellenadas previamente de los datos de uno o más almacenes de datos cuando los datos no tienen el formato idóneo para las operaciones de consulta requeridas. Use Hadoop para un mecanismo de almacenamiento de macrodatos que admita la indexación. Bases de datos
Predicción de los cargos por préstamos con HDInsight Spark Utilice HDInsight y el aprendizaje automático para predecir la probabilidad de que los préstamos sean incobrables. HDInsight admite Hadoop. Bases de datos

HBase Apache

Architecture Resumen Enfoque de tecnología
Arquitecturas de macrodatos Obtenga información sobre arquitecturas de macrodatos que controlan la ingesta, el procesamiento y el análisis de datos que son demasiado grandes o complejos para los sistemas de bases de datos tradicionales. Puede usar HBase para la presentación de datos en estos escenarios. Bases de datos
Elección de una tecnología de almacenamiento de macrodatos en Azure Compare las opciones de tecnología de almacenamiento de macrodatos en Azure. Incluye una explicación de HBase en HDInsight. Bases de datos
Elección de un almacén de datos analíticos Obtenga información sobre el uso de HBase para un acceso aleatorio y de alta coherencia para grandes cantidades de datos no estructurados y semiestructurados. Análisis
Guía de creación de particiones de datos Consulte las instrucciones para separar particiones de datos para que se puedan administrar y acceder a ellas por separado. Comprenda las estrategias de creación de particiones horizontal, vertical y funcional. HBase es ideal para el particionamiento vertical. Bases de datos
Datos no relacionales y NoSQL Obtenga información sobre bases de datos no relacionales que almacenan datos como pares clave-valor, grafos, series temporales, objetos y otros modelos de almacenamiento basados en los requisitos de datos. Se puede usar HBase para datos en columnas y series temporales. Bases de datos

Apache Hive

Architecture Resumen Enfoque de tecnología
Arquitecturas de macrodatos Obtenga información sobre arquitecturas de macrodatos que controlan la ingesta, el procesamiento y el análisis de datos que son demasiado grandes o complejos para los sistemas de bases de datos tradicionales. Puede usar Hive para el procesamiento por lotes y la presentación de datos en estos escenarios. Bases de datos
Selección de una tecnología de procesamiento por lotes Compare las opciones de tecnología para el procesamiento por lotes de macrodatos en Azure. Obtenga información sobre las funcionalidades de Hive. Análisis
Elección de un almacén de datos analíticos Evalúe las opciones de almacén de datos analíticos para macrodatos en Azure. Obtenga información sobre las funcionalidades de Hive. Análisis
Extracción, transformación y carga Obtenga información sobre las canalizaciones de transformación de datos ETL y ELT, y cómo usar flujos de datos y flujos de control. En ELT, puede usar Hive para consultar los datos de origen. También puede usarlo junto con Hadoop como almacén de datos. Bases de datos
Predicción de préstamos incobrables con clústeres de Azure HDInsight Spark Utilice HDInsight y el aprendizaje automático para predecir la probabilidad de que los préstamos sean incobrables. Los resultados analíticos se almacenan en tablas de Hive. Análisis

Apache JMeter

Architecture Resumen Enfoque de tecnología
Transformación del sistema bancario a la nube de Azure Use aplicaciones simuladas y reales, así como cargas de trabajo existentes, para supervisar la reacción de la infraestructura de la solución en cuanto a la escalabilidad y el rendimiento. Se usa una solución de JMeter personalizada para las pruebas de carga. Migración
Patrones e implementaciones para una transformación de la nube en el sector bancario Obtenga información sobre los patrones e implementaciones que se usan para transformar un sistema bancario para la nube. Se usa JMeter para las pruebas de carga. Migración
Aplicaciones en la nube escalables y SRE Cree aplicaciones escalables en la nube mediante el modelado de rendimiento y otros principios y prácticas de ingeniería de confiabilidad de sitios (SRE). Se usa JMeter para las pruebas de carga. Web

Apache Kafka

Architecture Resumen Enfoque de tecnología
Protección de datos de aplicaciones para cargas de trabajo de AKS en Azure NetApp Files Implemente Astra Control Service con Azure NetApp Files para la protección de los datos, la recuperación ante desastres y la movilidad de las aplicaciones de Azure Kubernetes Service (AKS), incluidas las aplicaciones de Kafka. Contenedores
Opciones de mensajería asincrónica Obtenga información sobre las opciones de mensajería asincrónica en Azure, incluida la compatibilidad con clientes de Kafka. Integración
Control de flotas de vehículos de guiado automático Obtenga información sobre un enfoque integral para un fabricante de equipos originales (OEM) de automoción. Incluye varias bibliotecas de código abierto que puede reutilizar. Los servicios de back-end de esta arquitectura se pueden conectar a Kafka. Web
Transformación del sistema bancario a la nube de Azure Use aplicaciones simuladas y reales, así como cargas de trabajo existentes, para supervisar la reacción de la infraestructura de la solución en cuanto a la escalabilidad y el rendimiento. Los eventos de Event Hubs para Kafka se alimentan en el sistema. Contenedores
Selección de una tecnología de procesamiento de flujos Compare las opciones para el procesamiento de flujos de mensajes en tiempo real en Azure, incluida la API de flujos de Kafka. Análisis
Patrón de comprobante Examine el patrón de comprobante, que divide un mensaje grande en un comprobante y una carga para evitar sobrecargar un bus de mensajes. Obtenga información sobre un ejemplo que usa Kafka para la generación de comprobaciones de notificaciones. Integración
Streaming de datos con AKS Use AKS para facilitar la ingesta y el procesamiento en tiempo real de un flujo de datos con millones de puntos de datos que se recopilan mediante sensores. Kafka almacena los datos para su análisis. Contenedores
Canalizaciones de ingesta, ETL y procesamiento de flujos con Azure Databricks Cree canalizaciones de ETL para datos por lotes y de streaming con Azure Databricks para simplificar la ingesta del lago de datos a cualquier escala. Kafka es una opción para la ingesta de datos. Análisis
Integración de Event Hubs con funciones sin servidor en Azure Obtenga información sobre cómo diseñar, desarrollar e implementar código eficaz y escalable que se ejecuta en Azure Functions y responde a eventos de Azure Event Hubs. Obtenga información sobre cómo se pueden conservar los eventos en temas de Kafka. Sin servidor
Análisis de IoT con Azure Data Explorer Use Azure Data Explorer para el análisis de los datos de telemetría de IoT casi en tiempo real de un gran volumen de datos de streaming que fluye a gran velocidad desde una amplia gama de orígenes de datos, incluido Kafka. Análisis
Replicación de datos del sistema central y de rango medio en Azure mediante Qlik Use Qlik Replicate para migrar sistemas centrales y de rango medio a la nube, o para ampliar dichos sistemas con aplicaciones en la nube. En esta solución, Kafka almacena la información del registro de cambios que se usa para replicar los almacenes de datos. Gran sistema (mainframe)
Patrones e implementaciones para una transformación de la nube en el sector bancario Obtenga información sobre los patrones e implementaciones que se usan para transformar un sistema bancario para la nube. Se usa un escalador de Kafka para detectar si la solución debe activar o desactivar la implementación de aplicaciones. Sin servidor
Patrón de publicador y suscriptor Obtenga información sobre el patrón de publicador y suscriptor, que permite a una aplicación anunciar eventos a muchos consumidores interesados de forma asincrónica. Se recomienda Kafka para la mensajería. Integración
Patrón de limitación de velocidad Utilice un patrón de limitación de velocidad para evitar o minimizar los errores de limitación. Este patrón puede implementar Kafka para la mensajería. Integración
Refactorización de aplicaciones de sistema central con Advanced Obtenga información sobre cómo usar la solución de refactorización de COBOL automatizada de Advanced para modernizar las aplicaciones de COBOL del sistema central, ejecutarlas en Azure y reducir los costos. Se puede usar Kafka como origen de datos. Gran sistema (mainframe)
Procesamiento de flujos con motores de datos de código abierto completamente administrados Transmita eventos mediante servicios de datos de Azure totalmente administrados. Use tecnologías de código abierto, tales como los componentes de Kafka, Kubernetes, Cassandra, PostgreSQL y Redis. Análisis

Apache MapReduce

Architecture Resumen Enfoque de tecnología
Opciones de mensajería asincrónica Obtenga información sobre las opciones de mensajería asincrónica en Azure. Puede usar MapReduce para generar informes sobre los eventos capturados por Event Hubs. Integración
Arquitecturas de macrodatos Obtenga información sobre arquitecturas de macrodatos que controlan la ingesta, el procesamiento y el análisis de datos que son demasiado grandes o complejos para los sistemas de bases de datos tradicionales. Puede usar MapReduce para el procesamiento por lotes y para proporcionar funcionalidad para operaciones en paralelo en estos escenarios. Bases de datos
Selección de una tecnología de procesamiento por lotes Obtenga información sobre las tecnologías para el procesamiento por lotes de macrodatos en Azure, incluido HDInsight con MapReduce. Análisis
Patrón de nodo geográfico Implemente servicios de back-end en un conjunto de nodos geográficos, cada uno de los cuales puede atender la solicitud de cualquier cliente de cualquier región. Este patrón se produce en arquitecturas de macrodatos que usan MapReduce para consolidar resultados entre máquinas. Bases de datos
Minimizar la coordinación Siga estas recomendaciones para mejorar la escalabilidad a través de la minimización de la coordinación entre los servicios de aplicación. Use MapReduce para dividir el trabajo en tareas independientes. Bases de datos

Apache Oozie

Architecture Resumen Enfoque de tecnología
Arquitecturas de macrodatos Obtenga información sobre arquitecturas de macrodatos que controlan la ingesta, el procesamiento y el análisis de datos que son demasiado grandes o complejos para los sistemas de bases de datos tradicionales. Puede usar Oozie para la orquestación en estos escenarios. Bases de datos
Elección de una tecnología de orquestación de canalizaciones de datos Obtenga información sobre las principales funcionalidades de orquestación de Oozie. Bases de datos

Apache Solr

Architecture Resumen Enfoque de tecnología
Elección de un almacén de datos de búsqueda Obtenga información sobre las funcionalidades de los almacenes de datos de búsqueda en Azure y los criterios principales para elegir el que mejor se adapte a sus necesidades. Obtenga información sobre las principales funcionalidades de HDInsight con Solr. Bases de datos

Spark de Apache

Architecture Resumen Enfoque de tecnología
Análisis de un extremo a otro con Azure Synapse Obtenga información sobre cómo usar Azure Data Services para crear una plataforma de análisis moderna capaz de hacer frente a los desafíos de datos más habituales. El motor de análisis de los grupos de Spark está disponible desde las áreas de trabajo de Azure Synapse. Análisis
Puntuación por lotes de Spark en Azure Databricks Cree una solución escalable para la puntuación por lotes en un modelo de clasificación de Apache Spark. INTELIGENCIA ARTIFICIAL
Arquitecturas de macrodatos Obtenga información sobre arquitecturas de macrodatos que controlan la ingesta, el procesamiento y el análisis de datos que son demasiado grandes o complejos para los sistemas de bases de datos tradicionales. Puede usar Spark para el procesamiento por lotes o en secuencias, y como almacén de datos analíticos. Bases de datos
Selección de una tecnología de procesamiento por lotes Compare las opciones de tecnología para el procesamiento por lotes de macrodatos en Azure, incluidas las opciones para implementar Spark. Análisis
Selección de una tecnología de procesamiento de flujos Compare las opciones para el procesamiento de flujos de mensajes en tiempo real en Azure, incluidas las opciones para implementar Spark. Análisis
Elección de un almacén de datos analíticos Evalúe las opciones de almacén de datos analíticos para macrodatos en Azure. Obtenga información sobre las funcionalidades de los grupos de Spark de Azure Synapse. Análisis
Extracción, transformación y carga Obtenga información sobre las canalizaciones de transformación de datos de extracción, transformación y carga (ETL) y de extracción, carga y transformación (ELT), y cómo usar flujos de datos y flujos de control. En ELT, puede usar Spark para consultar los datos de origen. También puede usarlo junto con Hadoop como almacén de datos. Bases de datos
Predicción de préstamos incobrables con clústeres de Azure HDInsight Spark Utilice HDInsight y el aprendizaje automático para predecir la probabilidad de que los préstamos sean incobrables. Bases de datos
Aprendizaje automático de varios modelos con Spark Obtenga información sobre el aprendizaje automático de varios modelos en Azure. INTELIGENCIA ARTIFICIAL
Productos de Microsoft Machine Learning Compare las opciones para crear, implementar y administrar los modelos de Machine Learning, incluidos la plataforma de análisis basada en Spark de Azure Databricks y SynapseML. INTELIGENCIA ARTIFICIAL
Almacenamiento de datos moderno para pequeñas y medianas empresas Use Azure Synapse, Azure SQL Database y Azure Data Lake Storage para modernizar los datos heredados y locales de las PYMES. Las herramientas del área de trabajo de Azure Synapse pueden usar las funcionalidades de proceso de Spark para procesar los datos. Análisis
Tecnología de procesamiento de lenguaje natural Elija un servicio de procesamiento de lenguaje natural para el análisis de opiniones, la detección de temas e idiomas, la extracción de frases clave y la categorización de documentos. Obtenga información sobre las principales funcionalidades de Azure HDInsight con Spark. INTELIGENCIA ARTIFICIAL
Patrones y métricas de observabilidad Aprenda a usar patrones y métricas de observabilidad para mejorar el rendimiento del procesamiento de un sistema de macrodatos mediante Azure Databricks. La biblioteca de supervisión de Azure Databricks transmite los eventos de Apache Spark y las métricas de streaming estructurado de Spark de los trabajos. Bases de datos
Procesamiento de flujos con motores de datos de código abierto completamente administrados Transmita eventos mediante servicios de datos de Azure totalmente administrados. Use tecnologías de código abierto, como los componentes de Spark, Kafka, Kubernetes, Cassandra, PostgreSQL y Redis. Análisis

Apache Sqoop

Architecture Resumen Enfoque de tecnología
Arquitecturas de macrodatos Obtenga información sobre arquitecturas de macrodatos que controlan la ingesta, el procesamiento y el análisis de datos que son demasiado grandes o complejos para los sistemas de bases de datos tradicionales. En estos escenarios, puede usar Sqoop para automatizar los flujos de trabajo de orquestación. Bases de datos
Elección de una tecnología de transferencia de datos Obtenga información sobre las opciones de transferencia de datos, como Azure Import/Export, Data Box y Sqoop. Bases de datos

Apache ZooKeeper

Architecture Resumen Enfoque de tecnología
Patrón de limitación de velocidad Utilice un patrón de limitación de velocidad para evitar o minimizar los errores de limitación. En este escenario, puede usar ZooKeeper para crear un sistema que otorgue concesiones temporales a la capacidad. Integración