Поделиться через

Сценарии с открытым кодом Apache в Azure

  • Статья

Корпорация Майкрософт гордится поддержкой проектов с открытым исходным кодом, инициатив и фондов и способствует тысячам сообществ с открытым кодом. Используя технологии с открытым кодом в Azure, вы можете запускать приложения таким образом при оптимизации инвестиций.

В этой статье содержится сводка по архитектуре и решениям, которые используют Azure вместе с решениями с открытым кодом Apache.

Apache®, Apache Ignite, Ignite и логотип пламени являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Apache Cassandra

Архитектура Итоги Фокус на технологии
Руководство по секционированию данных Ознакомьтесь с руководством по способам разделения секций данных для реализации отдельного управления и доступа. Изучите стратегии горизонтального, вертикального и функционального секционирования. Cassandra идеально подходит для вертикальной секционирования. Базы данных
N-уровень приложения с Apache Cassandra Разверните виртуальные машины Linux и виртуальную сеть, настроенную для архитектуры N уровня с помощью Apache Cassandra. Базы данных
Нереляционные данные и NoSQL Сведения о нереляционных базах данных, которые хранят данные в виде пар "ключ-значение", графов, временных рядов, объектов и других моделей хранения на основе требований к данным. Azure Cosmos DB для Apache Cassandra — это рекомендуемая служба Azure. Базы данных
Запуск Apache Cassandra на виртуальных машинах Azure Изучите рекомендации по производительности для запуска Apache Cassandra на виртуальных машинах Azure. Используйте эти рекомендации в качестве базовых показателей для тестирования рабочей нагрузки. Базы данных
Потоковая обработка с помощью полностью управляемых обработчиков данных с открытым кодом Реализуйте потоковую передачу событий с помощью полностью управляемых служб данных Azure. Используйте технологии с открытым кодом, такие как Kafka, Kubernetes, Cassandra, PostgreSQL и компоненты Redis. Аналитика

Apache CouchDB

Архитектура Итоги Фокус на технологии
Базовое веб-приложение с избыточностью зоны Используйте проверенные методики в этой эталонной архитектуре для повышения избыточности, масштабируемости и производительности в веб-приложении службы приложение Azure. CouchDB — это рекомендуемая база данных документов. Интернет

Apache Hadoop

Архитектура Итоги Фокус на технологии
Варианты архитектуры для обработки больших данных Узнайте об архитектурах больших данных, которые обрабатывают прием, обработку и анализ данных, которые слишком большие или сложные для традиционных систем баз данных. Кластеры Azure HDInsight Hadoop можно использовать для пакетной обработки. Базы данных
Выбор технологии передачи данных Сведения о параметрах передачи данных Azure, таких как служба импорта и экспорта Azure, Azure Data Box, Фабрика данных Azure, а также средства командной строки и графического интерфейса. Экосистема Hadoop предоставляет средства для передачи данных. Базы данных
ИИ гражданина с помощью Power Platform Узнайте, как использовать Машинное обучение Azure и Power Platform для быстрого создания подтверждения концепции и рабочей версии машинного обучения. Azure Data Lake, файловая система, совместимая с Hadoop, хранит данные. ИИ
Рекомендации по использованию данных для микрослужб Сведения об управлении данными в архитектуре микрослужб. Просмотрите пример, использующий Azure Data Lake Store, файловую систему Hadoop. Микрослужбы
Извлечение, преобразование и загрузка Узнайте о конвейерах преобразования данных extract-transform-load (ETL) и о том, как использовать потоки управления и потоки данных. Hadoop можно использовать в качестве целевого хранилища данных в процессах ELT. Аналитика
Шаблон материализованного представления Создайте предварительно заполненные представления по данным в одном или нескольких хранилищах данных, если данные не идеально форматируются для необходимых операций запроса. Используйте Hadoop для механизма хранения больших данных, поддерживающего индексирование. Базы данных
Прогнозирование расходов на кредит с помощью HDInsight Spark Используйте HDInsight и машинное обучение для прогнозирования вероятности списания кредитов. HDInsight поддерживает Hadoop. Базы данных

Apache HBase

Архитектура Итоги Фокус на технологии
Варианты архитектуры для обработки больших данных Узнайте об архитектурах больших данных, которые обрабатывают прием, обработку и анализ данных, которые слишком большие или сложные для традиционных систем баз данных. В этих сценариях можно использовать HBase для представления данных. Базы данных
Выбор технологии хранения больших данных Сравнение параметров технологии хранения больших данных в Azure. Включает обсуждение HBase в HDInsight. Базы данных
Выбор аналитического хранилища данных Узнайте об использовании HBase для случайного доступа и строгой согласованности для больших объемов неструктурированных и полуструктурированных данных. Аналитика
Руководство по секционированию данных Ознакомьтесь с рекомендациями по разделению секций данных, чтобы они могли управляться и получать доступ отдельно. Изучите стратегии горизонтального, вертикального и функционального секционирования. HBase идеально подходит для вертикального секционирования. Базы данных
Нереляционные данные и NoSQL Сведения о нереляционных базах данных, которые хранят данные в виде пар "ключ-значение", графов, временных рядов, объектов и других моделей хранения на основе требований к данным. HBase можно использовать для данных столбцов и временных рядов. Базы данных

Apache Hive

Архитектура Итоги Фокус на технологии
Варианты архитектуры для обработки больших данных Узнайте об архитектурах больших данных, которые обрабатывают прием, обработку и анализ данных, которые слишком большие или сложные для традиционных систем баз данных. Hive можно использовать для пакетной обработки и представления данных в этих сценариях. Базы данных
Выбор технологии пакетной обработки Сравните варианты технологий для пакетной обработки больших данных в Azure. Узнайте о возможностях Hive. Аналитика
Выбор аналитического хранилища данных Оцените параметры хранилища аналитических данных для больших данных в Azure. Узнайте о возможностях Hive. Аналитика
Извлечение, преобразование и загрузка Узнайте о конвейерах преобразования данных ETL и ELT и о том, как использовать потоки управления и потоки данных. В ELT можно использовать Hive для запроса исходных данных. Его также можно использовать вместе с Hadoop в качестве хранилища данных. Базы данных
Прогнозирование расходов на кредит с помощью кластеров HDInsight Spark Используйте HDInsight и машинное обучение для прогнозирования вероятности списания кредитов. Результаты аналитики хранятся в таблицах Hive. Аналитика

Apache JMeter

Архитектура Итоги Фокус на технологии
Преобразование облачной системы банковского обслуживания в Azure Используйте имитированные и фактические приложения и существующие рабочие нагрузки для мониторинга реакции инфраструктуры решений на масштабируемость и производительность. Настраиваемое решение JMeter используется для нагрузочного тестирования. Миграция
Шаблоны и реализации для преобразования в банковское облако Узнайте о шаблонах и реализациях, используемых для преобразования банковской системы для облака. JMeter используется для нагрузочного тестирования. Миграция
Масштабируемые облачные приложения и SRE Создавайте масштабируемые облачные приложения с помощью моделирования производительности и других принципов и рекомендаций по обеспечению надежности сайта при проектировании (SRE). JMeter используется для нагрузочного тестирования. Интернет

Apache Kafka

Архитектура Итоги Фокус на технологии
Защита данных приложений для рабочих нагрузок AKS в Azure NetApp Files Развертывание службы управления Astra с помощью Azure NetApp Files для защиты данных, аварийного восстановления и мобильности для приложений Служба Azure Kubernetes (AKS), включая приложения Kafka. Контейнеры
Параметры асинхронного обмена сообщениями Узнайте о параметрах асинхронного обмена сообщениями в Azure, включая поддержку клиентов Kafka. Интеграция
Автоматизированное управление автопарком управляемых транспортных средств Узнайте о комплексном подходе изготовителя автомобильного оборудования (OEM). Включает несколько библиотек с открытым кодом, которые можно использовать повторно. Внутренние службы в этой архитектуре могут подключаться к Kafka. Интернет
Преобразование облачной системы банковского обслуживания в Azure Используйте имитированные и фактические приложения и существующие рабочие нагрузки для мониторинга реакции инфраструктуры решений на масштабируемость и производительность. События из Центров событий для Веб-канала Kafka в систему. Контейнеры
Выбор технологии потоковой обработки Сравните параметры обработки потоков сообщений в режиме реального времени в Azure, включая API потоков Kafka. Аналитика
Шаблон проверки утверждений Изучите шаблон проверки утверждений, который разбивает большое сообщение на проверку утверждения и полезные данные, чтобы избежать подавляющего шины сообщений. Узнайте о примере, использующего Kafka для создания проверки утверждений. Интеграция
Потоковая передача данных с помощью AKS Используйте AKS, чтобы легко принимать и обрабатывать поток данных в реальном времени с миллионами точек данных, собранных с помощью датчиков. Kafka хранит данные для анализа. Контейнеры
Прием, ETL и потоковая обработка конвейеров с помощью Azure Databricks Создайте конвейеры ETL для пакетных и потоковых данных с помощью Azure Databricks, чтобы упростить прием озера данных в любом масштабе. Kafka — это один из вариантов приема данных. Аналитика
Интеграция Центров событий с Функции Azure Узнайте, как разрабатывать, разрабатывать и развертывать эффективный и масштабируемый код, работающий на Функции Azure и реагирующий на события Центры событий Azure. Узнайте, как можно сохранять события в разделах Kafka. Бессерверные приложения
Аналитика Интернета вещей с помощью Azure Data Explorer Используйте Azure Data Explorer для аналитики телеметрии Интернета вещей практически в режиме реального времени для быстрого потокового потокового потока данных с большим объемом данных из различных источников данных, включая Kafka. Аналитика
Мейнфрейм и репликация данных в Azure с помощью Qlik Используйте QlikРеплицировать для переноса мейнфреймов и систем среднего порядка в облако или расширения таких систем с помощью облачных приложений. В этом решении Kafka хранит сведения журнала изменений, используемые для репликации хранилищ данных. Мейнфрейм
Шаблоны и реализации для преобразования в банковское облако Узнайте о шаблонах и реализациях, используемых для преобразования банковской системы для облака. Масштабировщик Kafka используется для определения необходимости активации или деактивации развертывания приложения. Бессерверные приложения
Шаблон подписчика издателя Узнайте о шаблоне издателя-подписчика, который позволяет приложению объявлять события многим заинтересованным потребителям асинхронно. Для обмена сообщениями рекомендуется использовать Kafka. Интеграция
Шаблон ограничения скорости Используйте шаблон ограничения скорости, чтобы избежать или свести к минимуму ошибки регулирования. Этот шаблон может реализовать Kafka для обмена сообщениями. Интеграция
Рефакторинг приложений мейнфреймов с помощью расширенных возможностей Узнайте, как использовать автоматизированное решение рефакторинга COBOL из Advanced для модернизации приложений мейнфрейма COBOL, их запуска в Azure и снижения затрат. Kafka можно использовать в качестве источника данных. Мейнфрейм
Потоковая обработка с помощью полностью управляемых обработчиков данных с открытым кодом Реализуйте потоковую передачу событий с помощью полностью управляемых служб данных Azure. Используйте технологии с открытым кодом, такие как Kafka, Kubernetes, Cassandra, PostgreSQL и компоненты Redis. Аналитика

Apache MapReduce

Архитектура Итоги Фокус на технологии
Параметры асинхронного обмена сообщениями Сведения о параметрах асинхронного обмена сообщениями в Azure. С помощью MapReduce можно создавать отчеты о событиях, захваченных центрами событий. Интеграция
Варианты архитектуры для обработки больших данных Узнайте об архитектурах больших данных, которые обрабатывают прием, обработку и анализ данных, которые слишком большие или сложные для традиционных систем баз данных. MapReduce можно использовать для пакетной обработки и предоставления функций для параллельных операций в этих сценариях. Базы данных
Выбор технологии пакетной обработки Сведения о технологиях пакетной обработки больших данных в Azure, включая HDInsight с MapReduce. Аналитика
Шаблон геоузла Разверните внутренние службы в набор географических узлов, каждый из которых может обслуживать любой запрос клиента в любом регионе. Этот шаблон возникает в архитектурах больших данных, использующих MapReduce для консолидации результатов на компьютерах. Базы данных
Минимизация координации Следуйте этим рекомендациям, чтобы повысить масштабируемость, свести к минимуму координацию между службами приложений. Используйте MapReduce для разделения работы на независимые задачи. Базы данных

Apache Oozie

Архитектура Итоги Фокус на технологии
Варианты архитектуры для обработки больших данных Узнайте об архитектурах больших данных, которые обрабатывают прием, обработку и анализ данных, которые слишком большие или сложные для традиционных систем баз данных. Вы можете использовать Oozie для оркестрации в этих сценариях. Базы данных
Выбор технологии оркестрации конвейера данных Узнайте о возможностях оркестрации ключей Oozie. Базы данных

Apache Solr

Архитектура Итоги Фокус на технологии
Выбор хранилища данных поиска Узнайте о возможностях хранилищ данных для поиска в Azure и ключевых критериях выбора, которые оптимально соответствуют вашим потребностям. Узнайте о ключевых возможностях HDInsight с Solr. Базы данных

Apache Spark

Архитектура Итоги Фокус на технологии
Комплексная аналитика с помощью Azure Synapse Узнайте, как использовать Службы данных Azure для создания современной платформы аналитики, способной обрабатывать наиболее распространенные проблемы с данными. Подсистема аналитики пулов Spark доступна из рабочих областей Azure Synapse. Аналитика
Пакетная оценка Spark в Azure Databricks Создайте масштабируемое решение для пакетной оценки модели классификации Apache Spark. ИИ
Варианты архитектуры для обработки больших данных Узнайте об архитектурах больших данных, которые обрабатывают прием, обработку и анализ данных, которые слишком большие или сложные для традиционных систем баз данных. Spark можно использовать для пакетной или потоковой обработки и в качестве аналитического хранилища данных. Базы данных
Выбор технологии пакетной обработки Сравните варианты технологий для пакетной обработки больших данных в Azure, включая варианты реализации Spark. Аналитика
Выбор технологии потоковой обработки Сравните параметры обработки потоков сообщений в режиме реального времени в Azure, включая варианты реализации Spark. Аналитика
Выбор аналитического хранилища данных Оцените параметры хранилища аналитических данных для больших данных в Azure. Узнайте о возможностях пулов Azure Synapse Spark. Аналитика
Извлечение, преобразование и загрузка Узнайте о конвейерах преобразования данных extract-transform-load (ETL) и о том, как использовать потоки управления и потоки данных. В ELT можно использовать Spark для запроса исходных данных. Его также можно использовать вместе с Hadoop в качестве хранилища данных. Базы данных
Прогнозирование расходов на кредит с помощью HDInsight Spark Используйте HDInsight и машинное обучение для прогнозирования вероятности списания кредитов. Базы данных
Машинное обучение на основе нескольких моделей с использованием Spark Узнайте о многих моделях машинного обучения в Azure. ИИ
Продукты машинного обучения Майкрософт Сравните параметры для создания, развертывания и управления моделями машинного обучения, включая платформу аналитики на основе Azure Databricks Spark и SynapseML. ИИ
Современное хранилище данных для малого и среднего бизнеса Используйте Azure Synapse, База данных SQL Azure и Azure Data Lake Storage для модернизации устаревших и локальных данных SMB. Средства в рабочей области Azure Synapse могут использовать возможности вычислений Spark для обработки данных. Аналитика
Технология обработки естественного языка Узнайте, как выбрать службу обработки естественного языка для анализа тональности, распознавания тем, распознавания языка, извлечения ключевых фраз и классификации документов. Узнайте о ключевых возможностях Azure HDInsight с Помощью Spark. ИИ
Шаблоны и метрики наблюдаемости Узнайте, как использовать шаблоны наблюдения и метрики для повышения производительности обработки системы больших данных с помощью Azure Databricks. Библиотека мониторинга Azure Databricks передает события Spark и метрики структурированной потоковой передачи Spark из заданий. Базы данных
Потоковая обработка с помощью полностью управляемых обработчиков данных с открытым кодом Реализуйте потоковую передачу событий с помощью полностью управляемых служб данных Azure. Используйте такие технологии с открытым кодом, как Spark, Kafka, Kubernetes, Cassandra, PostgreSQL и Redis. Аналитика

Apache Sqoop

Архитектура Итоги Фокус на технологии
Варианты архитектуры для обработки больших данных Узнайте об архитектурах больших данных, которые обрабатывают прием, обработку и анализ данных, которые слишком большие или сложные для традиционных систем баз данных. В этих сценариях можно использовать Sqoop для автоматизации рабочих процессов оркестрации. Базы данных
Выбор технологии передачи данных Сведения о параметрах передачи данных, таких как импорт и экспорт Azure, Data Box и Sqoop. Базы данных

Apache ZooKeeper

Архитектура Итоги Фокус на технологии
Шаблон ограничения скорости Используйте шаблон ограничения скорости, чтобы избежать или свести к минимуму ошибки регулирования. В этом сценарии вы можете использовать ZooKeeper для создания системы, которая предоставляет временные аренды для емкости. Интеграция