При использовании Azure в качестве современной платформы данных вы можете выбрать платформу как службу (PaaS) или инфраструктуру как службу (IaaS). PaaS предоставляет облачные возможности приема, преобразования и хранения данных. IaaS обеспечивает более широкий контроль над гибридной инфраструктурой, начиная с выбранного размера и типа виртуальных машин. С помощью любого подхода вы можете воспользоваться различными полностью управляемыми реляционными базами данных, NoSQL и базами данных в памяти, решениями хранилища и аналитическими предложениями, охватывающими собственные и открытые ядра с открытым исходным кодом. В этом примере архитектуры показаны оба подхода.
Архитектура
Скачайте файл Visio этой архитектуры.
Рабочий процесс
IBM MQ — это ПО промежуточного слоя, которое действует как слабо связанная связь между мейнфреймом или системой среднего порядка и службами Azure. Сообщения получаются и отправляются в соответствии с требованиями приложения для взаимодействия с уровнем приложений мейнфрейма.
В облачном подходе Azure Logic Apps использует соединитель MQ для обмена сообщениями с IBM MQ. Функция планировщика управляет рабочим процессом Azure, отправляя и получая сообщения по повторяющимся интервалам одной секунды.
Соединитель MQ может отправлять сообщения, которые он считывает непосредственно в хранилище через соединитель или отправлять их в первую очередь. Logic Apps включает несколько вариантов преобразования данных, таких как встроенная среда выполнения JavaScript JavaScript, которую можно использовать для выполнения простых фрагментов кода JavaScript для преобразования данных или операций с данными данных, которые выполняют преобразования в данных таблицы JSON, CSV и HTML. Вы также можете создавать бессерверные однозаготовые функции с помощью функции Azure.
Данные загружаются в хранилище. Azure предлагает множество решений для хранения управляемых данных, каждый из которых предоставляет различные функции и возможности.
В подходе IaaS виртуальная машина запускает сервер интеграции узлов Майкрософт (HIS) с адаптером BizTalk для WebSphere MQ. ЕГО обменивается сообщениями с IBM MQ и предоставляет оркестрацию как веб-службу пользовательскому приложению .NET.
Приложение .NET сохраняет данные с помощью любого поддерживаемого хранилища данных Azure. Например, приложение может маскирование данных или использование частных конечных точек для безопасности.
Данные загружаются в хранилище. Azure предлагает множество решений для хранения управляемых данных, каждый из которых предоставляет различные функции и возможности.
Компоненты
Azure Logic Apps предоставляет средства для оркестрации данных, интеграции данных и преобразования данных. Он включает сотни соединителей для доступа к данным в локальной среде или в облаке. Перед выбором соединителя хранилища данных необходимо проверить пропускную способность и производительность.
планировщик Logic Apps предоставляет триггеры запуска и выполнения рабочих процессов на основе интервала и частоты повторения, указанного вами.
соединитель Logic Apps MQ подключает рабочие процессы Logic Apps к локальному или локальному серверу IBM MQ в Azure. Рабочие процессы получают и отправляют сообщения, хранящиеся на сервере MQ. Клиент Microsoft MQ также включается для взаимодействия с удаленным сервером MQ через сеть TCP/IP. Клиент можно использовать для подключения к IBM WebSphere MQ 7.5, MQ 8.0 и MQ 9.0, 9.1 и 9.2.
сервер интеграции узлов (HIS) может служить интегратором сообщений через адаптер MQ WebSphere в Microsoft BizTalk Server. Клиент и адаптер сервера обмениваются сообщениями между IBM MQ и BizTalk Server. ЕГО также служит прослушивателем MQ и может опрашивать сервер MQ для сообщений с заданными интервалами.
.NET — это бесплатная платформа разработки с открытым исходным кодом, используемая в этом примере для создания приложения для извлечения данных через ЕГО уровень хранилища данных. Его также можно использовать для доступа к серверам IBM WebSphere MQ непосредственно через клиент Майкрософт для MQ.
Альтернативы
Для уровня данных вы можете выбрать управляемые службы, включая Базу данных Azure для PostgreSQL, Базу данных Azure для MySQL, Azure Cosmos DB, Базу данных Azure для MariaDBи Azure SQL.
Для уровня хранилища создайте корпоративное озеро данных с помощью Azure Data Lake Storage.
Для уровня данных создайте платформу аналитики больших данных с помощью Azure Synapse Analytics.
Сведения о сценарии
Популярный подход в сценариях цифрового преобразования заключается в том, могут ли существующие приложения и уровни по промежуточного слоя запускать as-is в гибридной настройке, где Microsoft Azure выступает в качестве масштабируемой распределенной платформы данных. В этом примере описывается подход к интеграции по промежуточному по промежуточному слоям, который позволяет ibm message queues (MQs), работающим на мейнфрейме или в системах среднего порядка, работать со службами Azure, чтобы найти лучшую платформу данных для рабочей нагрузки.
При использовании Azure в качестве современной платформы данных вы можете выбрать платформу как службу (PaaS) или инфраструктуру как службу (IaaS). PaaS предоставляет облачные возможности приема, преобразования и хранения данных. IaaS обеспечивает более широкий контроль над гибридной инфраструктурой, начиная с выбранного размера и типа виртуальных машин. С помощью любого подхода вы можете воспользоваться различными полностью управляемыми реляционными базами данных, NoSQL и базами данных в памяти, решениями хранилища и аналитическими предложениями, охватывающими собственные и открытые ядра с открытым исходным кодом.
В этом примере архитектуры показаны оба подхода:
cloud-native PaaS. Azure Logic Apps обменивается сообщениями с IBM MQ через соединитель MQ MQ. Дополнительные соединители обеспечивают быстрый доступ к событиям, данным и действиям в других приложениях, службах, системах, протоколах и платформах. Logic Apps также включает средства для преобразования данных из очереди, если необходимо изменить формат данных, структуру или значения, прежде чем хранить их в Azure или отправлять их на уровень приложений.
на основе виртуальных машин. Запуск сервер интеграции с узлами Майкрософт (HIS) на виртуальной машине можно использовать компонент интеграции обмена сообщениями, который подключается к IBM MQ. Вы управляете процессом преобразования данных путем создания приложения .NET для чтения и записи сообщений. Приложение может сохранять данные в выбранном хранилище данных Azure и выбрать интервал опроса сервера MQ.
Возможные варианты использования
Любой из этих подходов можно использовать для:
Включение слабо связанных приложений, взаимодействующих через системы обмена сообщениями, для использования платформы данных Azure.
Синхронизируйте или реплицируйте данные постепенно между мейнфреймом или системой среднего порядка и Azure.
Поток сообщений о событиях между мейнфреймами или системами среднего порядка и Azure.
Соображения
Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая представляет собой набор руководящих принципов, которые можно использовать для повышения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.
Конфигурация гибридного центра обработки данных имеет смысл для организаций, которые разрабатывают свои облачные стратегии. Подключение к Azure может помочь преодолеть пробелы в центре обработки данных, повысить производительность, улучшить непрерывность бизнес-процессов и расширить охват глобально.
Например, локальные приложения могут взаимодействовать с современной платформой данных в Azure и начать использовать преимущества аналитики больших данных или машинного обучения. Если вам требуется экономичное решение для хранения данных, можно реплицировать данные мейнфрейма, хранить их в Azure и хранить данные в синхронизации. Azure также может добавить масштаб, необходимый для поддержки обработки транзакций в сети (OLTP), пакетной службы и систем приема данных.
Надёжность
Надежность гарантирует, что ваше приложение может выполнять обязательства, которые вы выполняете для клиентов. Дополнительные сведения см. в контрольном списке проверки конструктора длянадежности.
Соглашения об уровне обслуживания Azure (соглашения об уровне обслуживания) описывают ваши гарантии времени простоя. Соглашения об уровне обслуживания для различных компонентов могут отличаться. Например, Azure Logic Apps будет доступен по крайней мере 99,9 процента времени. Параметры конфигурации, которые можно выбрать, могут улучшить соглашение об уровне обслуживания.
Оптимизация затрат
Оптимизация затрат заключается в том, чтобы подумать о способах сокращения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в контрольном списке конструктора дляоптимизации затрат.
В этой статье описывается широкий спектр служб Azure для демонстрации различных возможностей, и вы, вероятно, не будете использовать их для интеграции MQ.
Используйте калькулятор цен Azure для оценки затрат на ресурсы Azure.
Используйте цен на BizTalk, чтобы понять цены на ЕГО решение.
Операционное превосходство
Операционное превосходство охватывает процессы, которые развертывают приложение и продолжают работать в рабочей среде. Дополнительные сведения см. в контрольном списке проверки конструктора дляоперационного превосходства.
В этом примере архитектуры соединители Logic Apps можно использовать для отправки сообщений непосредственно в службы хранилища Azure и azure Data Lake Storage. Например, Logic Apps включает соединитель хранилища BLOB-объектов Azure, как показано на следующем рисунке. Соединитель упрощает хранение больших объемов неструктурированных данных в хранилище BLOB-объектов Azure. Ваши данные становятся доступными из любой точки мира через HTTP или HTTPS. Хранилище BLOB-объектов также поддерживает Azure Data Lake Storage 2-го поколения , решение аналитики больших данных для облака. Данные загружаются в хранилище с помощью службы Azure, например средства AzCopy, фабрики данных Azureили другого решения, которое может подключаться к хранилищу.
Скачайте файл Visio этой архитектуры.
Параметры архитектуры PaaS и IaaS поддерживают множество популярных управляемых служб баз данных. Данные можно загрузить с помощью настраиваемого загрузчика, решения поставщика или управляемой службы, например фабрики данных Azure. К параметрам базы данных относятся:
базе данных SQL Azure. Часть семейства SQL Azure— это интеллектуальная, масштабируемая, реляционная служба баз данных, созданная для облака. Всегда актуально, он включает автоматизированные функции, которые оптимизируют производительность, устойчивость и масштабируемость, чтобы сосредоточиться на создании новых приложений.
Управляемого экземпляра SQL Azure. Часть портфеля служб SQL Azure, Управляемый экземпляр SQL объединяет самые широкие возможности совместимости подсистемы SQL Server со всеми преимуществами полностью управляемого paaS.
SQL Azure на виртуальных машинах Azure. Часть семейства SQL Azure эта экономичность предназначена для подъема и перемещения рабочих нагрузок SQL Server в Azure. Она объединяет производительность, безопасность и аналитику SQL Server с гибкостью и гибридным подключением к Azure с совместимостью кода на 100 процентов. Теперь включает образы SQL Server 2019.
Базе данных Azure для PostgreSQL. Эта полностью управляемая служба реляционных баз данных основана на выпуске сообщества ядра СУБД PostgreSQL с открытым исходным кодом. Вы можете сосредоточиться на инновациях приложений вместо управления базами данных и легко масштабировать рабочие нагрузки.
Базе данных Azure для MySQL. Эта полностью управляемая служба реляционных баз данных основана на выпуске сообщества ядра СУБД MySQL с открытым исходным кодом.
Azure Cosmos DB. Глобально распределенная база данных с несколькими моделями Azure Cosmos DB предоставляет пропускную способность и хранилище, масштабируемое эластично и независимо по любому количеству географических регионов. Это полностью управляемая служба базы данных NoSQL, которая гарантирует задержку однозначных миллисекунда на 99-й процентиль в любом месте мира.
Azure Synapse Analytics. Эта служба аналитики предприятия ускоряет анализ данных в хранилищах данных и системах больших данных.
Эффективность производительности
Эффективность производительности — это возможность масштабирования рабочей нагрузки в соответствии с требованиями, заданными пользователями. Дополнительные сведения см. в контрольном списке проверки конструктора дляпроизводительности.
Перед завершением архитектурного подхода необходимо проверить пропускную способность и производительность уровня преобразования данных. Производительность зависит от нескольких факторов, включая размер сообщения рабочей нагрузки, задержку и используемые соединители. Тестирование помогает найти наиболее совместимую целевую платформу данных.
Участников
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.
Автор субъекта:
- Эшиш Хандельвал | Главный конструктор архитектуры
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Дальнейшие действия
Дополнительные сведения см. в Azure Data Engineering — мейнфрейм & модернизации midrange (datasqlninja@microsoft.com).
Ознакомьтесь с руководствами по миграции базы данных Azure.
Связанные ресурсы
- сквозной платформы данных Azure