Идеи решения
В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.
При переносе локального мейнфрейма или приложения среднего порядка в Azure передача данных является основным фактором. В нескольких сценариях модернизации требуется репликация файлов в Azure быстро или поддержание синхронизации между локальными файлами и файлами Azure.
В этой статье описывается несколько процессов передачи файлов в Azure, преобразования и преобразования данных файлов, а также хранения данных в локальной среде и в Azure.
Архитектура
На следующей схеме показаны некоторые параметры репликации и синхронизации локальных файлов с Azure:
Скачайте файл Visio для этой архитектуры.
Поток данных
Передача файлов в Azure:
Самый простой способ передачи файлов локально или в Azure — использовать протокол FTP. На виртуальной машине Azure можно разместить FTP-сервер. Простой язык управления заданиями FTP (JCL) отправляет файлы в Azure в двоичном формате, что важно для сохранения мейнфреймов и средних вычислений и двоичных типов данных. Вы можете хранить передаваемые файлы в локальных дисках, хранилище файлов виртуальной машины Azure или Хранилище BLOB-объектов Azure.
Вы также можете отправлять локальные файлы в хранилище BLOB-объектов с помощью таких средств, как AzCopy.
Соединитель FTP/SFTP Фабрика данных Azure также можно использовать для передачи данных из системы мейнфрейма в хранилище BLOB-объектов. Для этого метода требуется промежуточная виртуальная машина, на которой устанавливается локальная среда выполнения интеграции (SHIR).
Вы также можете найти сторонние средства в Azure Marketplace для передачи файлов из мейнфреймов в Azure.
Оркестрация, преобразование и преобразование данных:
Azure не может считывать файлы кодов кода расширенного двоичного кода (EBCDIC) в дисках виртуальной машины Azure или хранилище BLOB-объектов. Чтобы сделать эти файлы совместимыми с Azure, сервер интеграции узлов (HIS) преобразует их из EBCDIC в американский стандартный код для обмена информацией (ASCII).
Книги копирования определяют структуру данных файлов COBOL, PL/I и языка сборки. ЕГО преобразует эти файлы в ASCII на основе макетов книги копирования.
Перед передачей данных в хранилища данных Azure может потребоваться преобразовать данные или использовать их для аналитики. Фабрика данных может управлять этими действиями extract-transform-load (ETL) и извлечением-преобразованием (ELT) и хранить данные непосредственно в Azure Data Lake Storage.
Для интеграции больших данных Azure Databricks и Azure Synapse Analytics могут выполнять все действия преобразования быстро и эффективно с помощью модуля Apache Spark для выполнения вычислений в памяти.
Хранение данных:
Вы можете хранить передаваемые данные в одном из нескольких доступных режимов хранения Azure в зависимости от ваших требований.
Если нет необходимости в аналитике, Фабрика данных Azure может хранить данные непосредственно в широком спектре вариантов хранения, таких как Data Lake Storage и хранилище BLOB-объектов.
Azure размещает различные базы данных, которые решают различные потребности:
- Реляционные базы данных включают семейство SQL Server и базы данных с открытым кодом, такие как PostgreSQL и MySQL.
- Нереляционные базы данных включают Azure Cosmos DB, быструю, мультимодальную, глобально распределенную базу данных NoSQL.
Просмотрите аналитику и бизнес-аналитику:
Microsoft Fabric — это решение для аналитики с одним интерфейсом, которое ваша организация может использовать для изучения перемещения данных, эксперимента с науками данных и проверки аналитики в режиме реального времени и бизнес-аналитики. Он предлагает полный набор функций, включая озеро данных, проектирование данных и интеграцию данных.
Компоненты
В различных сценариях передачи файлов, интеграции и хранилища используются различные компоненты. Ознакомьтесь с калькулятором цен Azure, чтобы оценить затраты на ресурсы Azure.
Сеть
Локальный шлюз данных — это мост программного обеспечения, которое подключает локальные данные к облачным службам. Шлюз можно установить на выделенной локальной виртуальной машине.
Интеграция и преобразование данных
Поставщик данных для файлов узлов — это компонент HIS , который преобразует файлы страниц кода EBCDIC в ASCII. Поставщик может считывать и записывать записи вне сети в локальном двоичном файле или использовать системную сетевую архитектуру (SNA) или протокол управления передачей или протокол TCP/IP для чтения и записи записей в удаленных наборах данных ibm z/OS или физических файлах i5/OS. Соединители HIS доступны для BizTalk и Azure Logic Apps.
Фабрика данных Azure — это гибридная служба интеграции данных, используемая для создания, планирования и оркестрации рабочих процессов ETL и ELT.
Azure Databricks — это высокопроизводительная платформа на основе Apache Spark, оптимизированная для Azure. Вы можете использовать Databricks для сопоставления входящих данных и обогащения их другими данными, хранящимися в Databricks.
Azure Synapse Analytics — это быстрое и гибкое облачное хранилище данных с архитектурой массовой параллельной обработки (MPP), которую можно использовать для масштабирования, вычислений и хранения данных эластично и независимо.
Базы данных
База данных SQL Azure — это масштабируемая реляционная облачная база данных. База данных SQL Azure постоянно и всегда актуально, с ИИ на базе ИИ и автоматизированными функциями, которые оптимизируют производительность и устойчивость. Параметры бессерверного вычислений и хранилища гипермасштабирования автоматически масштабируйте ресурсы по требованию. С помощью Преимущество гибридного использования Azure вы можете использовать существующие локальные лицензии SQL Server в облаке без дополнительных затрат.
Управляемый экземпляр SQL Azure объединяет самую широкую совместимость ядра СУБД SQL Server со всеми преимуществами полностью управляемой и вечной платформы как службы (PaaS). С помощью Управляемый экземпляр SQL можно модернизировать существующие приложения в масштабе с помощью знакомых инструментов, навыков и ресурсов.
SQL Server в Azure Виртуальные машины поднимает и перемещает рабочие нагрузки SQL Server в облако, чтобы объединить гибкость и гибридное подключение Azure с производительностью, безопасностью и аналитикой SQL Server. Вы можете получить доступ к последним обновлениям и выпускам SQL Server с совместимостью с кодом 100 %.
База данных Azure для PostgreSQL — это полностью управляемая служба реляционной базы данных на основе выпуска сообщества ядра СУБД PostgreSQL с открытым исходным кодом.
База данных Azure для MySQL — это полностью управляемая служба реляционных баз данных на основе выпуска сообщества ядра СУБД MySQL с открытым исходным кодом.
Azure Cosmos DB — это полностью управляемая служба базы данных NoSQL с несколькими моделями для создания и модернизации масштабируемых высокопроизводительных приложений. Azure Cosmos DB масштабирует пропускную способность и хранение эластично и независимо между географическими регионами и гарантирует задержку с однозначными миллисекундами в 99-м процентили доступности в любом месте мира.
Другие хранилища данных
Хранилище BLOB-объектов хранит большие объемы неструктурированных данных, таких как текстовые или двоичные данные, которые можно получить из любого места через HTTP или HTTPS. Хранилище BLOB-объектов можно использовать для общедоступного предоставления данных или хранения данных приложения в частном порядке.
Data Lake Storage — это репозиторий хранилища, который содержит большой объем данных в собственном, необработанном формате. Data Lake Storage обеспечивает масштабирование рабочих нагрузок аналитики больших данных с терабайтами и петабайтами данных. Данные обычно берутся из нескольких разнородных источников и могут быть структурированы, частично структурированы или неструктурированные.
Потенциальные варианты использования
К локальным вариантам репликации файлов и синхронизации относятся:
Подчиненные или вышестоящее зависимости, например если приложения, которые выполняются на мейнфрейме и приложениях, работающих в Azure, должны обмениваться данными с помощью файлов.
Параллельное тестирование повторно размещенных или повторно разработанных приложений в Azure с локальными приложениями.
Тесно связанные локальные приложения в системах, которые не могут быть немедленно исправлены или модернизируются.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.
Основные авторы:
- Эшиш Хандельвал | Главный конструктор архитектуры
- Нитиш Арульдосс | Инженер-архитектор
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Следующие шаги
- Дополнительные сведения см. в команде microsoft SQL Инжиниринг данных.
- Руководства по миграции базы данных Azure