Изменить

Поделиться через


Репликация и синхронизация файлов мейнфреймов в Azure

Фабрика данных Azure
Azure Data Lake
База данных SQL Azure
Хранилище Azure
Виртуальные машины Azure

Идеи решения

В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.

При переносе локального мейнфрейма или приложения среднего порядка в Azure передача данных является основным фактором. В нескольких сценариях модернизации требуется репликация файлов в Azure быстро или поддержание синхронизации между локальными файлами и файлами Azure.

В этой статье описывается несколько процессов передачи файлов в Azure, преобразования и преобразования данных файлов, а также хранения данных в локальной среде и в Azure.

Архитектура

На следующей схеме показаны некоторые параметры репликации и синхронизации локальных файлов с Azure:

На схеме показаны три этапа миграции локальных файлов в Azure: передача, преобразование и преобразование и хранение в постоянном хранилище.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Передача файлов в Azure:

    • Самый простой способ передачи файлов локально или в Azure — использовать протокол FTP. На виртуальной машине Azure можно разместить FTP-сервер. Простой язык управления заданиями FTP (JCL) отправляет файлы в Azure в двоичном формате, что важно для сохранения мейнфреймов и средних вычислений и двоичных типов данных. Вы можете хранить передаваемые файлы в локальных дисках, хранилище файлов виртуальной машины Azure или Хранилище BLOB-объектов Azure.

    • Вы также можете отправлять локальные файлы в хранилище BLOB-объектов с помощью таких средств, как AzCopy.

    • Соединитель FTP/SFTP Фабрика данных Azure также можно использовать для передачи данных из системы мейнфрейма в хранилище BLOB-объектов. Для этого метода требуется промежуточная виртуальная машина, на которой устанавливается локальная среда выполнения интеграции (SHIR).

    • Вы также можете найти сторонние средства в Azure Marketplace для передачи файлов из мейнфреймов в Azure.

  2. Оркестрация, преобразование и преобразование данных:

    • Azure не может считывать файлы кодов кода расширенного двоичного кода (EBCDIC) в дисках виртуальной машины Azure или хранилище BLOB-объектов. Чтобы сделать эти файлы совместимыми с Azure, сервер интеграции узлов (HIS) преобразует их из EBCDIC в американский стандартный код для обмена информацией (ASCII).

      Книги копирования определяют структуру данных файлов COBOL, PL/I и языка сборки. ЕГО преобразует эти файлы в ASCII на основе макетов книги копирования.

    • Перед передачей данных в хранилища данных Azure может потребоваться преобразовать данные или использовать их для аналитики. Фабрика данных может управлять этими действиями extract-transform-load (ETL) и извлечением-преобразованием (ELT) и хранить данные непосредственно в Azure Data Lake Storage.

    • Для интеграции больших данных Azure Databricks и Azure Synapse Analytics могут выполнять все действия преобразования быстро и эффективно с помощью модуля Apache Spark для выполнения вычислений в памяти.

  3. Хранение данных:

    Вы можете хранить передаваемые данные в одном из нескольких доступных режимов хранения Azure в зависимости от ваших требований.

    • Если нет необходимости в аналитике, Фабрика данных Azure может хранить данные непосредственно в широком спектре вариантов хранения, таких как Data Lake Storage и хранилище BLOB-объектов.

    • Azure размещает различные базы данных, которые решают различные потребности:

      • Реляционные базы данных включают семейство SQL Server и базы данных с открытым кодом, такие как PostgreSQL и MySQL.
      • Нереляционные базы данных включают Azure Cosmos DB, быструю, мультимодальную, глобально распределенную базу данных NoSQL.
  4. Просмотрите аналитику и бизнес-аналитику:

    Microsoft Fabric — это решение для аналитики с одним интерфейсом, которое ваша организация может использовать для изучения перемещения данных, эксперимента с науками данных и проверки аналитики в режиме реального времени и бизнес-аналитики. Он предлагает полный набор функций, включая озеро данных, проектирование данных и интеграцию данных.

Компоненты

В различных сценариях передачи файлов, интеграции и хранилища используются различные компоненты. Ознакомьтесь с калькулятором цен Azure, чтобы оценить затраты на ресурсы Azure.

Сеть

Локальный шлюз данных — это мост программного обеспечения, которое подключает локальные данные к облачным службам. Шлюз можно установить на выделенной локальной виртуальной машине.

Интеграция и преобразование данных

  • Поставщик данных для файлов узлов — это компонент HIS , который преобразует файлы страниц кода EBCDIC в ASCII. Поставщик может считывать и записывать записи вне сети в локальном двоичном файле или использовать системную сетевую архитектуру (SNA) или протокол управления передачей или протокол TCP/IP для чтения и записи записей в удаленных наборах данных ibm z/OS или физических файлах i5/OS. Соединители HIS доступны для BizTalk и Azure Logic Apps.

  • Фабрика данных Azure — это гибридная служба интеграции данных, используемая для создания, планирования и оркестрации рабочих процессов ETL и ELT.

  • Azure Databricks — это высокопроизводительная платформа на основе Apache Spark, оптимизированная для Azure. Вы можете использовать Databricks для сопоставления входящих данных и обогащения их другими данными, хранящимися в Databricks.

  • Azure Synapse Analytics — это быстрое и гибкое облачное хранилище данных с архитектурой массовой параллельной обработки (MPP), которую можно использовать для масштабирования, вычислений и хранения данных эластично и независимо.

Базы данных

  • База данных SQL Azure — это масштабируемая реляционная облачная база данных. База данных SQL Azure постоянно и всегда актуально, с ИИ на базе ИИ и автоматизированными функциями, которые оптимизируют производительность и устойчивость. Параметры бессерверного вычислений и хранилища гипермасштабирования автоматически масштабируйте ресурсы по требованию. С помощью Преимущество гибридного использования Azure вы можете использовать существующие локальные лицензии SQL Server в облаке без дополнительных затрат.

  • Управляемый экземпляр SQL Azure объединяет самую широкую совместимость ядра СУБД SQL Server со всеми преимуществами полностью управляемой и вечной платформы как службы (PaaS). С помощью Управляемый экземпляр SQL можно модернизировать существующие приложения в масштабе с помощью знакомых инструментов, навыков и ресурсов.

  • SQL Server в Azure Виртуальные машины поднимает и перемещает рабочие нагрузки SQL Server в облако, чтобы объединить гибкость и гибридное подключение Azure с производительностью, безопасностью и аналитикой SQL Server. Вы можете получить доступ к последним обновлениям и выпускам SQL Server с совместимостью с кодом 100 %.

  • База данных Azure для PostgreSQL — это полностью управляемая служба реляционной базы данных на основе выпуска сообщества ядра СУБД PostgreSQL с открытым исходным кодом.

  • База данных Azure для MySQL — это полностью управляемая служба реляционных баз данных на основе выпуска сообщества ядра СУБД MySQL с открытым исходным кодом.

  • Azure Cosmos DB — это полностью управляемая служба базы данных NoSQL с несколькими моделями для создания и модернизации масштабируемых высокопроизводительных приложений. Azure Cosmos DB масштабирует пропускную способность и хранение эластично и независимо между географическими регионами и гарантирует задержку с однозначными миллисекундами в 99-м процентили доступности в любом месте мира.

Другие хранилища данных

  • Хранилище BLOB-объектов хранит большие объемы неструктурированных данных, таких как текстовые или двоичные данные, которые можно получить из любого места через HTTP или HTTPS. Хранилище BLOB-объектов можно использовать для общедоступного предоставления данных или хранения данных приложения в частном порядке.

  • Data Lake Storage — это репозиторий хранилища, который содержит большой объем данных в собственном, необработанном формате. Data Lake Storage обеспечивает масштабирование рабочих нагрузок аналитики больших данных с терабайтами и петабайтами данных. Данные обычно берутся из нескольких разнородных источников и могут быть структурированы, частично структурированы или неструктурированные.

Потенциальные варианты использования

К локальным вариантам репликации файлов и синхронизации относятся:

  • Подчиненные или вышестоящее зависимости, например если приложения, которые выполняются на мейнфрейме и приложениях, работающих в Azure, должны обмениваться данными с помощью файлов.

  • Параллельное тестирование повторно размещенных или повторно разработанных приложений в Azure с локальными приложениями.

  • Тесно связанные локальные приложения в системах, которые не могут быть немедленно исправлены или модернизируются.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Основные авторы:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги