Изменить

Поделиться через

Репликация мейнфреймов и средних данных в Azure с помощью RDRS

Azure Database Migration Service
Функции Azure
Azure Logic Apps
База данных SQL Azure
Хранилище Azure

Реплицирование и синхронизация данных ракет® (RDRS), ранее tcVISION, — это решение для репликации данных, разработанное Rocket Software. RDRS предоставляет решение интеграции с мейнфреймами IBM для репликации данных мейнфрейма, синхронизации данных, миграции данных и отслеживания измененных данных (CDC) для нескольких служб платформы данных Azure.

Архитектура

Схема архитектуры потока данных для переноса мейнфрейма на платформу данных Azure.

Скачайте файл Visio для этой архитектуры.

Рабочий процесс

  1. Решение репликации данных RDRS поддерживает CDC из многих баз данных на основе мейнфреймов, включая IBM Db2, IBM Information Management System (IMS), Adabas for Software AG, CA Datacom и Computer Associates Integrated Управление данными System (CA IDMS). RDRS предоставляет агенты CDC на основе журналов для записи данных об изменениях на уровне записи. Этот CDC на основе журнала ставит незначительные издержки на рабочие базы данных-источник.

  2. RDRS поддерживает CDC из файлов метода доступа к виртуальному хранилищу (VSAM).

  3. Задача начинается с мейнфрейма. Запущенные задачи или stCs создаются на мейнфрейме в рамках установки программного обеспечения RDRS. Два важных stcs:

    • Агент записи, который записывает измененные данные из источника.
    • Примените агент, который использует api управления базами данных (СУБД) для эффективной записи измененных данных в целевой объект.

    Примечание.

    Для Db2 z/OS RDRS также предлагает решение CDC без агента путем определяемого пользователем типа Db2 (UDT), который не нуждается в stCs.

  4. Открытый диспетчер платформ (OPM) выступает в качестве сервера репликации. Этот сервер содержит служебные программы для автоматического сопоставления данных для создания метаданных для источников и целевых объектов. Он также содержит набор правил для извлечения данных из источника. Сервер преобразует и обрабатывает данные для целевых систем и записывает данные в целевые объекты. Этот компонент можно установить в операционных системах Linux, Unix и Windows.

  5. Панель мониторинга RDRS предоставляет администрирование, проверку, операцию, управление и мониторинг процессов обмена данными. Служебные программы командной строки RDRS автоматизируют процессы обмена данными и управляют автоматическими операциями процесса синхронизации данных.

  6. Для применения агента RDRS используются API, относящиеся к СУБД. Эти API эффективно реализуют изменения данных в режиме реального времени в сочетании с технологией CDC в источнике для целевых служб данных Azure, то есть базы данных и файлов.

  7. RDRS поддерживает прямую потоковую передачу измененных данных в Центры событий Azure или Kafka. Затем Azure Logic Apps, функция или пользовательское решение в виртуальной машине обрабатывает эти события.

  8. Целевые объекты платформы данных Azure, поддерживаемые RDRS, включают База данных SQL Azure, База данных Azure для PostgreSQL, База данных Azure для MySQL, Azure Cosmos DB, Azure Data Lake Storage и другие.

  9. Данные, которые приземляются на платформе данных Azure, используются службами Azure или другими платформами, разрешенными для просмотра. Примерами являются Power BI, Azure Synapse Analytics или пользовательские приложения.

  10. RDRS может отменить синхронизацию изменений записи с платформы базы данных Azure (например, База данных SQL, База данных Azure для MySQL, База данных Azure для PostgreSQL или Data Lake Storage) и записать их обратно в уровень данных мейнфрейма.

  11. Резервные копии и выгрузки базы данных мейнфрейма копируются на виртуальную машину Azure с помощью RDRS для массовой загрузки.

  12. Массовая загрузка RDRS выполняет начальную целевую загрузку базы данных с помощью исходных данных мейнфрейма. Исходные данные можно считывать непосредственно из хранилища данных мейнфрейма или из резервного копирования или выгрузки файла мейнфрейма. Массовая нагрузка обеспечивает автоматическое преобразование типов данных мейнфрейма, таких как расширенный код закодированного десятичного обмена (EBCDIC) упакованных полей. Используйте данные резервного копирования или выгрузки для оптимальной производительности вместо прямого чтения базы данных мейнфрейма. Вы не должны считывать базу данных напрямую, так как перенос данных выгрузки или резервного копирования на необходимую виртуальную машину Azure RDRS и использование загрузчиков собственных баз данных сводит к минимуму количество входных и выходных данных сети (ввода-вывода) и сокращает время загрузки.

Компоненты

Решение использует следующие компоненты.

Сетевые компоненты и компоненты удостоверений

  • Azure ExpressRoute: ExpressRoute позволяет расширить локальные сети в Microsoft Cloud через частное подключение, которое обрабатывается поставщиком подключений. ExpressRoute можно использовать для установления подключений к облачным службам, таким как Microsoft Azure и Microsoft 365.
  • Azure VPN-шлюз. VPN-шлюз — это определенный тип шлюза виртуальной сети, который отправляет зашифрованный трафик между виртуальной сетью Azure и локальным расположением через общедоступный Интернет.
  • Идентификатор Microsoft Entra: Идентификатор Microsoft Entra — это служба управления удостоверениями и доступом, которую можно синхронизировать с локальным каталогом.

Компоненты приложения

  • Logic Apps: Logic Apps помогает создавать и запускать автоматически повторяющиеся задачи и процессы по расписанию. Службы можно вызывать внутри и за пределами Azure, например конечные точки HTTP или HTTPS, отправлять сообщения в службы Azure, такие как служба хранилища Azure и Служебная шина Azure, или отправлять файлы в общую папку.
  • Функции Azure: Функции Azure позволяет запускать небольшие части кода, называемые функциями, не беспокоясь о инфраструктуре приложений. При использовании функций облачная инфраструктура предоставляет актуальные серверы, которые необходимо поддерживать в масштабе приложения.
  • Azure Виртуальные машины. Виртуальные машины Azure доступны по запросу, масштабируемые вычислительные ресурсы. Виртуальная машина Azure обеспечивает гибкость виртуализации и устраняет требования к обслуживанию физического оборудования. Виртуальные машины Azure работают как в системах Windows, так и в Linux.

Компоненты хранилища

  • Хранилище. Хранилище предлагает неуправляемые решения для хранения, такие как Хранилище BLOB-объектов Azure, хранилище таблиц Azure, хранилище очередей Azure и Файлы Azure. Файлы Azure особенно полезно для репроектированных решений мейнфреймов и предоставляет эффективную надстройку с управляемым хранилищем SQL.
  • SQL Azure: SQL Azure — это полностью управляемая платформа как услуга (PaaS) для SQL Server из Azure. Реляционные данные можно перенести и эффективно использовать с другими компонентами Azure, такими как Управляемый экземпляр SQL Azure, виртуальные машины SQL Azure, База данных Azure для PostgreSQL, База данных Azure для MariaDB и База данных Azure для MySQL.
  • Azure Cosmos DB: Azure Cosmos DB — это предложение no-SQL, которое можно использовать для переноса не табличных данных из мейнфрейма.

Компоненты мониторинга

  • Azure Monitor. Azure Monitor — это комплексное решение для сбора, анализа и использования телеметрии из облачных и локальных сред.
  • Application Insights: Application Insights анализирует и представляет данные телеметрии приложений.
  • Журналы Azure Monitor. Журналы Azure Monitor — это функция Monitor, которая собирает и упорядочивает данные журнала и производительности из отслеживаемых ресурсов. Вы можете объединить данные из нескольких источников, таких как журналы платформы из служб Azure, данные журналов и производительности агентов виртуальных машин, а также данные об использовании и производительности из приложений, в одну рабочую область для анализа с помощью сложного языка запросов, который позволяет быстро анализировать миллионы записей.
  • Log Analytics: Log Analytics — это средство в портал Azure. Запросы журналов можно использовать для получения аналитических сведений о данных, собранных в журналах Azure Monitor. Log Analytics использует мощный язык запросов, который позволяет объединять данные из нескольких таблиц, агрегировать большие наборы данных и выполнять сложные операции с минимальным кодом.

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат". Чтобы оценить затраты на реализацию этого решения, используйте Калькулятор цен Azure.

Надежность

Надежность гарантирует, что ваше приложение позволит вам выполнить ваши обязательства перед клиентами. Дополнительные сведения см . в контрольном списке проверки конструктора для обеспечения надежности.

  • Настройте RDRS OPM на виртуальных машинах Azure, развернутых в отдельных зонах доступности, чтобы обеспечить высокий уровень доступности. В случае сбоев активируется дополнительный OPM RDRS, а дополнительный OPM RDRS передает IP-адрес диспетчеру мейнфреймов RDRS. Затем мейнфрейм взаимодействует с новым OPM RDRS, который продолжает обрабатываться в следующей логической точке перезапуска с помощью сочетания логических единиц работы (LUW) и перезапуска файлов.
  • Создайте службы базы данных Azure для поддержки избыточности зоны, чтобы они могли выполнить отработку отказа на дополнительный узел, если произошел сбой или запланированное время обслуживания.
  • Используйте журналы Azure Monitor и Application Insights для мониторинга работоспособности ресурса Azure. Вы можете настроить оповещения в целях упреждающего управления.

Масштабируемость

  • Настройте масштабирование RDRS для обработки CDC, выполнив несколько параллельных потоков репликации. Сначала проанализируйте файлы, включенные в логические транзакции. Эти файлы должны обрабатываться вместе в последовательности. Процесс CDC RDRS обеспечивает целостность каждой логической транзакции. Например, наборы таблиц, которые не участвуют в общих транзакциях, могут быть разделены на параллельные задачи путем создания нескольких скриптов обработки.
  • RDRS может выполнять параллельную параллельную массовую загрузку одновременно на одной виртуальной машине Azure или на нескольких виртуальных машинах Azure, что обеспечивает горизонтальное масштабирование. Выполнение операций быстрой массовой загрузки для больших таблиц путем разделения процесса на несколько задач с помощью произвольных интервалов или фильтрации строк. Фильтрация строк может использовать ключ, ключ секции, дату и другие фильтры.
  • Уровень бессерверных вычислений База данных SQL предоставляет параметр автоматического масштабирования на основе рабочей нагрузки. Другие базы данных Azure можно увеличить и уменьшить масштаб с помощью автоматизации для удовлетворения требований рабочей нагрузки.
  • Дополнительные сведения см. в рекомендациях по автомасштабированию в Azure.

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в контрольном списке проверки конструктора для безопасности.

  • Управление проверкой подлинности и доступом для RDRS с помощью идентификатора Microsoft Entra.
  • Шифрование передачи данных между продуктами RDRS (мейнфрейм в Azure) с помощью TLS.
  • Используйте ExpressRoute или VPN типа "сеть — сеть" для частного и эффективного подключения к Azure из локальной среды.
  • Проверка подлинности ресурсов Azure с помощью идентификатора Microsoft Entra ID и управления разрешениями с помощью управления доступом на основе ролей (RBAC).
  • Используйте службы баз данных в Azure для поддержки различных параметров безопасности, таких как шифрование неактивных данных (TDE), шифрование данных при передаче (TLS) и шифрование данных во время обработки, поэтому данные всегда шифруются.
  • Рекомендации по проектированию безопасных решений см. в документации по безопасности Azure.
  • Сведения о базовых показателях безопасности см. в разделе "Базовые показатели безопасности" для Azure.

Подробности сценария

Мейнфреймы — это серверы, обрабатывающие большое количество транзакций. Приложения мейнфреймов создают и потребляют большие объемы данных каждый день. Общедоступные облака обеспечивают эластичность, оптимизацию затрат, простоту использования и простую интеграцию. Многие приложения x86 и mainframe перемещаются в облако, поэтому организации должны иметь хорошо разработанную стратегию интеграции данных в облако.

Этот сценарий интегрирует уровень данных IBM Z (mainframe) с облачной платформой данных Azure с помощью RDRS , предоставляемых Rocket Software.

Потенциальные варианты использования

Это решение идеально подходит для крупномасштабных миграций данных на платформу данных Azure. Рассмотрите этот сценарий для следующих вариантов использования:

  • Полная миграция уровня данных мейнфрейма. В этом случае клиент хочет переместить все данные Db2, IMS, IDMS, files и другие данные из мейнфрейма на платформу данных Azure.
  • Сосуществование мейнфреймов и приложений на основе Azure. В этом случае клиенту требуется поддержка двунаправленной синхронизации между мейнфреймом и платформой данных Azure.
  • Архивация. В этом случае клиент хочет хранить данные для аудита и соответствия требованиям, но не хочет часто получать доступ к этим данным. Хранилище предоставляет решение с низкой стоимостью для хранения архивных данных.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Основные авторы:

Другие участники:

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги