Большой объем транзакций для приложений мейнфрейма создает большой объем данных. Azure предлагает убедительный целевой объект для модернизации и миграции данных мейнфрейма. Реляционные базы данных Azure и Базы данных NoSQL обеспечивают масштабируемость, высокий уровень доступности и простоту обслуживания, которая соответствует или превышает уровень среды мейнфреймов. Если вы хотите удалить рабочую нагрузку мейнфрейма и сохранить данные в хранилище с низкой стоимостью, Azure предоставляет варианты.
Перенос рабочих нагрузок из мейнфрейма в Azure в рамках реформирования приложения или рефакторинга обычно требует миграции данных в большом масштабе. LibER*IRIS в mLogica предоставляет проверенное решение для миграции массовых данных из мейнфрейма в Azure. Решение работает в большом масштабе для переноса корпоративных рабочих нагрузок. В этой статье показано, как перенести данные мейнфрейма IBM z/OS с высокой точностью в Azure.
mLogica LIBER*IRIS и его логотипы являются товарными знаками своей компании. Никакое подтверждение не подразумевается использованием этих меток.
Архитектура
На следующей схеме показано, как mLogica LIBER*IRIS интегрируется с компонентами Azure для переноса данных мейнфрейма в Azure в масштабе.
Скачайте файл Visio для этой архитектуры.
Рабочий процесс
Ниже приведены шаги по переносу данных мейнфрейма в Azure.
- Скопируйте файлы языка определения данных (DDL), файлы описания базы данных (DBD), книги копирования, макеты данных и другие артефакты описания данных в виртуальную машину Azure Linux, настроенную с помощью средств службы миграции данных mLogica с помощью FTPS через безопасную виртуальную частную сеть Azure типа "сеть — сеть" (VPN) или Azure ExpressRoute.
- Кластер миграции данных mLogica Liber*IRIS создает скрипты извлечения данных для запуска на мейнфрейме.
- Используйте FTPS через VPN для передачи скриптов извлечения данных в мейнфрейм. Подключение FTPS преобразует ASCII в формат EBCDIC мейнфрейма.
- Извлеченные скрипты выполняются на мейнфрейме. Они экспортируют данные из нескольких источников в последовательные файлы, где все упакованные десятичные данные распаковываются. Они создают скрипты загрузки SQL, используемые для загрузки данных в целевую базу данных.
- Последовательные файлы и скрипты загрузки передаются с помощью двоичного SFTP в Хранилище BLOB-объектов Azure. Данные мейнфрейма по-прежнему в формате EBCDIC на данный момент.
- Служба миграции данных mLogica запускает скрипты загрузки для преобразования EBCDIC в ASCII. Скрипты записывают ошибки во время загрузки в служба хранилища Azure. Чтобы сократить затраты, можно использовать две учетные записи хранения: хранить файлы данных на уровне горячего доступа и файлы журналов на уровне холодного доступа.
- Скрипты загружают преобразованные данные asCII из последовательных файлов в целевую реляционную базу данных Azure. Скрипты загрузки включают команды DDL для создания таблиц и других объектов и запросов SQL для загрузки данных в эти объекты. Горизонтальное масштабирование процесса загрузки в кластере для максимальной пропускной способности по мере необходимости. Журналы выполнения и подробные журналы исключений хранятся в Хранилище BLOB-объектов Azure для дальнейшего анализа.
- Служба миграции данных mLogica Liber*IRIS запускает скрипты загрузки для преобразования данных из формата реляционного файла в формат базы данных NoSQL. Эти данные NoSQL можно загрузить в Azure Cosmos DB с помощью API SQL Azure Cosmos DB.
Компоненты
Сеть и удостоверение
- Azure ExpressRoute позволяет расширить локальные сети в Azure через частное подключение с помощью поставщика подключений.
- Azure VPN-шлюз — это шлюз виртуальной сети, используемый для отправки зашифрованного трафика между виртуальной сетью Azure и локальным расположением через Интернет.
- Идентификатор Microsoft Entra — это служба управления удостоверениями и доступом, которую можно синхронизировать с локальным каталогом.
Приложение
- Azure Виртуальные машины предоставляет масштабируемые вычислительные ресурсы по запросу. Кластер миграции данных mLogica выполняется на виртуальных машинах Azure Linux, оптимизированных для производительности сети.
Хранилище
- Хранилище BLOB-объектов Azure предлагает высокодоступное, зашифрованное неактивное, экономичное, высокопроизводительное хранилище с высокой емкостью. Он включает прямой двоичный трафик SFTP из мейнфрейма. Хранилище BLOB-объектов может подключать контейнеры на виртуальных машинах Linux с помощью NFS.
- Службы SQL Azure, База данных Azure для PostgreSQL и База данных Azure для MySQL являются полностью управляемыми службами paaS для SQL Server, PostgreSQL и MySQL. Они предоставляют высокопроизводительные, высокодоступные параметры реляционных данных мейнфрейма, эмулированные нереляционные данные и эмулированные данные метода доступа к виртуальному хранилищу (VSAM).
- Azure Cosmos DB — это база данных Azure NoSQL. Используйте его для переноса источников нереляционных мейнфреймов, таких как система управления информацией (IMS), интегрированная система управления базами данных (IDMS) и адаптируемая система баз данных (ADABAS).
Наблюдение
- Azure Monitor — это комплексное решение для сбора, анализа и использования телеметрии из облачных и локальных сред.
- Application Insights получает данные телеметрии приложения для анализа и представления.
- Журналы Azure Monitor — это функция Azure Monitor, которая собирает и упорядочивает данные журнала и производительности из отслеживаемых ресурсов. Эта функция может объединить данные из нескольких источников в одну рабочую область. К этим источникам относятся журналы платформы из служб Azure, данные журнала и производительности из агентов виртуальных машин, а также данные об использовании и производительности из приложений. Анализ этих источников вместе с помощью сложного языка запросов, который способен быстро анализировать миллионы записей.
- Log Analytics — это функция Azure Monitor. Запросы журналов помогают использовать данные, собранные в журналах Azure Monitor и журналах выполнения скриптов mLogica, которые хранятся в хранилище BLOB-объектов. Мощный язык запросов позволяет объединять данные из нескольких таблиц, объединять большие наборы данных и выполнять сложные операции.
Потенциальные варианты использования
Существует два основных варианта использования для этой рабочей нагрузки:
Рефакторинг рабочей нагрузки или рефакторинг рабочей нагрузки
Перемещение всех данных мейнфрейма, связанных с рабочей нагрузкой, из мейнфрейма в Azure. Эти данные включают базы данных, такие как Db2, IMS и IDMS, и файлы.
Архивирование
Отставите рабочую нагрузку мейнфрейма и сохраните данные в решении хранилища Azure с низкой стоимостью.
Рекомендации
Следуйте этим общим рекомендациям, если у вас нет определенного требования, которое переопределяет их:
- Чтобы уменьшить задержку сети, создайте все ресурсы Azure, упомянутые в этом сценарии в одном регионе.
- Вместо отправки одного большого файла из мейнфрейма в Azure разбиение данных на несколько файлов и их параллельное отправка.
Рекомендации
Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.
Надежность
Надежность гарантирует, что ваше приложение позволит вам выполнить ваши обязательства перед клиентами. Дополнительные сведения см. в контрольном списке проверки конструктора длянадежности.
Устойчивость
Используйте Azure Monitor и Application Insights для мониторинга кластера миграции данных mLogica. Настройте оповещения для упреждающего управления.
Дополнительные сведения об устойчивости в Azure см. в статье "Проектирование надежных приложений Azure".
Availability
В этом примере рабочий процесс описывает миграцию данных в мейнфрейм в Azure для рефакторинга, рефакторинга или архивации рабочей нагрузки. Эта задача дискретна, выполняется несколько раз в течение месячного проекта. Хотя высокий уровень доступности не требуется в этом сценарии, вы можете разработать кластер миграции данных mLogica, чтобы обеспечить высокий уровень доступности.
Службы баз данных Azure поддерживают избыточность зоны. Их можно настроить для отработки отказа, если произошел сбой или во время периода обслуживания.
Безопасность
Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в контрольном списке конструктора длябезопасности. Общие рекомендации по разработке безопасных решений см. в разделе Документация по системе безопасности Azure.
Службы баз данных в поддержка Azure различных вариантах безопасности:
- Шифрование неактивных данных с помощью прозрачного шифрования данных
- Шифрование данных при передаче с помощью TLS
- Шифрование данных при обработке с помощью Always Encrypted с безопасными анклавами
Вы можете управлять проверкой подлинности и доступом в кластере миграции данных mLogica с помощью идентификатора Microsoft Entra. Ресурсы Azure можно настроить для проверки подлинности и авторизации с помощью идентификатора Microsoft Entra и управления доступом на основе ролей.
Данные, передаваемые между кластером миграции данных mLogica и мейнфреймом, шифруются с помощью TLS. Сертификаты TLS можно хранить в Azure Key Vault для повышения безопасности. Данные, передаваемые из мейнфрейма в Хранилище BLOB-объектов Azure, шифруются при передаче с помощью SSH.
Данные и скрипты загрузки мейнфрейма временно хранятся в Хранилище BLOB-объектов Azure. Они шифруются неактивных данных. Данные удаляются из Хранилище BLOB-объектов Azure после завершения миграции.
В этом примере рабочий процесс использует VPN Azure ExpressRoute или VPN типа "сеть — сеть" для частного и эффективного подключения к Azure из локальной среды.
Оптимизация затрат
Оптимизация затрат заключается в том, чтобы подумать о способах сокращения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в контрольном списке конструктора дляоптимизации затрат.
Ниже приведены некоторые возможности оптимизации затрат:
База данных SQL Azure бессерверные автоматически масштабируются, приостанавливаются и возобновляют вычислительные ресурсы на основе действия рабочей нагрузки, чтобы платить только за используемые ресурсы.
Используйте политику жизненного цикла для перемещения данных между уровнями доступа в хранилище Azure.
Если в службе хранилища Azure нет доступа в течение определенного периода времени, переместите данные из более горячего уровня доступа в более холодный. Вы также можете переместить данные из более холодного уровня доступа на архивный уровень доступа.
Используйте Помощник по Azure, чтобы найти неиспользуемые ресурсы. Получите рекомендации по перенастройке или консолидации ресурсов для уменьшения расходов.
Используйте калькулятор цен Azure для оценки стоимости использования компонентов Azure для этого решения.
Операционное превосходство
Операционное превосходство охватывает процессы, которые развертывают приложение и продолжают работать в рабочей среде. Дополнительные сведения см. в контрольном списке проверки конструктора дляоперационного превосходства.
Azure DevOps можно использовать для повторного проектирования приложений мейнфреймов в Azure на каждом этапе разработки программного обеспечения и совместной работы команды. Azure DevOps предоставляет следующие службы:
- Azure Boards. Гибкое планирование, отслеживание рабочих элементов, визуализация и отчеты.
- Azure Pipelines. Платформа, платформа и облачная независимая интеграция и непрерывная доставка (CI/CD) с поддержкой контейнеров или Kubernetes.
- Azure Repos. Размещенные в облаке частные репозитории Git.
- Azure Artifacts. Интегрированное управление пакетами с поддержкой Maven, npm, Python и веб-каналов пакетов NuGet из общедоступных или частных источников.
- Azure Test Plans. Интегрированное решение для планового и исследовательского тестирования.
Эффективность производительности
Эффективность производительности — это возможность масштабирования рабочей нагрузки в соответствии с требованиями, заданными пользователями. Дополнительные сведения см. в контрольном списке проверки конструктора дляпроизводительности.
При переносе нескольких больших независимых наборов данных разверните кластер миграции данных mLogica на нескольких виртуальных машинах, чтобы максимально ускорить загрузку данных.
Вы можете отправлять несколько наборов данных параллельно из мейнфрейма в хранилище BLOB-объектов.
Бессерверные базы данных SQL Azure предоставляют возможность автомасштабирования на основе рабочей нагрузки. Другие базы данных Azure можно увеличить и уменьшить с помощью автоматизации для удовлетворения требований рабочей нагрузки. Дополнительные сведения см. в разделе Автомасштабирование.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующим участником.
Автор субъекта:
Сандип Хандельвал | Старший инженер-архитектор
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.
Следующие шаги
Ознакомьтесь с руководствами по миграции базы данных Azure.
Дополнительные сведения см. в azure Инжиниринг данных — Мейнфрейм и Модернизация Midrange.
- Общие сведения о службе Azure Monitor
- Общие сведения о хранилище BLOB-объектов Azure
- mLogica LIBER*IRIS
- Краткое руководство. Создание виртуальной машины Linux в портал Azure
- Виртуальные машины в Azure
- Вас приветствует Azure Cosmos DB