Файл Мейнфрейма и резервное копирование лент в Azure с помощью Luminex

В этой статье представлено решение для использования продуктов Luminex для передачи данных мейнфрейма в Azure и из Azure для удовлетворения потребностей резервного копирования, архивации и других бизнес-потребностей. Ключевые компоненты решения включают платформу Luminex mainframe data integration (MDI) платформы Cloud Data Sharing и платформу Luminex mainframe virtualframe (MVT) платформы CloudTAPE.

Apache® и Apache Kafka являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Никакое одобрение Apache Software Foundation не подразумевается с помощью этих меток.

Архитектура

Скачайте файл Visio для этой архитектуры.

Поток данных

1. На мейнфрейме вторичные устройства хранения включают устройства хранения прямого доступа (DASD) и последовательные устройства хранения (SASD).

2. DaSD подключены к мейнфрейму.

3. Лента — это тип SASD, подключенный к мейнфрейму как внешнему хранилищу.

4. Платформа MDI отправляет сведения, которые могут храниться в файлах в Azure. Примерами являются данные средств управления системой (SMF), файлы метода доступа к виртуальному хранилищу (VSAM), последовательные файлы и группы данных создания (GDG). Оборудование MDI, установленное в центре обработки данных, включает контроллеры Luminex Channel Gateway X (CGX) и серверы MDI Luminex.

5. MVT CloudTAPE обеспечивает архивацию и резервное копирование ленточных лент. Оборудование MVT, установленное в центре обработки данных, включает контроллеры Luminex CGX и серверы CloudTAPE.

6. MDI и MVT используют устройства контроллера CGX, основанные на протоколе Fibre Connection (FICON). Эти устройства подключаются непосредственно к мейнфрейму. Для передачи данных не требуются специальные подсистемы system z zIIP. На мейнфрейме нет агента Luminex, и для обмена данными между мейнфреймами и устройствами Luminex не требуется открывать порты TCP/IP.

7. Данные мейнфрейма передаются в Azure через частное безопасное подключение Azure ExpressRoute.

8. Luminex MDI zKonnect и другие службы передают данные файлов для анализа больших данных в Azure. Например, системные данные, такие как журналы мейнфрейма и данные SMF, передаются в Центры событий Azure. Службы Azure передают данные, а затем обрабатывают, преобразовывать и проектируя их.

9. MDI использует устройства Luminex CGX для обработки, передачи и кэширования данных файлов. Доступны следующие два параметра.

   • Операторы языка управления заданиями (JCL) отправляются. Luminex предоставляет инструкции, которые указывают сведения о входных файлах, назначении Azure, ключах и сведениях о безопасности, преобразовании данных и форматах облачных файлов. Организации, использующие процедуру Luminex для передачи данных, могут использовать собственные инструкции JCL. После завершения задания возвращается код нулевого значения, указывающий на успешную передачу.
   • Задание отслеживается из пользовательского интерфейса MDI. Команда операций может использовать сочетание планировщика, мейнфрейма и пользовательского интерфейса MDI для мониторинга и устранения неполадок заданий. Пользовательский интерфейс MDI предоставляет такие сведения, как имя задания, идентификатор задания, пользователь или группа, время начала и истекшее время. Механизмы повторных попыток MDI взаимодействуют, если передача файлов изначально не выполнена.

   Задание можно настроить для кэширования файлов в локальном хранилище перед передачей. После завершения передачи удаляется локальное хранилище.

10. MVT CloudTAPE отправляет данные мейнфрейма в хранилища данных Azure, такие как Хранилище BLOB-объектов Azure, Файлы Azure и Azure Data Lake Storage. Данные можно структурировать и неструктурировать. Передача не использует инструкции JCL. Вместо этого MVT CloudTAPE перемещает или реплицирует ленты мейнфрейма в формате IBM 3490 или 3590, которые эмулируют контроллеры CGX.

11. Службы Azure предоставляют возможности обработки данных, хранилища, аналитики и визуализации.

Компоненты

• ExpressRoute расширяет локальные сети в облаке Майкрософт. ExpressRoute использует поставщик подключений для установления частных подключений между локальными данными и облачными службами Майкрософт.

• Файлы Azure — это служба, которая является частью службы хранилища Azure. Служба файлов Azure предлагает полностью управляемые общие файловые ресурсы в облаке. Общие папки Azure доступны через стандартный протокол SMB. Это решение использует Luminex MDI и MVT для передачи файлов мейнфрейма в Файлы Azure.

• Хранилище BLOB-объектов — это служба, входящая в состав службы хранилища. Хранилище BLOB-объектов обеспечивает оптимизированное облачное хранилище объектов для больших объемов неструктурированных данных. В этом решении хранилище BLOB-объектов позволяет архивировать горячие и холодные основные данные.

• В этом решении продукты Luminex могут передавать данные мейнфрейма в несколько баз данных Azure:

  • Sql Azure — это семейство баз данных Azure, на которых работает подсистема SQL Server.
  • База данных SQL Azure — это полностью управляемая платформа как служба (PaaS), которая входит в семейство SQL Azure. С помощью автоматизированных функций, реализованных на основе искусственного интеллекта, База данных SQL Azure выполняет функции СУБД, такие как обновление, исправление, резервное копирование и мониторинг.
  • База данных Azure для PostgreSQL — это полностью управляемая служба реляционной базы данных, основанная на выпуске сообщества ядра СУБД PostgreSQL с открытым исходным кодом.
  • База данных Azure для MySQL — это полностью управляемая служба реляционных баз данных на основе СУБД MySQL с открытым кодом (Community Edition).

• Центры событий — это полностью управляемая платформа потоковой передачи больших данных. В этом решении Luminex zKonnect передает данные мейнфрейма в Центры событий практически в режиме реального времени. Центры событий предоставляют конечную точку, совместимую с API-интерфейсами производителя и потребителя Apache Kafka. Большинство существующих клиентских приложений Apache Kafka используют эти API в качестве альтернативы запуску собственных кластеров Apache Kafka.

• Power BI — это набор программных служб и приложений, где можно посмотреть данные аналитики. Это решение использует данные мейнфрейма, поступающие из различных источников и имеющие различные структуры. Power BI используется для того, чтобы превратить данные в последовательные, визуально иммерсивные и интерактивные аналитические сведения.

• Data Lake Storage позволяет выполнять аналитику больших данных с низкой стоимостью, многоуровневыми хранилищами и высокой пропускной способностью.

Альтернативные варианты

• Вместо использования сторонних решений для передачи данных можно использовать решение Майкрософт. Сведения о передаче данных из мейнфреймов и систем среднего порядка в Azure см. в статье "Перемещение архивных данных из систем мейнфреймов в Azure". Дополнительные сведения о конкретных решениях Майкрософт см. в следующих ресурсах:

  • Копирование файлов из мейнфрейма в Azure с помощью соединителя FTP Фабрика данных Azure
  • Передача файлов мейнфреймов в Azure с помощью SFTP
  • Передача набора данных мейнфрейма в Хранилище BLOB-объектов Azure с помощью JCL мейнфрейма

• Чтобы устранить любые задержки, подключение, технологические и нормативные рекомендации, вы можете передать данные в Azure Stack вместо Azure. Azure Stack Hub предлагает набор облачных служб хранилища. Дополнительные сведения см. в разделе хранилища Azure Stack Hub: различия и рекомендации.

• Вы также можете использовать устройства Luminex MVT и CGX для мейнфреймов IBM z/VM и z/VSE.

• При передаче лент в Azure их можно сжать и зашифровать, чтобы безопасно передавать данные на всех этапах. Эту функцию можно легко настроить.

• Это решение также можно использовать для двунаправленного обмена данными. Вы можете вспомнить ленточные данные в мейнфрейм и преобразовать его в исходную форму.

  • При использовании MDI процесс аналогичен передаче в Azure. Вы отправляете инструкции JCL, которые предоставляют особенности обратной передачи. Данные можно передавать как ленты или как последовательные файлы. Конфигурация JCL указывает формат.
  • При использовании MVT CloudTAPE данные автоматически отзываются при запросе из мейнфрейма.

• Устройства Luminex CGX также поддерживают подключение канала Enterprise Systems Connection (ESCON ). Существующее программное обеспечение резервного копирования мейнфреймов видит шлюз канала как распознавающее ленточное устройство мейнфрейма. В результате никаких изменений программного обеспечения не требуется.

• Это решение использует ExpressRoute для передачи данных из центра обработки данных в Azure. Мы рекомендуем этот подход, но вы также можете использовать Интернет для передачи данных.

Подробности сценария

Физическое хранилище мейнфрейма может находиться на процессоре мейнфрейма или может быть внешним для мейнфрейма. Хранилище процессора, которое похоже на память для мейнфрейма, находится на процессоре. Диски и ленточные диски являются примерами внешнего хранилища. Наборы данных в хранилище организованы в различные логические записи и блочные структуры. Параметры, такие как организация набора данных (DSORG) и формат записи (RECFM), определяют эти структуры данных. Записи в наборе данных можно фиксировать или изменять по длине, и они могут храниться в двоичном или текстовом формате.

Вторичные устройства хранилища, такие как DASD и SASD, хранят данные, которые часто или редко обращаются.

• DASD используются для немедленного расположения данных и получения. С прямым доступом можно считывать или записывать данные, перейдя непосредственно в определенное физическое расположение на устройстве. В результате DASD являются быстрыми и эффективными.
• SASD, такие как ленты, по сути, медленнее, чем DASD. Чтобы получить доступ к ленточным данным, вы начинаете с одного расположения, а затем проходите по последовательным расположениям, пока не найдете нужные данные. Мейнфреймы используют физические ленточные и виртуальные библиотеки (VTLs), которые также называются виртуальными лентами. В настоящее время виртуальные ленты предпочтительнее физических лент.

Тип используемого хранилища зависит от ваших потребностей. Многие организации нуждаются в холодном хранилище для соответствия требованиям, нормативных требований, отчетности, аудита или других целей. В некоторых организациях есть политики хранения данных, которые требуют хранения данных в течение почти 100 лет. Примерами таких данных являются копии рецептов, записей пациентов, истории вознаграждения клиентов и других сведений. Данные, которые вы храните в долгосрочной перспективе, в основном высокий объем и доступ к ним редко. Долгосрочное хранилище обычно стоит меньше активного хранилища, к которому обычно обращается несколько раз в день и часто обновляется. Рекомендации по безопасности также влияют на выбор хранилища. Кибератаки являются постоянной угрозой.

Azure предлагает различные решения для хранения и является проверенным целевым местом для хранения, резервного копирования и долгосрочных потребностей архивирования. Холодное хранилище можно использовать для редкого доступа к данным и горячему хранилищу для часто доступных данных. Структуры файлов мейнфрейма, такие как наборы данных VSAM, неструктурированные файлы и ленточные данные, сопоставляются с конструкциями данных Azure в базах данных, структурированных файлах и хранилищем BLOB-объектов. Хранилище Azure может хранить данные с интенсивным объемом с точки зрения затрат, масштабируемости, репликации и самостоятельной устойчивости. Службы Azure также могут помочь получить данные, визуализировать данные и получить аналитические сведения из данных.

Решение в этой статье использует платформы Luminex MDI и MVT для передачи данных мейнфрейма в Azure и из Azure для удовлетворения резервных копий, архивации и других бизнес-потребностей.

• Luminex MDI — это платформа передачи данных и совместного обработки. MDI использует устройства Luminex CGX для обработки, передачи и кэширования файлов мейнфреймов. MDI обеспечивает безопасный и эффективный обмен данными и рабочими нагрузками между мейнфреймами z/OS и распределенными системами. Используя продукты MDI, такие как совместное использование облачных данных, передача больших данных и zKonnect, можно переместить файлы в Azure для резервного копирования, архивации, нормализации данных, объединения и анализа. Вы можете настроить переданные данные для поступления в формате ASCII или EBCDIC в Azure. Совместное использование облачных данных MDI позволяет перенести файлы мейнфреймов, такие как файлы VSAM, последовательные файлы и группы GDG в Azure. MDI также поддерживает интеграцию со службами обмена сообщениями Azure. Приложения, размещенные в Azure, могут использовать файлы мейнфрейма, хранящиеся в Azure для модернизации, снижения задержки и повышения производительности.

• Luminex MVT — это платформа архивации ленты и резервного копирования. MVT использует программное обеспечение единиц управления Luminex CGX, которое эмулирует мейнфреймы 3490 и 3590 ленточных накопителей, чтобы использовать существующие ленточные приложения без изменений. Среда CGX предоставляет набор продуктов для шифрования лент, хранилища, миграции, репликации, извлечения, аварийного восстановления и высокой доступности. В частности, продукт CloudTAPE предоставляет способ переноса ленточных данных в Azure.

MDI и MVT используют высокоскоростные устройства контроллера CGX для подключения непосредственно к мейнфрейму. Эти контроллеры основаны на FICON, транспортном протоколе, который поддерживают серверы мейнфреймов и подключенные контроллеры хранилища корпоративного класса. FICON использует Fibre Channel в качестве базового транспортного протокола. Контроллеры CGX также используют преимущества сетевого хранилища (NAS) и внутренних систем хранения для обеспечения высокого уровня производительности, масштабируемости, надежности, безопасности и доступности, которые требуются предприятиям. С помощью транспорта FICON ввод-вывод можно совместно использовать в нескольких системах. FICON обеспечивает оптимальную эффективность протокола. Она также помогает обеспечить целостность данных и безопасность, даже при увеличении расстояния между серверами и устройствами хранения.

При использовании MDI и MVT для передачи данных не требуются специальные подсистемы zIIP, а для передачи данных не требуется открывать порты TCP/IP, чтобы обеспечить связь между мейнфреймом и устройствами Luminex. Вы подключаете устройства Luminex CGX непосредственно к мейнфрейму так же, как и любое другое устройство хранилища мейнфреймов. При необходимости существующее устаревшее программное обеспечение резервного копирования и ленточного управления может выполняться параллельно. Для MVT CloudTAPE и MDI Cloud Data Sharing потребление миллионов инструкций в секунду (MIPS) минимально, так как передача использует упрощенные процессы.

Потенциальные варианты использования

Многие сценарии могут воспользоваться этим решением. Возможности включают организации со следующими целями:

• Минимизация усилий по управлению лентой и обслуживанию.
• Модернизация устаревших рабочих нагрузок.
• Поиск решений резервного копирования и архивации.
• Расширение модернизации мейнфрейма путем перемещения лент мейнфреймов в облако. Организации могут иметь эту цель, если они хотят уменьшить свой центр обработки данных, но не отказаться от него. Если организация не использует ленту мейнфрейма в значительной степени, лента может быть подходящим кандидатом для миграции.
• Преобразование перенесенных данных в другой формат облачного хранилища, например преобразование данных EBCDIC в ASCII, ФАЙЛЫ VSAM в JSON и последовательные данные в формат CSV.
• Передача метаданных ленты в метаданные службы хранилища Azure.
• Предоставление новых и рефакторингированных приложений, размещенных в Azure, с простым доступом к данным.
• Расширение своего облачного пространства.
• Легко отслеживать, отображать и сообщать о файлах мейнфреймов и ленточных данных, а также интегрировать эти данные со службами Azure.
• Монетизация текущих и исторических разблокированных данных мейнфрейма и их использование в облачных средствах бизнес-аналитики и аналитики.

Если вы реализуете аналогичное решение и хотите поделиться своим опытом или отзывом, обратитесь в группу microsoft Legacy Modernization Azure Core Engineering (ACE).

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Надежность

Надежность гарантирует, что ваше приложение позволит вам выполнить ваши обязательства перед клиентами. Дополнительные сведения см. в контрольном списке проверки конструктора длянадежности.

• Это решение можно развернуть в нескольких регионах и реализовать георепликацию на уровне данных. Группы автоматической отработки отказа Azure также помогают обеспечить защиту данных.
• Кластеризованные контроллеры CGX могут предоставлять решение для восстановления active-active во время сбоя.
• Матрица синхронной ленты MVT обеспечивает надежность в нескольких центрах обработки данных. Его инфраструктура настраивается на сбои без прерываний.
• Репликация Luminex может реплицировать данные в один или несколько целевых объектов. Целевой объект может быть одним или несколькими сайтами аварийного восстановления, каждый из которых имеет мейнфрейм и контроллер CGX, установленный в свойстве. Вы также можете предварительно настроить целевой объект с помощью георепликации Azure. Если вы используете Azure и другие частные или общедоступные облака, вы также можете использовать гибридную стратегию для аварийного восстановления. По сути, можно использовать стратегию репликации, которая лучше всего соответствует вашим требованиям. Примеры включают один к одному, один ко многим, многие ко многим и каскадные стратегии.

Безопасность

Безопасность обеспечивает гарантии от преднамеренного нападения и злоупотребления ценными данными и системами. Дополнительные сведения см. в контрольном списке конструктора длябезопасности.

• Полностью управляемое хранилище в этом решении устраняет проблемы, связанные с безопасностью физических носителей. Примерами являются повреждения или несанкционированный доступ, которые могут возникнуть при доставке физических лент в транспортных средствах.
• Luminex CGSafe обеспечивает сжатие и шифрование ленты. Этот продукт входит в семейство MVT и входит в состав CloudTAPE. CGSafe шифрует и сжимает ленты во время приема, неактивных и передаваемых данных.
• При использовании совместного использования облачных данных MDI файлы отправляются по протоколу HTTPS с помощью SSL. В Azure можно зашифровать неактивных файлов.
• Так как решение использует подключение FICON и ESCON, вам не нужно открывать порты для передачи данных.

Оптимизация затрат

Оптимизация затрат заключается в том, чтобы подумать о способах сокращения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в контрольном списке конструктора дляоптимизации затрат.

• Цены на оплату по мере использования и многоуровневые модели в Azure предоставляют варианты для удовлетворения различных потребностей в затратах и производительности. Например, если доступ к данным редко используется, уровень "холодный доступ Azure" является хорошим вариантом для хранилища с низкой стоимостью.
• Цены на это решение зависят от объема ленточных данных, расположения центра обработки данных и пропускной способности. Затраты также зависят от используемых служб Azure. Эти факторы определяют используемое оборудование, например количество контроллеров Luminex CGX. Факторы также влияют на затраты на программное обеспечение, обслуживание, лицензирование и поддержку.
• Для обмена данными не требуются процессоры zIIP. В результате вы экономите затраты при запуске программного обеспечения.
• После размещения инфраструктуры Luminex можно использовать оборудование Luminex для других целей. Например, вы уже можете использовать MDI Cloud Data Sharing для передачи файлов. Если вы расширяете среду с помощью MDI zKonnect для потоковой передачи, вы можете сэкономить на затратах, так как вы можете приобрести дополнительное программное обеспечение и инфраструктуру Luminex по значительно сниженной цене.
• Если у вас уже есть инфраструктура ExpressRoute, ее можно использовать для этого решения.
• Использование Azure и Luminex для резервного копирования и восстановления помогает устранить некоторые затраты, связанные с физической инфраструктурой лент. Примеры включают расходы на носители и доставку, а также хранилище вне сайта для хранения.

Операционное превосходство

Операционное превосходство охватывает процессы, которые развертывают приложение и продолжают работать в рабочей среде. Дополнительные сведения см. в контрольном списке проверки конструктора дляоперационного превосходства.

• Передача данных в Azure в этом решении обеспечивает гибкость при разработке стратегии резервного копирования. Вы можете включить автоматическую, обычную миграцию или поэтапную миграцию данных. После установки устройства Luminex в центре обработки данных можно настроить однонаправленное или двунаправленное взаимодействие, поэтапное миграцию или однократную миграцию. Эта гибкость обеспечивает поддержку реализации принципов работы DevOps и Agile и немедленного внедрения облака.
• Вы можете воспользоваться преимуществами возможностей Azure для резервного копирования, архивации и аварийного восстановления мейнфреймов.
• Вы можете развернуть конвейеры непрерывной интеграции и непрерывной доставки (CI/CD) в Azure для управления перемещением данных, преобразованием и действиями управления.

Эффективность производительности

Эффективность производительности — это возможность масштабирования рабочей нагрузки в соответствии с требованиями, заданными пользователями. Дополнительные сведения см. в контрольном списке проверки конструктора дляпроизводительности.

• Если у вас большой объем данных, вы можете кластеризать контроллеры CGX. Как правило, одно устройство CGX обеспечивает скорость передачи данных до 800 мегабайт в секунду (МБ/с). Контроллеры CGX доступны с четырьмя портами Fibre Channel или 1 Гигабит Ethernet (GbE), 10 ГбE или 25 ГбE. Эти контроллеры также предлагают до четырех портов для подключения к подключенным системам хранения.
• В службах Azure доступны различные параметры производительности и уровни. Например, блочные учетные записи хранения BLOB-объектов предлагают стандартные и премиум уровни производительности. Вы можете выбрать уровень, который лучше всего соответствует вашим потребностям.
• Предопределенное управление доступом и жизненным циклом в Azure упрощает оптимизацию производительности конкретных вариантов использования.
• Программное обеспечение эмуляции ленты в этом решении использует систему ввода-вывода FICON. С помощью этой системы можно сократить время ЦП, увеличить скорость передачи данных и сократить время.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Основные авторы:

• Даниэль Сондерс | Инженер по продажам
• Бхуви Ватси | Старший технический руководитель программы

Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.

Следующие шаги

• Чтобы получить дополнительные сведения, обратитесь в группу microsoft Legacy Modernization Azure Core Engineering (ACE).
• Сведения о сторонних решениях для передачи данных см. в сторонних решениях архива.

Связанные ресурсы

• Модернизация мейнфреймов и промежуточных данных
• Перемещение архивных данных из систем мейнфреймов в Azure
• Мейнфрейм и репликация данных в Azure с помощью Qlik
• Мейнфрейм и репликация данных в Azure с помощью RDRS
• Перенос уровня данных мейнфрейма в Azure с помощью mLogica LIBER*IRIS
• модернизации Мейнфреймов с помощью BMC AMI Cloud