この記事では、バックアップ、アーカイブ、その他のビジネス ニーズを満たすために、Luminex 製品を使用して、メインフレーム データを Azure との間で転送するためのソリューションについて説明します。 このソリューションの主要コンポーネントには、Luminex メインフレーム データ統合 (MDI) プラットフォームの Cloud Data Sharing と Luminex メインフレーム仮想テープ (MVT) プラットフォームの CloudTAPE が含まれます。
Apache® および Apache Kafka は、米国およびその他の国における Apache Software Foundation の登録商標または商標です。 これらの商標を使用することが、Apache Software Foundation による保証を意味するものではありません。
アーキテクチャ
このアーキテクチャの Visio ファイルをダウンロードします。
データフロー
メインフレームのセカンダリ ストレージ デバイスに、直接アクセス ストレージ デバイス (DASD) とシーケンシャルアクセス ストレージ デバイス (SASD) が収められています。
DASD はメインフレームに取り付けられています。
テープは SASD の一種で、外部ストレージとしてメインフレームに取り付けられています。
ファイルに格納できる情報が、MDI プラットフォームによって Azure に送信されます。 たとえば、システム管理機能 (SMF) データ、Virtual Storage Access Method (VSAM) ファイル、シーケンシャル ファイル、世代データ グループ (GDG) などです。 データセンターに設置されている MDI ハードウェアに、Luminex Channel Gateway X (CGX) コントローラーと Luminex MDI サーバーが含まれます。
MVT CloudTAPE から、テープのアーカイブとバックアップが提供されます。 データセンターに設置されている MVT ハードウェアに、Luminex CGX コントローラーと CloudTAPE サーバーが含まれます。
MDI と MVT によって、ファイバー接続 (FICON) プロトコルに基づいた CGX コントローラー デバイスが使用されます。 これらのデバイスはメインフレームに直接接続します。 データ転送に System z Integrated Information Processor (zIIP) 特殊エンジンは必要ありません。 メインフレームに Luminex エージェントはなく、メインフレームと Luminex デバイス間の通信に TCP/IP ポートを開く必要はありません。
メインフレーム データは、セキュリティで保護されたプライベートな Azure ExpressRoute 接続を介して Azure に転送されます。
Azure 上でビッグ データ分析ができるように、Luminex MDI zKonnect などのサービスによって、ファイル データがストリーミングされます。 たとえば、メインフレーム ログや SMF データなどのシステム データは、Azure Event Hubs にストリーミングされます。 データは、Azure サービスによって取り込まれ、処理、変換、投影されます。
MDI によって、Luminex CGX デバイスが使用され、ファイル データが処理、転送、キャッシュされます。 次の 2 つのオプションを使用できます。
- ジョブ制御言語 (JCL) ステートメントを送信します。 Luminex に用意されているステートメントを使用して、入力ファイル、Azure の転送先、キー、およびセキュリティ情報、データ変換、クラウド ファイル形式に関する情報を指定します。 データ転送に Luminex プロシージャを使用する組織は、独自の JCL ステートメントを使用できます。 ジョブが完了すると、戻りコード 0 で転送が成功したことが示されます。
- ジョブは MDI UI から監視します。 運用チームは、スケジューラ、メインフレーム、MDI UI を組み合わせて使用して、ジョブの監視とトラブルシューティングを行うことができます。 MDI UI には、ジョブ名、ジョブ ID、ユーザーまたはグループ、開始時刻、経過時間などの情報が表示されます。 ファイル転送が最初に成功しなかった場合、MDI の再試行メカニズムが作動します。
ジョブは、転送前にローカル ストレージにファイルをキャッシュするように構成できます。 転送が完了すると、そのローカル ストレージは削除されます。
メインフレーム テープ データが、MVT CloudTAPE によって、Azure Blob Storage、Azure Files、Azure Data Lake Storage などの Azure データ ストアに送信されます。 構造化データと非構造化データを処理できます。 転送で JCL ステートメントは使用しません。 代わりに、MVT CloudTAPE によって、CGX コントローラーがエミュレートする IBM 3490 または 3590 形式のメインフレーム テープが移動または複製されます。
Azure サービスに、データ処理、ストレージ、分析、視覚化の機能が用意されています。
コンポーネント
ExpressRoute により、オンプレミスのネットワークが Microsoft クラウドに拡張されます。 ExpressRoute では、接続プロバイダーを使用して、オンプレミスのデータと Microsoft クラウド サービス間のプライベート接続を確立します。
Azure Files は Azure Storage に含まれるサービスです。 Azure Files では、クラウドでのフル マネージド ファイル共有が提供されます。 Azure ファイル共有には、業界標準の Server Message Block (SMB) プロトコルを使用してアクセスできます。 このソリューションでは、Luminex MDI および MVT を使用してメインフレーム ファイルを Azure Files に転送します。
Blob Storage は、Storage に含まれるサービスです。 Blob Storage から、大量の非構造化データ向けに最適化されたクラウド オブジェクト ストレージが提供されます。 このソリューションでは、Blob Storage から、ホットおよびコールドのメインストリーム データをアーカイブする方法が提供されます。
このソリューションでは、Luminex 製品を使用して、メインフレーム データを複数の Azure データベースに転送できます。
- Azure SQL は、SQL Server エンジンを利用する Azure データベースのファミリです。
- Azure SQL Database はフル マネージドのサービスとしてのプラットフォーム (PaaS) データベース エンジンであり、Azure SQL ファミリの一部です。 SQL Database では、AI を利用した自動化機能により、アップグレード、パッチの適用、バックアップ、監視などのデータベース管理機能が処理されます。
- Azure Database for PostgreSQL は、オープンソースの PostgreSQL データベース エンジンのコミュニティ エディションに基づくフル マネージド リレーショナル データベース サービスです。
- Azure Database for MySQL は、オープンソースの MySQL データベース エンジンのコミュニティ エディションに基づいたフル マネージド リレーショナル データベース サービスです。
Event Hubs は、フル マネージド ビッグ データ ストリーミング プラットフォームです。 このソリューションでは、メインフレーム データが、Luminex zKonnect によって、ほぼリアルタイムで Event Hubs にストリーミングされます。 Event Hubs から、Apache Kafka プロデューサーおよびコンシューマー API と互換性のあるエンドポイントが提供されます。 既存の Apache Kafka クライアント アプリケーションのほとんどで、これらの API が、独自の Apache Kafka クラスターを実行する代わりに使用されます。
Power BI は、分析情報を表示するソフトウェア サービスとアプリのコレクションです。 このソリューションで使用するメインフレーム データは、ソースがさまざまで、構造もさまざまです。 Power BI は、データを視覚に訴え、理路整然とした対話型の分析情報に変換するために使用されます。
Data Lake Storage から、低コストで階層化されたストレージと高スループットでビッグ データ分析を実行する方法が提供されています。
代替
データ転送にサードパーティのソリューションを使用する代わりに、Microsoft ソリューションを使用できます。 メインフレーム システムとミッドレンジ システムから Azure へのデータ転送の詳細については、「メインフレーム システムから Azure へのアーカイブ データの移動」を参照してください。 特定の Microsoft ソリューションの詳細については、次のリソースを参照してください。
待機時間、接続性、技術的、規制上の考慮事項に対処するために、Azure ではなく Azure Stack にデータを転送できます。 Azure Stack Hub には、一連のクラウド ストレージ サービスが用意されています。 詳しくは、「Azure Stack Hub ストレージ:違いと考慮事項」をご覧ください。
IBM z/VM および z/VSE メインフレームには、Luminex MVT および CGX デバイスを使用することもできます。
テープを Azure に転送する場合は、テープを圧縮および暗号化することで、すべての段階で安全にデータを送信できます。 この機能は簡単に構成できます。
このソリューションは、双方向のデータ交換にも使用できます。 テープ データをメインフレームに呼び戻して、元の形式に変換できます。
- MDI の場合、このプロセスは Azure への転送に似ています。 リバース転送の詳細を指定する JCL ステートメントを送信します。 データをテープまたはシーケンシャル ファイルとして転送できます。 JCL 構成でフォーマットを指定します。
- MVT CloudTAPE の場合、メインフレームからデータを要求すると、データが自動的に呼び戻されます。
Luminex CGX デバイスでは、Enterprise Systems Connection (ESCON) チャネル接続もサポートされています。 チャネル ゲートウェイは、既存のメインフレーム バックアップ ソフトウェアによって、認識済みのメインフレーム テープ デバイスと見なされます。 その結果、ソフトウェアの変更は必要ありません。
このソリューションでは、データセンターから Azure にデータを転送するために ExpressRoute を使用します。 この方法をお勧めしますが、データ転送にインターネットを使用することもできます。
シナリオの詳細
メインフレームの物理ストレージは、メインフレーム プロセッサ上に配置することも、メインフレームの外部に配置することもできます。 プロセッサ ストレージは、メインフレームのメモリに似ていますが、プロセッサ上にあります。 ディスク ドライブとテープ ドライブは、外部ストレージの例です。 ストレージ内のデータセットを、異なる論理レコードとブロック構造に編成します。 データセット編成 (DSORG) やレコード形式 (RECFM) などのパラメーターで、これらのデータ構造を定義します。 データセット内のレコードは固定長でも可変長でもよく、バイナリ形式またはテキスト形式で格納できます。
DASD や SASD などのセカンダリ ストレージ デバイスには、アクセス頻度の高いデータか、アクセス頻度の低いデータのいずれかを格納します。
- DASD は、データの場所を即座に確認し、検索する場合に使用します。 直接アクセスで、デバイス上の特定の物理的な場所に直接移動することで、データの読み取りまたは書き込みを行うことができます。 この結果、DASD は高速かつ効率的です。
- テープなどの SASD は本質的に DASD よりも低速です。 テープ データにアクセスするには、ある場所から始めて、必要なデータが見つかるまで連続した場所を調べていきます。 メインフレームで、物理テープと仮想テープ ライブラリ (VTL) ("仮想テープ" とも呼ばれる) が使用されます。 現在は、仮想テープの方が物理テープよりも好まれます。
使用するストレージの種類は、ニーズによって異なります。 多くの組織は、コンプライアンス、規制、レポート、監査、またはその他の目的のためにコールド ストレージを必要とします。 組織によっては、データを 100 年近く保存するように求めるデータ保持ポリシーがあります。 この種類のデータの例としては、処方箋のコピー、患者の記録、顧客の報酬履歴などの情報があります。 長期保存するデータは、ほとんどが大容量で、アクセス頻度は低いです。 長期ストレージは、通常は 1 日に複数回アクセスし、頻繁に更新されるアクティブ ストレージよりもコストがかからないのが一般的です。 セキュリティに関する考慮事項も、ストレージの選択に影響します。 サイバー攻撃は絶え間ない脅威です。
Azure には、さまざまなストレージ ソリューションが用意されており、ストレージ、バックアップ、長期アーカイブのニーズに対する着地点としての実績があります。 アクセス頻度の低いデータにはコールド ストレージ、アクセス頻度の高いデータにはホット ストレージを使用できます。 VSAM データセット、フラット ファイル、テープ データなどのメインフレーム ファイル構造は、データベース、構造化ファイル、BLOB ストレージ内の Azure データ構造にマップされます。 Azure Storage は大量のデータを格納でき、コスト効率とスケーラビリティに優れ、レプリケーションと自給自足が可能です。 Azure サービスは、データの取得、データの視覚化、データからの分析情報の取得にも役立ちます。
この記事のソリューションでは、バックアップ、アーカイブ、その他のビジネス ニーズを満たすために、Luminex MDI および MVT プラットフォームを使用してメインフレーム データを Azure との間で転送します。
Luminex MDI は、データ転送およびコプロセッシング プラットフォームです。 MDI によって、Luminex CGX デバイスが使用され、ファイルが処理、転送、キャッシュされます。 MDI から、z/OS メインフレームと分散システム間のデータおよびワークロード共有の安全で効率的な交換が提供されています。 Cloud Data Sharing、Big Data Transfer、zKonnect などの MDI 製品を使用すると、ファイルを Azure に移動して、バックアップ、アーカイブ、データ正規化、マージ、分析に利用できます。 転送データを Azure で ASCII または EBCDIC 形式で受け取るように構成できます。 MDI Cloud Data Sharing から、VSAM ファイル、シーケンシャル ファイル、GDG などのメインフレーム ファイルを Azure に移行する方法が提供されています。 MDI では、Azure メッセージング サービスとの統合もサポートされています。 Azure でホストされているアプリケーションで、Azure に格納されているメインフレーム ファイルを使用して、最新化、待機時間の短縮、パフォーマンスの向上を実現できます。
Luminex MVT は、テープ アーカイブおよびバックアップ プラットフォームです。 MVT では、メインフレーム 3490 および 3590 テープ ドライブをエミュレートする Luminex CGX コントロール ユニット ソフトウェアが使用されるため、既存のテープ アプリケーションを変更せずに使用できます。 CGX 環境では、テープ暗号化、コンテナー化、移行、レプリケーション、取得、ディザスター リカバリー、高可用性のための一連の製品が提供されています。 特に、CloudTAPE 製品から、テープ データを Azure に移行する方法が提供されています。
MDI と MVT はどちらも、高速 CGX コントローラー デバイスを使用してメインフレームに直接接続されます。 これらのコントローラーは、メインフレーム サーバーとアタッチされたエンタープライズ クラスのストレージ コントローラーがサポートするトランスポート プロトコルである FICON に基づいています。 FICON では、基になるトランスポート プロトコルとしてファイバー チャネルが使用されます。 また、CGX コントローラーから、ネットワーク接続ストレージ (NAS) と内部ストレージ システムを利用して、企業が要求する高レベルのパフォーマンス、スケーラビリティ、信頼性、セキュリティ、可用性が提供されます。 FICON 転送を使用すると、I/O を複数のシステム間で共有できます。 FICON は最適なプロトコル効率を実現します。 また、サーバーとストレージ デバイス間の距離が長くても、データの整合性とセキュリティを提供するのに役立ちます。
MDI と MVT では、データ転送に zIIP 専門エンジンは必要ありません。メインフレームと Luminex デバイス間の通信を可能にするために TCP/IP ポートを開く必要はありません。 他のメインフレーム ストレージ デバイスと同様に、Luminex CGX デバイスをメインフレームに直接接続します。 必要に応じて、既存のレガシ バックアップとテープ管理ソフトウェアを並列で実行できます。 MVT CloudTAPE と MDI Cloud Data Sharing の場合、転送で軽量プロセスが使用されるため、数百万命令毎秒 (MIPS) の消費量が最小限に抑えられます。
考えられるユース ケース
多くのシナリオで、このソリューションから恩恵を受けることができます。 次の目標を持つ組織が考えられます。
- テープ管理とメンテナンス作業を最小限に抑える。
- レガシ ワークロードを最新化する。
- バックアップとアーカイブのソリューションを見つける。
- メインフレーム テープをクラウドに移動してメインフレームの最新化を拡張する。 組織が、データセンターをダウンサイズしたいが放棄はしたくない場合、この目標を持っている可能性があります。 組織がメインフレーム テープをあまり使用していない場合は、テープが移行に適した候補になる可能性があります。
- 移行データをクラウド ストレージ用に別の形式に変換する (EBCDIC データを ASCII に変換する、VSAM ファイルを JSON に変換する、シーケンシャル データを CSV 形式に変換するなど)。
- テープ メタデータを Azure ストレージ メタデータに転送する。
- Azure でホストされる新規およびリファクタリングされたアプリケーションにデータへの容易なアクセスを提供する。
- クラウド占有領域を拡大する。
- メインフレーム ファイルとテープ データを簡単に監視、表示、およびレポートし、このデータを Azure サービスと統合する。
- ロックされていない現在および履歴のメインフレーム データを収益化し、クラウド ビジネス インテリジェンスおよび分析ツールで使用する。
同様のソリューションを実装していて、エクスペリエンスやフィードバックを共有したい場合は、Microsoft Legacy Modernization Azure Core Engineering (ACE) チームにご連絡ください。
考慮事項
以降の考慮事項には、ワークロードの品質向上に使用できる一連の基本原則である Azure "Well-Architected Framework" の要素が組み込まれています。 詳細については、「Microsoft Azure Well-Architected Framework」を参照してください。
[信頼性]
信頼性により、顧客に確約したことをアプリケーションで確実に満たせるようにします。 詳細については、「信頼性
- このソリューションは複数のリージョンにデプロイでき、データ レイヤーに geo レプリケーションを実装できます。 Azure 自動フェールオーバー グループは、データ保護の提供にも役立ちます。
- クラスター化された CGX コントローラーで、障害発生時にアクティブ/アクティブ復旧ソリューションを提供できます。
- MVT Synchronous Tape Matrix から、複数のデータセンター間の信頼性が提供されます。 インフラストラクチャが障害に合わせて調整され、中断することがありません。
- Luminex Replication で、1 つまたは複数のターゲットにデータを複製できます。 ターゲットには、それぞれメインフレームと CGX コントローラーがプロパティにインストールされている 1 つ以上のディザスター リカバリー サイトを指定できます。 Azure geo レプリケーションを使用してターゲットを事前に構成することもできます。 Azure やその他のプライベート クラウドまたはパブリック クラウドを使用する場合は、ディザスター リカバリーにハイブリッド戦略を使用することもできます。 基本的には、要件に最も適したレプリケーション戦略を使用できます。 たとえば、一対一、一対多、多対多、カスケード戦略などです。
セキュリティ
セキュリティは、重要なデータやシステムの意図的な攻撃や悪用に対する保証を提供します。 詳細については、「セキュリティ
- このソリューションのフル マネージド ストレージを使用すると、物理メディアの安全性に関連する問題がなくなります。 たとえば、物理テープの運搬時に発生する可能性がある破損や不正アクセスなどです。
- Luminex CGSafe から、テープの圧縮と暗号化が提供されています。 この製品は MVT ファミリの一部で、CloudTAPE に付属しています。 CGSafe により、取り込み中、保存中、転送中にテープが暗号化および圧縮されます。
- MDI Cloud Data Sharing を使用する場合、ファイルは SSL を使用して HTTPS 経由で送信されます。 Azure では、保存中のファイルを暗号化できます。
- このソリューションでは FICON と ESCON の接続を使用するため、データ転送用にポートを開く必要はありません。
コストの最適化
コストの最適化は、不要な費用を削減し、運用効率を向上させる方法を検討することです。 詳細については、「コストの最適化
- Azure の従量課金制の価格と多層モデルには、さまざまなコストとパフォーマンスのニーズに合わせたオプションが用意されています。 たとえば、データにアクセスする頻度が低い場合は、Azure クール アクセス層が、低コストのストレージに適したオプションです。
- このソリューションの価格は、テープ データの量、データセンターの場所、帯域幅によって異なります。 コストは、使用する Azure サービスによっても異なります。 これらの要因によって、Luminex CGX コントローラーの数など、使用するハードウェアが決まります。 要因は、ソフトウェア、サービス、ライセンス、サポートのコストにも影響します。
- データ交換に zIIP プロセッサは必要ありません。 その結果、ソフトウェア実行時のコストを節約できます。
- Luminex インフラストラクチャが整ったら、Luminex ハードウェアを他の用途に使用できます。 たとえば、ファイル転送に既に MDI Cloud Data Sharing を使用しているかもしれません。 ストリーミング用に MDI zKonnect を使用して環境を拡張する場合、追加の Luminex ソフトウェアとインフラストラクチャを大幅な割引価格で購入できるため、コストを節約できます。
- ExpressRoute インフラストラクチャが既に整っている場合は、このソリューションに使用できます。
- バックアップと回復に Azure と Luminex を使用すると、物理テープ インフラストラクチャに関連する一部のコストをなくすことができます。 たとえば、メディアや配送の費用、コンテナー化用のオフサイト ストレージなどです。
オペレーショナル エクセレンス
オペレーショナル エクセレンスは、アプリケーションをデプロイし、運用環境で実行し続ける運用プロセスを対象としています。 詳細については、「オペレーショナル エクセレンス
- このソリューションの Azure へのデータ転送により、バックアップ戦略を柔軟に策定できます。 自動、定期的な移行、または段階的なデータ移行を有効にすることができます。 データセンターに Luminex デバイスを設置したら、一方向または双方向の通信、段階的な移行、または 1 回限りの移行を構成できます。 この柔軟性により、DevOps とアジャイルの作業原則の実装と、クラウドの即時導入がサポートされます。
- メインフレームのバックアップ、アーカイブ、ディザスター リカバリーに Azure の機能を利用できます。
- Azure に継続的インテグレーション/継続的デリバリー (CI/CD) パイプラインをデプロイして、データ移動、変換、および制御アクティビティを管理できます。
パフォーマンス効率
パフォーマンス効率は、効率的な方法でユーザーの要求に合わせてワークロードをスケーリングする機能です。 詳細については、「パフォーマンス効率
- 大量のデータがある場合は、CGX コントローラーをクラスター化できます。 通常、1 台の CGX デバイスで、1 秒あたり最大 800 メガバイト (MB/秒) のデータ転送速度が提供されます。 CGX コントローラーは、最大 4 つのファイバー チャネル ポートまたは 1 ギガビット イーサネット (GbE)、10 GbE、または 25 GbE で使用できます。 また、これらのコントローラーには、アタッチされているストレージ システムへの接続用に最大 4 つのポートが備わっています。
- Azure サービスでは、さまざまなパフォーマンス オプションとレベルを使用できます。 たとえば、ブロック BLOB ストレージ アカウントでは、Standard と Premium のパフォーマンス レベルが提供されます。 ニーズに最も適したレベルを選択できます。
- Azure で事前定義されたアクセスとライフ サイクル管理により、特定のユース ケースのパフォーマンスを簡単に最適化できます。
- このソリューションのテープ エミュレーション ソフトウェアで、FICON I/O システムが使用されます。 このシステムを使用することで、CPU 時間の短縮、データ転送速度の向上、経過時間の短縮が可能になります。
共同作成者
この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。
プリンシパルの作成者:
- Daniel Saunders | セールス エンジニア
- Bhuvi Vatsey | シニア テクニカル プログラム マネージャー
パブリックでない LinkedIn プロファイルを表示するには、LinkedIn にサインインします。
次のステップ
- 詳細については、Microsoft Legacy Modernization Azure Core Engineering (ACE) チームにお問い合わせください。
- サード パーティのデータ転送ソリューションの詳細については、「サード パーティのアーカイブ ソリューション」を参照してください。