Apache®、 Spark、および炎のロゴは、Apache Software Foundation の米国およびその他の国における登録商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。
この記事では、メインフレームとミッドレンジのデータ ソースを対象とするエンド ツー エンドの最新化プランについて説明します。
アーキテクチャ
このアーキテクチャの Visio ファイル をダウンロードします。
データフロー
次のデータフローは、メインフレーム データ層を最新化するプロセスの概要を示しています。 これは、前の図に対応しています。
メインフレーム システムとミッドレンジ システムは、ファイル システム (VSAM、フラット ファイル、LTFS)、リレーショナル データベース (Db2 for z/OS、Db2 for IBM i、Db2 for Linux UNIX および Windows)、非リレーショナル データベース (IMS、ADABAS、IDMS) などのデータ ソースにデータを格納します。
オブジェクトの変換プロセスでは、ソース オブジェクトからオブジェクト定義が抽出されます。 その後、これらの定義がターゲット データ ストアの対応するオブジェクトに変換されます。
- SQL Server Migration Assistant (SSMA) for Db2 は、IBM Db2 データベースから Azure データベースにスキーマとデータを移行します。
- ホスト ファイル用マネージド データ プロバイダー は、次の手順でオブジェクトを変換します。
- COBOL と RPG のレコード レイアウト、または コピーブックを解析する。
- .NET アプリケーションで使用される C# オブジェクトにコピーブックをマップする。
- データベース オブジェクトを Db2 から Azure Database for PostgreSQL に変換するには、カスタム ツールを使用します。 このツールへのアクセスを要求する必要がある場合があることに注意してください。
- サードパーティ製のツールは、非リレーショナル データベース、ファイル システム、その他のデータ ストアに対して自動オブジェクト変換を実行します。
データが取り込まれて変換されます。 メインフレーム システムとミッドレンジ システムは、次のようなファイル形式で EBCDIC エンコード形式のファイル システム データを保存します。
COBOL、PL/I、アセンブリ言語のコピーブックに、これらのファイルのデータ構造が定義されています。
a. FTP は、単一のレイアウトとアンパックされたフィールドを持つメインフレームとミッドレンジのファイル システム データセットをバイナリ形式と対応するコピーブックで Azure に転送します。
b. データが変換されます。 Azure Data Factory カスタム コネクタは Host Integration Server のホスト ファイル クライアント コンポーネントを使用してメインフレーム データセットを変換することで開発されたソリューションです。
Host Integration Server は、既存の IBM ホスト システム、プログラム、メッセージ、およびデータを Azure アプリケーションと統合します。 Host Integration Server は、データセット変換用のカスタム ソリューションの開発に使用できるホスト ファイル クライアント コンポーネントです。
Azure Data Factory カスタム コネクタは、オープンソースの Spark フレームワークに基づいており、 Azure Synapse Analyticsで実行されます。 他のソリューションと同様に、コピーブックを解析してデータを変換できます。 Azure Logic Apps Parse Host File Contents コネクタを使用して、データ変換用のサービスを管理します。
c. リレーショナル データベースのデータが移行されます。
IBM のメインフレームおよびミッドレンジ システムでは、こちらを含むリレーショナル データベースにデータが格納されます。
こちらのサービスがデータベースのデータを移行します。
- Data Factory は、Db2 コネクタを使用してデータベースからデータを抽出し、統合します。
- SQL Server Integration Services は、さまざまなデータの ETL タスクを処理します。
d. 非リレーショナル データベースのデータが移行されます。
IBM のメインフレームおよびミッドレンジ システムでは、こちらを含む非リレーショナル データベースにデータが格納されます。
サードパーティ製品は、これらのデータベースのデータを統合します。
Data Factory や AzCopy などの Azure サービスは、Azure データベースや Azure データ ストレージにデータを読み込みます。 サードパーティ ソリューションやカスタムの読み込みソリューションを使ってデータを読み込むこともできます。
Azure には、マネージド データ ストレージ ソリューションが多数用意されています。
コンピューティング、分析、ストレージ、ネットワークのために、Azure では最新化されたデータ層が使用されます。
クライアント アプリケーションでも、最新化されたデータ層が使用されます。
コンポーネント
データ ストレージ
- SQL Database は Azure SQL ファミリの一部です。 クラウド向けに構築されており、フル マネージドで常に最新のサービスとしてのプラットフォームが持つすべての利点を備えています。 SQL Database は、パフォーマンスと持続性を最適化する、AI を活用した自動機能も備えています。 サーバーレス コンピューティングと ハイパースケール ストレージ オプション により、リソースが必要に応じて自動的にスケーリングされます。
- Azure Database for PostgreSQL は、オープンソースの PostgreSQL データベース エンジンのコミュニティ エディションに基づくフル マネージド リレーショナル データベース サービスです。
- Azure Cosmos DB は、グローバル分散型の マルチモデル NoSQL データベースです。
- Azure Database for MySQL は、オープンソースの MySQL データベース エンジンのコミュニティ エディションに基づいたフル マネージド リレーショナル データベース サービスです。
- SQL Managed Instance は、フル マネージドで常に最新のサービスとしてのプラットフォームが持つすべての利点を備えた、インテリジェントでスケーラブルなクラウド データベース サービスです。 SQL Managed Instance には、最新の SQL Server Enterprise エディション データベース エンジンとのほぼ 100% の互換性があります。 また、一般的なセキュリティの問題に対応するネイティブ仮想ネットワーク実装も提供されます。
- Azure Data Lake Storage は、大量のデータを未加工のネイティブ形式で保持するストレージ リポジトリです。 データ レイク ストアは、テラバイト級およびペタバイト級のデータにスケーリングできるように最適化されています。 データは通常、複数の異種ソースから取得されます。 構造化、半構造化、非構造化のいずれかになります。
Compute
- Data Factory は、コンピューティング インフラストラクチャである 統合ランタイム(IR) を使用して、さまざまなネットワーク環境間でデータを統合します。 Data Factory は セルフホステッド IRを使用して、クラウド データ ストアとオンプレミス ネットワークのデータ ストアの間でデータをコピーします。
- Azure Virtual Machines は、オンデマンドでスケーラブルなコンピューティング リソースを提供します。 Azure 仮想マシン (VM) では仮想化の柔軟性を利用できる一方、物理ハードウェアのメンテナンスは必要ありません。 Azure VM により、Windows や Linux などのオペレーティング システムを選択できます。
データ インテグレーター
- Azure Data Factory は、ハイブリッド データ統合サービスです。 このソリューションでは、Azure Data Factory カスタム コネクタは Host Integration Server のホスト ファイル クライアント コンポーネントを使用してメインフレーム データセットを変換します。 最小限のセットアップでは、カスタム コネクタを使用して、他の Azure Data Factory コネクタを使用する場合と同様に、メインフレーム データセットを変換できます。
- AzCopy は、ストレージ アカウントと BLOB またはファイルをやり取りするコマンドライン ユーティリティです。
- SQL Server Integration Services は、エンタープライズ レベルのデータ統合およびデータ変換ソリューションを作成するためのプラットフォームです。 これを使用して、次のような方法で複雑なビジネス上の問題を解決できます。
- ファイルのコピーまたはダウンロード。
- データ ウェアハウスの読み込み。
- データのクレンジングとマイニング。
- SQL Server のオブジェクトとデータの管理。
- Host Integration Server のテクノロジとツールによって、既存の IBM ホスト システム、プログラム、メッセージ、データと新しい Azure アプリケーションとの統合を実現できます。 ホスト ファイル クライアント コンポーネントは、EBCDIC から ASCII に変換したデータに柔軟性を持たせます。 たとえば、変換したデータから JSON/XML を生成できます。
- Azure Synapse では、データ統合、エンタープライズ データ ウェアハウス、ビッグ データ分析がまとめられています。 このアーキテクチャで使用される Azure Synapse 変換ソリューションは Apache Spark に基づいており、大規模なメインフレーム データセット ワークロード変換に適しています。 幅広いメインフレーム データ構造とターゲットをサポートしており、必要とされるコーディング作業は最小限に抑えられています。
その他のツール
- SQL Server Migration Assistant for Db2 は、Db2 から Microsoft データベース サービスへの移行を自動化します。 VM でこのツールを実行すると、Db2 データベース オブジェクトが SQL Server データベース オブジェクトに変換され、SQL Server にそれらのオブジェクトが作成されます。
- ホスト ファイル用データ プロバイダー は、オフライン、SNA、または TCP/IP 接続を使用する Host Integration Server のコンポーネントです。
- オフライン接続では、データ プロバイダーはローカル バイナリ ファイルのレコードの読み取りと書き込みを行います。
- SNA 接続および TCP/IP 接続では、データ プロバイダーはリモートの z/OS (IBM Z シリーズ メインフレーム) のデータセットまたはリモートの i5/OS (IBM AS/400 および iSeries システム) の物理ファイルに格納されているレコードの読み取りと書き込みを行います。 TCP/IP を使用するのは i5/OS システムだけです。
- Azure サービス は、パブリック クラウドで新しいアプリケーションの開発とスケーリングを行うための環境、ツール、プロセスを提供します。
シナリオの詳細
Azure データ プラットフォームのような今日のデータ ストレージ ソリューションは、メインフレーム システムやミッドレンジ システムに比べてスケーラビリティとパフォーマンスに優れています。 システムの最新化によって、こうした利点を活用できます。 しかし、テクノロジ、インフラストラクチャ、業務の更新は複雑です。 そのプロセスでは、ビジネス アクティビティとエンジニアリング アクティビティを徹底的に調査する必要があります。 データ管理は、システムを最新化する際の考慮事項の 1 つです。 データの視覚化と統合についても検討する必要があります。
最新化を成功させるには、 データ優先の戦略を使用します。 このアプローチを使用する場合は、新しいシステムではなくデータに焦点を当てます。 データ管理は、もはや最新化のチェックリストの単なる 1 項目ではありません。 むしろ、データが最重要項目です。 調和の取れた品質重視のデータ ソリューションが、断片化し、適切に管理されていないソリューションに取って代わります。
このソリューションでは、データ優先のアプローチで Azure データ プラットフォームのコンポーネントを使用します。 具体的には、ソリューションには次のものが含まれます。
- オブジェクトの変換。 ソース データ ストアのオブジェクト定義をターゲット データ ストアの対応するオブジェクトに変換する。
- データ インジェスト。 ソース データ ストアに接続し、データを抽出する。
- データの変換 抽出したデータを適切なターゲット データ ストア構造に変換する。
- データ ストレージ。 ソース データ ストアからターゲット データ ストアにデータを読み込む (初期および継続的に)。
考えられるユース ケース
メインフレームおよびミッドレンジ システムを使用する組織は、特にこれらの目標を達成したい場合にこのソリューションからメリットを得られます。
- ミッションクリティカルなワークロードを最新化する。
- 業務を改善し、競争で優位に立つためのビジネス インテリジェンスを獲得する。
- メインフレームおよびミッドレンジのデータ ソースに関連するコストと柔軟性不足を排除する。
考慮事項
これらの考慮事項は、ワークロードの品質向上に使用できる一連の基本原則である Azure Well-Architected Framework の要素を組み込んでいます。 詳細については、「Microsoft Azure Well-Architected Framework」を参照してください。 ホスト ファイル用データ プロバイダーのクライアントを使用してデータを変換する場合は、 接続プールを有効 にして、接続の起動時間を短縮します。 Data Factory を使用してデータを抽出する場合は、 コピー アクティビティのパフォーマンスを調整します。
セキュリティ
セキュリティは、重要なデータやシステムの意図的な攻撃や悪用に対する保証を提供します。 詳細については、「セキュリティの重要な要素の概要」を参照してください。
- オンプレミスのクライアント ID と Azure のクライアント ID の違いに注意してください。 すべての違いを補正する必要があります。
- コンポーネント間のデータ フローには マネージド ID を使用します。
- ホスト ファイル用 データ プロバイダーを 使用してデータを変換する場合は、「ホスト ファイルのデータ プロバイダーのセキュリティと保護」の推奨事項に従ってセキュリティを強化してください。
コストの最適化
コストの最適化とは、不要な費用を削減し、運用効率を向上させることです。 詳細については、「コスト最適化の重要な要素の概要」を参照してください。
- SQL Server Migration Assistant はサポートされている無料のツールで、Db2 から SQL Server、SQL Database、SQL Managed Instance へのデータベースの移行を容易にします。 移行の評価分析、スキーマおよび SQL ステートメントの変換、データの移行など、移行に関するあらゆる作業が SSMA によって自動化されます。
- Azure Synapse Spark ベースのソリューションは、オープンソース ライブラリから構築されています。 これにより、変換ツールのライセンス取得による財務上の負担をなくします。
- このソリューションの実装コストを見積もるには、 Azure 料金計算ツール を使用します。
パフォーマンス効率
パフォーマンス効率とは、ユーザーからの要求に合わせて効率的な方法でワークロードをスケーリングできることです。 詳細については、「パフォーマンス効率の柱の概要」を参照してください。
- パフォーマンス効率の重要な柱は、パフォーマンス管理、容量計画、 スケーラビリティ、適切なパフォーマンス パターンの選択です。
- アクティブ - アクティブ モードで論理インスタンスをオンプレミスの複数のマシンに関連付けることにより、 セルフホステッド IR をスケールアウトする ことができます。
- Azure SQL Database には、データベースを動的にスケーリングする機能が用意されています。 サーバーレス層では、コンピューティング リソースを自動的にスケーリングできます。 データベースがプール内のリソースを共有できるエラスティック プールは、現状では、手動でのみスケーリングできます。
共同作成者
この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。
プリンシパル作成者:
- Ashish Khandelwal | プリンシパル エンジニアリング アーキテクト マネージャー
その他の共同作成者:
- Nithish Aruldoss | エンジニアリング アーキテクト
パブリックでない LinkedIn プロファイルを表示するには、LinkedIn にサインインします。
次のステップ
「Azure データベースの移行ガイド」を確認します。 Azure データ エンジニアリング - メインフレーム & ミッドレンジの最新化 に詳細を問い合わせます。
次の記事をご覧ください。
- Azure 上での IBM ワークロード
- Azure 仮想マシンでのメインフレーム リホスト
- Azure でサポートされているメインフレーム ワークロード
- メインフレーム コンピューティングを Azure に移行する