Apache®、 Spark、および炎のロゴは、Apache Software Foundation の米国およびその他の国における登録商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。
この記事では、メインフレームとミッドレンジのデータ ソースを対象とするエンド ツー エンドの最新化プランについて説明します。
アーキテクチャ
このアーキテクチャの Visio ファイル をダウンロードします。
データフロー
次のデータフローは、メインフレーム データ層を最新化するプロセスの概要を示しています。 これは、前の図に対応しています。
メインフレームおよびミッドレンジ システムは、ファイル システム (仮想ストレージ アクセス方式 (VSAM)、フラット ファイル、LTFS)、リレーショナル データベース (Db2 for z/OS、Db2 for IBM i、Db2 for Linux UNIX および Windows)、非リレーショナル データベース IMS (Information Management System)、ADABAS、IDMS (Integrated Database Management System) などのデータ ソースにデータを格納します。
オブジェクトの変換プロセスでは、ソース オブジェクトからオブジェクト定義が抽出されます。 その後、これらの定義がターゲット データ ストアの対応するオブジェクトに変換されます。
- SQL Server Migration Assistant (SSMA) for Db2 は、IBM Db2 データベースから Azure データベースにスキーマとデータを移行します。
-
ホスト ファイル用マネージド データ プロバイダー は、次の手順でオブジェクトを変換します。
- COBOL と RPG のレコード レイアウト、または コピーブックを解析する。
- .NET アプリケーションで使用される C# オブジェクトにコピーブックをマップする。
- Db2toAzurePostgreSQL ツールを使用して、データベース オブジェクトを Db2 から Azure Database for PostgreSQL に移行します。
- サードパーティ製のツールは、非リレーショナル データベース、ファイル システム、その他のデータ ストアに対して自動オブジェクト変換を実行します。
データが取り込まれて変換されます。 メインフレーム システムとミッドレンジ システムは、次のようなファイル形式で EBCDIC エンコード形式のファイル システム データを保存します。
COBOL、PL/I、アセンブリ言語のコピーブックに、これらのファイルのデータ構造が定義されています。
a. FTP は、単一のレイアウトとアンパックされたフィールドを持つメインフレームとミッドレンジのファイル システム データセットをバイナリ形式と対応するコピーブックで Azure に転送します。
b. データ変換は、ホスト統合サーバーのホスト ファイル コンポーネントを使用してカスタム プログラムを開発するか、Azure Logic Apps の IBM ホスト ファイル用の組み込みコネクタを使用して行います。
Spark Notebook コンバーターは、オープンソースの Spark フレームワークを使用して開発され、Microsoft Fabric、Azure Synapse Analytics、Databricks などの Spark 環境と互換性があります。
c. リレーショナル データベースのデータが移行されます。
IBM のメインフレームおよびミッドレンジ システムでは、こちらを含むリレーショナル データベースにデータが格納されます。
こちらのサービスがデータベースのデータを移行します。
- Data Factory は、Db2 コネクタを使用してデータベースからデータを抽出し、統合します。
- SQL Server Integration Services は、さまざまなデータの ETL タスクを処理します。
- Microsoft Fabric Data Factory では、IBM Db2 コネクタを使用して Db2 データを移行します。
d. 非リレーショナル データベースのデータが移行されます。
IBM のメインフレームおよびミッドレンジ システムでは、こちらを含む非リレーショナル データベースにデータが格納されます。
サードパーティ製品は、これらのデータベースのデータを統合します。
Data Factory や AzCopy などの Azure サービスは、Azure データベースや Azure データ ストレージにデータを読み込みます。 サードパーティ ソリューションやカスタムの読み込みソリューションを使ってデータを読み込むこともできます。
Azure では、Azure SQL Database などのフル マネージド リレーショナル データベースや Azure Cosmos DB などの NoSQL オプションなど、さまざまなデータベース サービスが提供されています。 これらのサービスは、スケーラビリティ、柔軟性、グローバル分散を目的として設計されています。
Azure には、非構造化データ用の Azure Blob Storage や、フル マネージド ファイル共有用の Azure Files など、さまざまなストレージ ソリューションも用意されています。
コンピューティング、分析、ストレージ、ネットワークのために、Azure では最新化されたデータ層が使用されます。
クライアント アプリケーションでも、最新化されたデータ層が使用されます。
コンポーネント
データ ストレージ
このアーキテクチャでは、Azure での柔軟でインテリジェントなデータ管理のために、スケーラブルで安全なクラウド ストレージとマネージド データベースへのデータ移行について説明します。
- SQL Database は Azure SQL ファミリの一部です。 クラウド向けに設計されており、サービスとしてのフル マネージドの常緑プラットフォームのすべての利点を提供します。 SQL Database は、パフォーマンスと持続性を最適化する、AI を活用した自動機能も備えています。 サーバーレス コンピューティングと ハイパースケール ストレージ オプション により、リソースが必要に応じて自動的にスケーリングされます。
- Azure Database for PostgreSQL は、PostgreSQL データベース エンジンのオープンソース コミュニティ エディションに基づくフル マネージドリレーショナル データベース サービスです。
- Azure Cosmos DB は、グローバル分散型の マルチモデルNoSQL データベースです。
- Azure Database for MySQL は、オープンソース MySQL データベース エンジンのコミュニティ エディションに基づくフル マネージドリレーショナル データベース サービスです。
- SQL Managed Instance は、フル マネージドで常に最新のサービスとしてのプラットフォームが持つすべての利点を備えた、インテリジェントでスケーラブルなクラウド データベース サービスです。 SQL Managed Instance には、最新の SQL Server Enterprise エディション データベース エンジンとのほぼ 100% の互換性があります。 また、一般的なセキュリティの問題に対応するネイティブ仮想ネットワーク実装も提供されます。
- Azure Data Lake Storage は、大量のデータを未加工のネイティブ形式で保持するストレージ リポジトリです。 データ レイク ストアは、テラバイト級およびペタバイト級のデータにスケーリングできるように最適化されています。 データは通常、複数の異種ソースから取得されます。 構造化、半構造化、非構造化のいずれかになります。
- Microsoft Fabric の SQL データベースは、Azure SQL Database に基づく開発者向けのトランザクション データベースであり、Fabric で運用データベースを簡単に作成できます。 Microsoft Fabric SQL Database では、Azure SQL Database と同じ SQL データベース エンジンが使用されます。
- Microsoft Fabric Lakehouseは、構造化データと非構造化データを 1 つの場所で保存、管理、分析するためのデータ アーキテクチャ プラットフォームです。
Compute
- Data Factory は、コンピューティング インフラストラクチャである 統合ランタイム(IR) を使用して、さまざまなネットワーク環境間でデータを統合します。 Data Factory は セルフホステッド IRを使用して、クラウド データ ストアとオンプレミス ネットワークのデータ ストアの間でデータをコピーします。
- オンプレミス データ ゲートウェイ は、ローカルにインストールされた Windows クライアント アプリケーションであり、ローカルのオンプレミス データ ソースと Microsoft クラウド内のサービスの間のブリッジとして機能します。
- Azure Virtual Machines は、オンデマンドでスケーラブルなコンピューティング リソースを提供します。 Azure 仮想マシン (VM) では仮想化の柔軟性を利用できる一方、物理ハードウェアのメンテナンスは必要ありません。 Azure VM により、Windows や Linux などのオペレーティング システムを選択できます。
データ インテグレーター
このアーキテクチャでは、メインフレーム ソース データとターゲット データベースに応じて利用できるさまざまな Azure ネイティブ移行ツールの概要を示します。
- Azure Data Factory は、ハイブリッド データ統合サービスです。 このソリューションでは、Azure Data Factory を最小限に抑えて、ネイティブコネターを使用して Db2 データベースのターゲットからデータを移行します。
- AzCopy は、ストレージ アカウントと BLOB またはファイルをやり取りするコマンドライン ユーティリティです。
-
SQL Server Integration Services は、エンタープライズ レベルのデータ統合およびデータ変換ソリューションを作成するためのプラットフォームです。 これを使用して、次のような方法で複雑なビジネス上の問題を解決できます。
- ファイルのコピーまたはダウンロード。
- データ ウェアハウスの読み込み。
- データのクレンジングとマイニング。
- SQL Server のオブジェクトとデータの管理。
- Host Integration Server のテクノロジとツールによって、既存の IBM ホスト システム、プログラム、メッセージ、データと新しい Azure アプリケーションとの統合を実現できます。 ホスト ファイル クライアント コンポーネントは、EBCDIC から ASCII に変換されたデータに柔軟性を提供します。 たとえば、変換されたデータから JSON/XML を生成できます。
- Azure Synapse Analytics では、データ統合、エンタープライズ データ ウェアハウス、ビッグ データ分析が統合されます。 このアーキテクチャで使用される Azure Synapse 変換ソリューションは Apache Spark に基づいており、大規模なメインフレーム データセット ワークロード変換に適しています。 幅広いメインフレーム データ構造とターゲットをサポートしており、必要とされるコーディング作業は最小限に抑えられています。
- Microsoft Fabric は、エンタープライズ対応のエンド ツー エンドの分析プラットフォームです。 データ移動、データ処理、インジェスト、変換、リアルタイム イベント ルーティング、レポート作成を統合します。 これらの機能は、データ エンジニアリング、Data Factory、データ サイエンス、Real-Time Analytics、Data Warehouse、データベースなどの統合サービスでサポートされています。
その他のツール
- SQL Server Migration Assistant for Db2 は、Db2 から Microsoft データベース サービスへの移行を自動化します。 VM でこのツールを実行すると、Db2 データベース オブジェクトが SQL Server データベース オブジェクトに変換され、SQL Server にそれらのオブジェクトが作成されます。
-
ホスト ファイル用データ プロバイダー は、オフライン、SNA、または TCP/IP 接続を使用する Host Integration Server のコンポーネントです。
- オフライン接続では、データ プロバイダーはローカル バイナリ ファイルのレコードの読み取りと書き込みを行います。
- SNA 接続および TCP/IP 接続では、データ プロバイダーはリモートの z/OS (IBM Z シリーズ メインフレーム) のデータセットまたはリモートの i5/OS (IBM AS/400 および iSeries システム) の物理ファイルに格納されているレコードの読み取りと書き込みを行います。 TCP/IP を使用するのは i5/OS システムだけです。
- Azure サービス は、パブリック クラウドで新しいアプリケーションの開発とスケーリングを行うための環境、ツール、プロセスを提供します。
シナリオの詳細
Azure データ プラットフォームのような今日のデータ ストレージ ソリューションは、メインフレーム システムやミッドレンジ システムに比べてスケーラビリティとパフォーマンスに優れています。 システムの最新化によって、こうした利点を活用できます。 しかし、テクノロジ、インフラストラクチャ、業務の更新は複雑です。 そのプロセスでは、ビジネス アクティビティとエンジニアリング アクティビティを徹底的に調査する必要があります。 データ管理は、システムを最新化する際の考慮事項の 1 つです。 データの視覚化と統合についても検討する必要があります。
最新化を成功させるには、 データ優先の戦略を使用します。 このアプローチを使用する場合は、新しいシステムではなくデータに焦点を当てます。 データ管理は、もはや最新化のチェックリストの単なる 1 項目ではありません。 むしろ、データが最重要項目です。 調和の取れた品質重視のデータ ソリューションが、断片化し、適切に管理されていないソリューションに取って代わります。
このソリューションでは、データ優先のアプローチで Azure データ プラットフォームのコンポーネントを使用します。 具体的には、ソリューションには次のものが含まれます。
- オブジェクトの変換。 ソース データ ストアのオブジェクト定義をターゲット データ ストアの対応するオブジェクトに変換する。
- データ インジェスト。 ソース データ ストアに接続し、データを抽出する。
- データの変換 抽出したデータを適切なターゲット データ ストア構造に変換する。
- データ ストレージ。 ソース データ ストアからターゲット データ ストアにデータを読み込む (初期および継続的に)。
考えられるユース ケース
メインフレームおよびミッドレンジ システムを使用する組織は、特にこれらの目標を達成したい場合にこのソリューションからメリットを得られます。
- ミッションクリティカルなワークロードを最新化する。
- 業務を改善し、競争で優位に立つためのビジネス インテリジェンスを獲得する。
- メインフレームおよびミッドレンジのデータ ソースに関連するコストと柔軟性不足を排除する。
考慮事項
これらの考慮事項は、Azure Well-Architected Framework の柱を実装します。これは、ワークロードの品質を向上させるために使用できる一連の基本原則です。 詳細については、「Microsoft Azure Well-Architected Framework」を参照してください。
セキュリティ
セキュリティは、重要なデータやシステムの意図的な攻撃や悪用に対する保証を提供します。 詳細については、「セキュリティ
- オンプレミスのクライアント ID と Azure のクライアント ID の違いに注意してください。 すべての違いを補正する必要があります。
- コンポーネント間のデータ フローには マネージド ID を使用します。
- ホスト ファイル用 データ プロバイダーを 使用してデータを変換する場合は、「ホスト ファイルのデータ プロバイダーのセキュリティと保護」の推奨事項に従ってセキュリティを強化してください。
コストの最適化
コストの最適化は、不要な費用を削減し、運用効率を向上させる方法を検討することです。 詳細については、「コストの最適化
- SQL Server Migration Assistant はサポートされている無料のツールで、Db2 から SQL Server、SQL Database、SQL Managed Instance へのデータベースの移行を容易にします。 移行の評価分析、スキーマおよび SQL ステートメントの変換、データの移行など、移行に関するあらゆる作業が SSMA によって自動化されます。
- Azure Synapse Spark ベースのソリューションは、オープンソース ライブラリから構築されています。 これにより、変換ツールのライセンス取得による財務上の負担をなくします。
- このソリューションの実装コストを見積もるには、 Azure 料金計算ツール を使用します。
パフォーマンス効率
パフォーマンス効率とは、ユーザーからの要求に合わせて効率的な方法でワークロードをスケーリングできることです。 詳細については、「パフォーマンス効率
- パフォーマンス効率の重要な柱は、パフォーマンス管理、容量計画、 スケーラビリティ、適切なパフォーマンス パターンの選択です。
- アクティブ - アクティブ モードで論理インスタンスをオンプレミスの複数のマシンに関連付けることにより、 セルフホステッド IR をスケールアウトする ことができます。
- Azure SQL Database には、データベースを動的にスケーリングする機能が用意されています。 サーバーレス層では、コンピューティング リソースを自動的にスケーリングできます。 データベースがプール内のリソースを共有できるエラスティック プールは、現状では、手動でのみスケーリングできます。
ホスト ファイル用データ プロバイダーのクライアントを使用してデータを変換する場合は、 接続プールを有効 にして、接続の起動時間を短縮します。 Data Factory を使用してデータを抽出する場合は、 コピー アクティビティのパフォーマンスを調整します。
共同作成者
この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。
プリンシパル作成者:
- Ashish Khandelwal | プリンシパル エンジニアリング アーキテクト マネージャー
その他の共同作成者:
- Nithish Aruldoss | エンジニアリング アーキテクト
パブリックでない LinkedIn プロファイルを表示するには、LinkedIn にサインインします。
次のステップ
「Azure データベースの移行ガイド」を確認します。 Azure データ エンジニアリング - メインフレーム & ミッドレンジの最新化 に詳細を問い合わせます。
次の記事をご覧ください。
- Azure 上での IBM ワークロード
- Azure 仮想マシンでのメインフレーム リホスト
- Azure でサポートされているメインフレーム ワークロード
- メインフレーム コンピューティングを Azure に移行する