Semarchy を使用したマスター データ管理
最新の組織は、多くの場合、さまざまなソースから大量のデータを生成します。 Semarchy Data Platform は、データ統合、マスター データ管理 (MDM)、参照データ管理 (RDM)、アプリケーション データ管理 (ADM)、データ統合、品質、ガバナンスのためのインテリジェント なデータ ハブです。 Semarchy データ管理 (xDM) は、データ管理アプリケーションを定義して実装し、運用環境にリリースするための非常に機敏性をもたらします。
このアーキテクチャでは、マスター データ管理 (MDM) を Azure エコシステムに含めて、重要なデータ資産の品質、検証、照合、重複除去、作成、キュレーション、コラボレーションを可能にする方法を示します。
アーキテクチャ
次のアーキテクチャは、Semarchy xDM アーキテクチャとデータ フローを示しています。
Data Flow
メタデータとデータ フローには、次の手順が含まれます。
識別されたソース システムからのソース データ統合:
- この統合では、Azure Data Factory、Semarchy xDI (Semarchy のデータ統合コンポーネント)、または統合ソリューションが使用されます。
- semarchy xDM は、バッチとリアルタイムの統合のために SQL または REST エンドポイントを公開します。
- 受信データは Semarchy xDM Discovery を使用してプロファイリングし、マスター データ モデルの構造とルールの定義に役立つレビューを行うことができます。
- REST エンドポイントは、いつでも、アプリケーションが xDM で管理されているマスター データとやり取り (読み取り/書き込み) したり、マスター データ バックエンドとして xDM を使用したりするためにも使用できます。
自動データ認定
- データは、ルール、プラグイン、AI モデル (Azure Machine Learning と Azure OpenAI を含む)、およびサード パーティのサービスの組み合わせによって、エンリッチメント、標準化、品質検証を行います。 semarchy xDM は、データリサイクルを使用してこれらの自動化された品質プロセスをサポートし、最適なデータ品質を確保するためにユーザーの修正を組み込みます。
- 照合、マージ、サバイバーシップの各プロセスは、高度な自動化と情報に基づくユーザーの決定を組み合わせることで自動的に実行され、正確で信頼性の高い統合されたゴールデン レコードが生成されます。
- 認定プロセス機能によって生成されたゴールデン レコードは、ソース システム、ユーザー変更追跡、およびオプションのヒストライゼーションに完全な系列を持ちます。 これにより、データの整合性、追跡可能性、および包括的な履歴レコード追跡が保証されます。
カスタマイズされたデータ管理 アプリケーションは、ユーザーが次の目的で使用できます。
- Microsoft Entra IDを使用した認証、
- 包括的なヒストライゼーションと共に、各認定段階を通じて完全な追跡可能性を持つ認定データを参照して検索します。
- データの管理とキュレーション:
- ユーザーは、新しいデータを作成してインポートできます。
- エラーの確認と修正、
- オーバーライド オプションを使用してレコードを手動で照合およびマージする
- 必要に応じて論理的またはハードな削除を実行します。
- Data-Driven ワークフローと共同作業します。
Azure Synapse Analytics、Power BI、Azure Machine Learning、Azure OpenAI などのコンシューマー向け運用および分析アプリケーションへのゴールデン データ分散により、プラットフォーム間での中断のない統合と使用が保証されます。
- この統合では、Azure Data Factory、Semarchy xDI、または統合ソリューションが使用されます。
- Semarchy xDM には、組み込みの SQL エンドポイントと REST エンドポイントと、Azure Service Busでのイベント ベースの伝達のためのデータ通知が用意されています。
xDM メタデータ を Microsoft Purview と同期して、マスター データ フロー全体の包括的な可視性と系列を取得します。
コンポーネント
このアーキテクチャには、次のコンポーネントが含まれます。
コア コンポーネント
- Semarchy xDM は、データ チームがカスタマイズされたマスター データ管理ソリューションを迅速に開発できるコードなしのプラットフォームであり、複雑なデータ エコシステムに幅広い機能を提供します。
- Azure Database for SQL Server と PostgreSQL は、高可用性やインテリジェンスなどの組み込み機能を備えたサービスとしてのフル マネージド データベースです。 これらは、xDM で管理される Semarchy メタデータとマスター データ ハブの両方を格納します。 データ処理はデータベース 層で実行され、最高のパフォーマンスとスケーラビリティが保証されます。
- Microsoft Entra ID、ユーザー認証と Semarchy プラットフォームへのシングル サインオン。
- Azure Key Vault は、シークレットのセキュリティで保護されたストレージを提供するクラウド サービスです。 これを使用して、xDM で使用されるシークレット (パスワードなど) を暗号化、暗号化解除、格納できます。
AI コンポーネント
- Azure Machine Learning は、機械学習 (ML) プロジェクトを加速および管理するためのクラウド サービスです。 Semarchy xDM では、データ ハブ認定プロセスでカスタマイズされた Azure Machine Learning モデルを使用できます。
- Azure OpenAI は、OpenAI の強力な言語モデルへのアクセスを提供する AI サービスのスイートです。 Semarchy xDM には、コンテンツの生成、要約、翻訳など、データをエンリッチして認定するために、これらの言語モデルを使用する組み込みのプラグインが含まれています。
ガバナンス コンポーネント
- Microsoft Purview は、オンプレミスとクラウドのデータ資産を幅広く可視化するデータ ガバナンス ソリューションです。 Semarchy xDM は Microsoft Purview と統合され、データ製品およびエンドツーエンドのマスター データ系列として Semarchy Data Hubs に関する分析情報を提供します。
ソースシステムとコンシューマー システム 特に、このアーキテクチャには、Semarchy xDM で管理されるマスター データを収集する、または Semarchy xDM によって生成されたゴールデン データを送信する次のシステムが含まれています。
- Azure Synapse Analytics は、非常に並列処理アーキテクチャを使用する、高速で柔軟で信頼できるクラウド データ ウェアハウスです。 Semarchy Data Hubs は、Azure Synapseの認定されたメタデータのプロバイダーとして機能します。
- Power BI は、organization全体で分析情報を提供するビジネス分析スイートです。 Power BI を使用して、Semarchy Discovery メトリックと Semarchy Data Hubs の上にダッシュボードとレポートを構築できます。
シナリオの詳細
デジタル変革、ビジネス インテリジェンス、AI プロジェクトなどのデータドリブン イニシアチブには、正確で信頼できるデータが必要です。 マスター データ管理は、このクリーンで正確なデータを提供するための不可欠な手順です。
MDM ソリューションの一般的なユース ケースは、複数のソースからマスター データを統合しながら、このマスター データの共同作成とスチュワードシップを使用して、ゴールデン データを使用して分析および運用アプリケーションにサービスを提供できるようにすることです。
データ アプリケーションを設計する
Semarchy xDM データ管理 アプリケーションは、すべてのユーザーに、データにアクセスして管理するためのカスタマイズされたエクスペリエンスを提供します。 これらのアプリケーションを通じて、マスター データ レコードは完全にカスタマイズ可能なインターフェイスに表示され、データ管理、オーサリング、スチュワードシップ操作をサポートします。 異なるロールとペルソナを持つユーザーは、Data-Driven ワークフローで共同作業を行ってデータを管理します。 Semarchy xDM のパワーは、データ アプリケーションの設計の柔軟性にあり、ドメイン、organization、ビジネス ニーズに適応できます。
マスター データの統合と認定
Customer Relationship Management (CRM)、Enterprise Resource Planning (ERP)、またはその他のシステム (パブリッシャーと呼ばれる) などの外部ソース システムでキュレーションされたデータは、Azure Data Factoryや Semarchy xDI などの統合レイヤーを介して Semarchy xDM のデータ ハブにプッシュされます。
データの変更がデータ ハブに表示されると、データの読み込みまたは作成を通じて、認定プロセス全体が通過します。その間、そのプロセスは強化、標準化、データ品質の検証、レコードの照合とマージが行われます。
ハブからデータを使用する
データは、REST API エンドポイントを使用するか、SQL を使用して Semarchy xDM にプッシュまたは使用できます。 データ ハブを介してデータに加えられた変更は、データ通知を使用してダウンストリーム システムにリアルタイムで反映することもできます。
考慮事項
Semarchy Data Platform には、信頼性、セキュリティ、コスト最適化、オペレーショナル エクセレンス、パフォーマンス効率の問題に対処するいくつかの機能があります。 アーキテクチャの卓越性の詳細については、この記事の**適切に設計された Azure フレームワークの柱に関する記事を参照してください。
信頼性
信頼性により、アプリケーションは顧客に対する約束を確実に果たします。 詳細については、「信頼性の柱の概要」を参照してください。
Semarchy xDM は、Azure Kubernetes Service および Azure SQL Database でネイティブに実行されます。これにより、高可用性をサポートするためのすぐに使用できる機能が提供されます。
セキュリティ
意図的な攻撃や貴重なデータとシステムの誤用に対するセキュリティ シールド。 詳細については、「Microsoft learn ページのセキュリティの概要」を参照してください。
Semarchy xDM は、ロールのマッピング、参照、プロファイルの同期をサポートする ID 管理レイヤーを介してユーザーを認証します。 Microsoft Entra IDを含む複数の IDP のネイティブ サポートを提供します。 また、アクセスと操作をセキュリティで保護するためのきめ細かい特権などの高度なセキュリティ機能も含まれています。
パフォーマンス効率
パフォーマンス効率は、ユーザーのニーズをスケーリングして効果的に満たすシステムの機能です。 詳細については、Microsoft learn の「パフォーマンス効率の学習」ページを参照してください。
Semarchy xDM は、Azure Kubernetes Service および Azure SQL Database でネイティブに実行されます。 Azure Kubernetes Serviceをスケールアップおよびスケールアウトするように構成できます。パフォーマンス、スケーラビリティ、コストのバランスを取るために、Azure SQL Database をデプロイして構成できます。
コストの最適化
コストの最適化には、不要な経費を削減し、運用効率を向上させる方法を見つけることが含まれます。 詳細については、Microsoft learn の「コストの最適化に関する学習ページ」を参照してください。
実行コストは、Semarchy ソフトウェア サブスクリプション ライセンスと Azure の使用量で構成されます。 詳細については、Semarchy にお問い合わせください。
このシナリオをデプロイする
このシナリオをデプロイするには:
- Azure Kubernetes Services を使用して Semarchy xDM をデプロイします。
- Azure Key Vaultを使用するようにシークレット管理を構成します。
- Microsoft Entra IDを使用して認証を構成します。
- xDM でカスタマイズしたマスター データ モデルを設計してデプロイする
- Azure Data Factoryを使用してデータを xDM に統合します。
このドキュメントの共同作成者
- David Cox
- セドリック ブラン
- François-Xavier ニコラ (FX)