Azure でのクラウド規模の分析のためのチームと機能の概要
クラウド規模の分析では、取り込み、処理、分析、消費、視覚化などのチームを、水平方向にサイロ化されたチームでの作業から、各階層でのアジャイルな垂直方向のクロス ドメイン チームに移行することが推奨されます。 データ プラットフォーム運用やプラットフォーム運用のようなプラットフォーム チームは、共通のプラットフォーム グループにグループ化されます。
プラットフォーム グループ
プラットフォーム グループは、次の 2 つのチームで構成されます。
- プラットフォーム運用: プラットフォーム運用は、プラットフォーム グループの一部です。 クラウド プラットフォームを運用および所有しています。 このチームは、クラウド規模の分析内で、ネットワーク、ピアリング、コア サービス、監視など、データ管理ランディング ゾーンとデータ ランディング ゾーンのスキャフォールディングをインスタンス化する責任を負います。
これらは通常、クラウド規模の分析のロールアウトを開始するときに、データ プラットフォーム運用がデータ ランディング ゾーンのペルソナ用の IT サービスマネジメント インターフェイスを開発するのに役立ちます。 これらのインターフェイスは、データ製品をオンボードし、セキュリティを設定し、データ ランディング ゾーンにサービスを追加するため、サービスに対する REST API 呼び出しとなる傾向があります。
- データ プラットフォーム運用: データ プラットフォーム運用グループは、プラットフォーム グループ内に置かれます。 データ プラットフォーム運用により、一元監視、カタログ化、データ ランディング ゾーンと製品に対する再利用可能なポリシーなどのサービスが実現されます。 データ プラットフォーム運用はデータ管理ランディング ゾーンを所有し、チームのその他の責任は次のとおりです。
インフラストラクチャの開発
- データ ランディング ゾーン用のコードとしてのインフラストラクチャ テンプレートを開発します。テンプレートは時間の経過とともに更新および保守する必要があり、複数のシナリオに対応できます。
- 他のチームからのフィードバック サイクルに基づいて、テンプレートに優先順位を付け、新しい機能を追加します。
- 標準的なインフラストラクチャ テンプレートを生成するための共通の目標を持つアジャイル フレームワークで作業します。
新しいデータ ランディング ゾーンの要求に対応する
データ プラットフォーム運用チームは、作成したテンプレートをサポートするためのツールとサービスを用意する必要があります。 ServiceNow のような IT サービスマネジメント ツールを使用すると、新しいデータ ランディング ゾーンを作成するためにデータ プラットフォーム運用チームによって承認されたチケット要求を処理できます。 承認されると、新しいランディング ゾーンが基本テンプレートからフォークされ、新しい DevOps プロジェクトが作成され、パイプラインによってテンプレートが新しい環境にデプロイされます。
データ プラットフォーム運用のフィードバックと拡張のループ
テンプレートを拡張するには、次の 2 つのオプションが使用できます。
インフラストラクチャ テンプレート インスタンスを担当するチームは、DevOps テンプレートとデプロイを拡張します。 チームがテンプレートで問題を発見した場合、データ プラットフォーム運用はチームをサポートし、フォークからテンプレートに変更をマージできます。
他のデータ ランディング ゾーン チームは、チケットの優先順位に基づいてテンプレートを拡張する改善チケットとバックログ チケットを作成できる必要があります。
クラウド規模の分析のための Azure ポリシー
クラウド規模の分析の原則では、データ、コスト、パターンを保護するためのセルフサービスの機敏性とガードレールが重視されます。 データ プラットフォーム運用はプラットフォーム運用と連携して品質を定義し、これらのチームは共同作業を行って特定のデータ ポリシーを実装します。 データ プラットフォーム運用は、レビュー プロセスに従って、製品に追加される新機能を更新および維持する必要があります。
データ管理ランディング ゾーンのデプロイと運用
データ プラットフォーム運用とプラットフォーム運用は、連携してデータ管理ランディング ゾーンのデプロイと運用を行います。 データ管理ランディング ゾーンは、データ ランディング ゾーンへの共有サービスを提供し、それがクラウド規模の分析の中心的な役割を果たせるようにします。
データ ランディング ゾーン運用
データ ランディング ゾーン運用は、データ アプリケーション チームの要求に対応しながら、データ ランディング ゾーンのインスタンスを運用および維持します。 データ プラットフォーム運用と同じサービスの多くを提供しますが、データ ランディング ゾーンに限定されています。
作業はデータ ランディング ゾーンの作成時に作成されるフォークされたリポジトリで行われます。 ポリシーの変更を要求するには、これらの例外を許可するために、データ プラットフォーム運用へのチケットを作成する必要があります。
データ製品のカスタマイズのためにアプリケーション チームをサポートする
データ ランディング ゾーン運用チームは、pull requests を使用してそれぞれのデータ製品リポジトリに新しい製品テンプレートを送信することで、データ アプリケーション チームをサポートします。
ランディング ゾーンの所有者である Azure DevOps により、変更の承認はデータ ランディング ゾーン運用にルーティングされます。
承認された場合、テンプレートの変更はメイン ブランチに移動され、継続的インテグレーションや継続的開発を介して運用にデプロイされ、データ製品のプラットフォームやインフラストラクチャが更新されます。
拒否された場合、データ ランディング ゾーン運用はデータ アプリケーション チームと連携して、変更を修正します。
新しいデータ製品の要求に対応する
データ ランディング ゾーン運用は、新しいデータ製品を作成するためにデータ アプリケーション チームをサポートします。 データ アプリケーション チームがサポートを要求すると、IT サービスマネジメント ソリューション (自動化ロジック アプリなど) によって、新しいデータ アプリケーション リポジトリの承認またはデプロイが調整されます。 データ ランディング ゾーン運用には、新しい要求が通知され、デプロイが承認または拒否されます。 承認されると、新しい DevOps プロジェクトが作成され、メイン テンプレートと成果物がフォークされ、新しいデータ アプリケーションがデプロイされます。
Azure Well-Architected Framework の遵守
データ ランディング ゾーン運用は、データ ランディング ゾーンを担当しており、チームは、コスト最適化、信頼性、セキュリティに関するガイダンスを提供する Azure Well-Architected Framework に習熟していることが推奨されます。
通常の業務
データ ランディング ゾーン運用は、フィードバックの収集や拡張の要求を含むビジネス タスクを担当します。 これらの要求は優先順位付けされ、定期的にデータ プラットフォーム運用と共有されます。 チームは、インシデントと正常性イベントのデータ ランディング ゾーンを監視します。 重大なインシデントの間に他の運用チームと連携し、問題の緩和、バックアップの復元、フェールオーバー、およびサービスのスケーリングを行います。
データ アプリケーション チーム
データ アプリケーション チームは、新しいデータ製品をビジネスに提供します。 データ統合の読み取りデータ ストアから取得されたソースはビジネス ソリューションに変換されます。 使用のためにデータが変換された場合は、データ製品として分類されます。 このチームは、多くの場合、ビジネスを支援して迅速に価値ある成果を達成できる技術スペシャリストと対象分野のエキスパートで構成されています。 データ製品には、単純なレポートや新しいデータ製品から、データ駆動型 Kubernetes Web アプリを使用したカスタム セットアップまで、さまざまな範囲があります。
新しいデータ製品
製品所有者とビジネス担当者は、必要に応じて新しいデータ製品の要求を作成します。 データ オフィスは、要件を評価し、さまざまな専門知識を持つ新しいデータ アプリケーション チームを編成します。 このチームは、そのデータ製品に必要なデータ製品を特定し、データ アセットへのアクセス許可を要求します。 新しいデータ製品が必要な場合、データ アプリケーション チームはその製品を取り込むためのチケットを受け取ります。 このチームは、新しいデータ製品に必要なサービスを特定し、データ アプリケーションのデプロイ プロセスを介して新しいデータ製品を要求します。 データ アプリケーション チームは、データ アプリケーションをデプロイするために、マスター データ アプリケーション テンプレートからフォークされたリポジトリを受け取ります。
データ製品を認定する
セルフサービス プラットフォームでは、すべてのユーザーがレポートの作成、Azure Data Lake 開発者ストレージ アカウントでのデータ製品のキュレーション、およびビジネスで使用するデータ製品のリリースを行うことができます。 データ製品レビューの要求は、次の場合に発生します。
- ビジネス スポンサーが、データ製品を認定するためにチケットを記録。
- データ プラットフォーム運用が、人気度に基づいてデータ製品を推薦。
データ アプリケーション チームは、認定プロセス、未定義のデータ プラットフォーム運用、デジタル セキュリティを推進することができます。これには次が含まれます。
- データ変換とビジネス ロジックを検証するために考案されたテスト
- セキュリティ、コンプライアンス、またはパフォーマンスへの影響の評価
認定が行われると、成果物は照合されてデータ製品リポジトリにアップロードされ、ドキュメントが発行され、データ アプリケーション チームに通知されます。
製品サポート
ユーザーはフィードバックの送信を、IT サービスマネジメント ソリューションを使用して、またはチケットがデータ製品の所有者にルーティングされるように製品内で直接、行うことができます。 この担当者は、要求をトリアージし、データ アプリケーション チームにエスカレーションして修正するか、フィードバックを製品バックログに入力して製品計画サイクル中にレビューするかを決定します。
データ サイエンス アプリケーション チーム
データ サイエンス製品チームはデータ製品を作成しますが、その機能がデータ製品につながるという点で、他とは異なっています。 その結果、発行されたモデルが他のユーザーに使用されるデータ製品になり、そのパターンはデータ ランディング ゾーンに関連付けられている Machine Learning 運用モデルに従います。
データ サイエンス製品チームは、ユース ケースに関連するデータ製品を検索して見つけることから始めます。 データ ガバナンス ソリューションを使用すると、データ品質、系列、類似のデータセット、プロファイルなどの詳細情報を表示できます。 サンプル データセットが使用可能かどうか、およびデータがプロジェクトに関連するかどうかが調査されます。 データ カタログまたは Microsoft Entra アクセス パッケージを介してデータ アクセスが許可されると、チームはデータ ランディング ゾーンのサービスを使用してデータを探索し、分析します。
このチームは、すべてのデータを処理する前にローカルまたはリモートのコンピューティングを使用して、サンプル データ製品を処理および分析します。 大規模なデータ製品を持つリモート コンピューティング先を最適化して、Azure Machine Learning 内で追跡される実行、出力、およびモデルを使用して機械学習モデルをトレーニングし、開発することができます。
チームが機械学習モデルを開発したら、運用を開始します。 このために、チームを拡張して、データ アプリケーション チームの役割で説明されているように、モデルを新しいデータ製品に移すのを支援できる DataOps と機械学習のエンジニアを追加します。
データ サイエンス チームは、関連付けられたデータ製品の所有者と協力し、機械学習の運用手法を使用して、フィードバックの取得、サポート、運用環境でのモデルの解決と更新を行っていきます。
アナリスト
アナリストは、ビジネス アナリスト、パワー ユーザー、データを最適化して新しいビジネスの分析情報を生み出すことに関心のある組織内のすべての人を含む大規模なグループを表します。 セルフサービスが使用可能であることは、正式な IT 予算とリソースを確保することなく、アナリストが分析とデータにアクセスできるようサポートする重要な原則です。
ヒント
企業は、アナリストによって作成された分析情報を、他に向けたビジネス利用に認定されるような今後の潜在的なデータ製品のセットと見なす必要があります。
データの検索と要求
アナリストは、データ マーケットプレースやカタログを参照して、関連するデータ製品を検出します。
そのデータ アセットが見つからない場合や存在しない場合は、アナリストはデータ アプリケーション チームと共にサポート チケットを開きます。 データ アプリケーション チームは、データセットを検索して支援したり、その要求をバックログに追加して別の開発サイクルで評価したりできます。
データセットが存在する場合、分析によりカタログに記載されているアセットの Microsoft Entra グループ メンバーシップを特定し、Azure アクセス パッケージ ポータルを使用して Microsoft Entra グループへのアクセスを要求できます。
新しいレポートの作成
アナリストは、Microsoft Power BI などのツールを使用して、データ製品をレポートに統合できます。 これらのレポートは、個人での利用や、認定データ製品の公開に使用することができます。 組織全体でレポートを公開する前に、セキュリティ、コンプライアンス、パフォーマンスに関するデータ製品認定プロセスで認定を受ける必要があります。
必要に応じてクエリを実行する
クラウド規模の分析には、アナリストが権限に基づいてデータに対してクエリを実行できる共有ワークスペースがあります。 データ製品の場合、必要に応じてクエリを実行する専用のコンピューティングを用意するのが一般的です。 どちらの場合も、アナリストはデータ ランディング ゾーンのデータ製品に対してクエリを実行できます。 また、アクセス許可の対象にもなります。 クエリの結果を Azure Data Lake ワークスペースに保存して、再度使用することができます。
ユーザー フィードバック
アナリストは活用されていないソース情報と機能強化を提供する存在であり得るため、企業はデータ ランディング ゾーンごとにユーザー フィードバック グループを作成することを強くお勧めします。
アナリストは、これらのユーザー グループに参加するだけでなく、データ アセットのフィードバックをデータ アプリケーション チームに送信したり、データ カタログの問題をデータ カタログまたは IT サービスマネジメント ソリューション内で送信したりする必要があります。 データ処理の問題は、データ アプリケーション チームに送信することも、IT サービスマネジメント ソリューション内で送信することもできます。
Note
IT サービスマネジメントは、フィードバックを送信して問題をエスカレーションするための一元的な場所として機能する必要があります。 個々のチームに直接フィードバックを送信する方が、より早いソリューションのように見えるかもしれませんが、この方法では、プラットフォームの課題をビジネス上で可視化することはできません。 データ アプリケーション チームに適切なルーティングを行う IT サービスマネジメント ソリューションでは、企業全体を一望できるビジネス環境が提供されます。
責任の割り当てマトリックス
- 責任: タスクを完了する人
- 説明責任: タスクに対する意思決定を下し、行動を起こす人
- 助言: 意思決定とタスクに関する連絡を受ける人
- 通知: プロジェクトの間、意思決定と行動について更新する人
| ロール | クラウド環境 | データ管理ランディング ゾーン | データ ランディング ゾーン: | データ統合 | データ製品 |
|---|---|---|---|---|---|
| サービス所有者 | 通知 | 説明責任 | 助言 通知 | 助言 通知 | 助言 通知 |
| データ ランディング ゾーン サービス所有者 | 通知 | 助言 通知 | 説明責任 | 説明責任 | 説明責任 |
| クラウド プラットフォーム運用 | 責任 | 助言 | 助言 | 助言 | 助言 |
| データ プラットフォーム運用 | 助言 | 責任 | 責任 | 助言 | 助言 |
| データ ランディング ゾーン運用 | 通知 | 責任 | 責任 | 責任 | 責任 |
| データ アプリケーション チーム | 通知 | 通知 | 通知 | 責任 |