Microsoft Purview でデータ マップの作成を監視する
Microsoft Purview では、さまざまな種類のデータ ソースをスキャンし、時間の経過に伴うスキャン状態を表示できます。 他のサービスを Microsoft Purview に接続し、取り込まれた資産/リレーションシップの傾向を表示することもできます。 この記事では、データ マップの作成を監視し、鳥瞰図を取得する方法について説明します。
スキャンの実行を監視する
次の方法で Microsoft Purview ガバナンス ポータルを開きます。
- https://web.purview.azure.comに直接移動し、Microsoft Purview アカウントを選択します。
- Azure portalを開き、Microsoft Purview アカウントを検索して選択します。 [Microsoft Purview ガバナンス ポータル] ボタンを選択します。
Microsoft Purview アカウントを開き、 データ マップ ->Monitoring を選択します。 このページにアクセスするには、任意のコレクションに データ ソース管理者 ロールが必要です。 また、データ ソース管理者特権を持つコレクションに属するスキャン実行を確認できます。
大まかな KPI には、一定期間内のスキャンの合計実行数が表示されます。 期間の既定値は過去 30 日間で、過去 7 日間を選択することもできます。 選択した時間フィルターに基づいて、成功、完了、例外、失敗、取り消し、進行中のスキャン実行の分布を週別または日単位でグラフに表示できます。 検出フェーズとインジェスト フェーズを含む、スキャン実行のエンドツーエンドの状態です。 詳細については、「 スキャン実行の詳細 」セクションを参照してください。
グラフの下部には、[ 詳細を表示] リンクが表示され、さらに詳しく調べることができます。 リンクによって [ スキャンの状態 ] ページが開きます。 ここでは、スキャン名と、その期間の状態が成功、例外で完了、失敗、または取り消された回数を確認できます。 ソースの種類で一覧をフィルター処理することもできます。
スキャン名を選択すると、特定の スキャンをさらに探索できます。 スキャン履歴ページに接続され、実行の詳細を含むスキャン実行の一覧を見つけることができます。
実行 ID をクリックすると、スキャン実行の詳細の詳細をチェックできます。
既知の制限事項:
現時点では、この監視エクスペリエンスには次の情報は含まれていません。 対応するスキャン実行の詳細をチェックできます。
- Azure SQL Database の系列抽出スキャンの実行については説明しません。
- Azure Synapse Analytics ワークスペース、Azure サブスクリプション/リソース グループ、AWS アカウントのスキャンでは、親スキャン実行の状態/カウントのみがキャプチャされますが、リソースごとの子スキャン実行はキャプチャされません。
実行の詳細をスキャンする
別の場所から特定のスキャンのスキャン実行履歴に移動できます。
- 「スキャン実行の監視」セクションの説明に従って、データ マップ ->監視に移動します。
- [データ マップ] ->[ソース] ->目的のデータ ソースを選択>、[スキャン]、[最近のスキャン]、または [最近失敗したスキャン] を参照してください。
- [データ マップ] ->[Collections] に移動>目的のコレクション ->Scans ->詳細を表示するスキャン名を選択します。
スキャン実行履歴の保持期間は 90 日です。
実行 ID をクリックすると、スキャン実行の詳細の詳細をチェックできます。
上部のセクションでは、次の情報を含むスキャン実行の概要を示します。
- 実行 ID: この特定のスキャン実行を識別するために使用される GUID。
- スキャンの種類: 手動またはスケジュールされたスキャン。
- 実行の種類: 完全スキャンまたは増分スキャン。
- スキャン ルール セット: 実行で使用されるスキャン ルール セット (該当する場合)。
- スキャンの実行状態: 全体的なスキャン状態。 メタデータ検出とインジェスト フェーズの状態が組み合わされています。
- スキャン実行時間: エンドツーエンドの実行時間と開始時刻/終了時刻。
メタデータ検出 セクションでは、Purview がソースに接続し、メタデータ/系列を抽出し、データを分類する検出フェーズのメトリックを要約します。
検出状態:
状態 説明 完了 メタデータの検出は成功します。 例外を含む完了 メタデータの検出は完了しますが、一部の基になる操作が失敗し、スキャン結果に資産、メタデータ、または分類が見つからない可能性があります。 例外ログで詳細を表示できます。 失敗 メタデータの検出が失敗します。 エラーの詳細をチェックするには、その横にある [詳細情報] リンクをクリックします。 キャンセルされました スキャンの実行はユーザーによって取り消されます。 進行中で メタデータの検出が進行中です。 キューに登録済み メタデータ検出は、使用可能な統合ランタイム リソースを待機しています。
セルフホステッド統合ランタイムを使用する場合は、マシンの仕様 (CPU とメモリ) に応じて、各ノードで同時に多数のスキャンを同時に実行できることに注意してください。 さらに多くのスキャンがキューに入っている状態です。調整 メタデータ検出が調整されています。 これは、現時点では、この Microsoft Purview アカウントのスキャン実行が、許可されている最大同時実行数よりも多く実行されていることを意味します。 制限の詳細については、 こちらを参照してください。 この特定のスキャン実行は待機中であり、他の進行中のスキャンが完了すると実行されます。 スキャンの実行は、"調整済み" または "キューに入っている" 状態では課金されません。
検出された資産: ソースから列挙された資産の数。 完全スキャンと増分スキャンの両方で、構成されたスコープ内のすべての資産が、前回のスキャン実行以降に既存の資産であるか、新しく作成/更新された資産であるかに関係なく含まれます。 増分スキャンでは、新しく作成または更新された資産に対してのみ詳細なメタデータが抽出されます。
分類された資産: 資産に一致する分類があるかどうかに関係なく、データを分類するためにサンプリングされた資産の数。 これは、 サンプリング メカニズムに基づいて検出された資産のサブセットです。 増分スキャンの場合は、新しく作成または更新された資産のみが分類用に選択できます。
期間: 検出フェーズの期間と開始時刻/終了時刻。
[メタデータ インジェスト ] セクションでは、Purview によってデータ マップに識別されたメタデータとリレーションシップが設定されるインジェスト フェーズのメトリックが要約されます。
インジェストの状態:
状態 説明 完了 すべての資産とリレーションシップがデータ マップに正常に取り込まれます。 例外を含む完了 (以前の "部分的に完了") 資産とリレーションシップの一部がデータ マップに正常に取り込まれますが、一部は失敗します。 例外ログで詳細を表示できます。 失敗 インジェスト フェーズは失敗します。 キャンセルされました スキャン実行はユーザーによって取り消されるため、インジェストは一緒に取り消されます。 進行中で インジェストが実行中です。 キューに登録済み インジェストは、使用可能なサービス リソースを待機しているか、スキャンがメタデータを検出するのを待機しています。 取り込まれた資産: データ マップに取り込まれた資産の数。 増分スキャンの場合、新しく作成または更新された資産のみが含まれます。その場合は、"検出された資産" 数よりも少ない可能性があります。 ファイル ベースのソースをスキャンする場合、リソース セットの集計前の未加工の資産数です。
取り込まれたリレーションシップ: データ マップに取り込まれたリレーションシップの数。 系列やその他のリレーションシップ (外部キーリレーションシップなど) が含まれます。
期間: インジェスト期間と開始時刻/終了時刻。
例外ログを表示する (プレビュー)
重要
この機能は現在プレビューの段階です。 Microsoft Azure プレビューの補足使用条件には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される追加の法的条件が含まれています。
一部の資産またはリレーションシップがソースから検出できない場合、またはスキャンの実行中にデータ マップへの取り込みに失敗した場合。 たとえば、状態は例外で完了します。次のことができます。
- スキャンを選択します。
- エラーまたは例外があるスキャンの実行 ID を選択します。
- スキャン実行の詳細パネルで [ログのダウンロード] ボタンを選択します。 エラーの詳細をキャプチャする例外ログ ファイルが提供されます。
検出フェーズ ログ
次の表は、検出フェーズ ログ ファイルのスキーマを示しています。
| 列 | 説明 |
|---|---|
| TimeStamp | 検出操作が発生した場合の UTC タイムスタンプ。 |
| ErrorCode | 例外のエラー コード。 |
| OperationName | これには次の値が含まれています。 - 列挙: 特定のスコープの下で子オブジェクトを列挙する操作を示します。たとえば、コンテナーの下にあるフォルダーやファイルを一覧表示し、データベースの下のテーブルを一覧表示します。 エラーが発生した場合、操作項目の子オブジェクトはスキャン結果に含まれません。 - GetMetadata: オブジェクトのメタデータ (テーブル、ファイルなど) を抽出する操作を示します。エラーが発生した場合、操作項目の資産に完全なメタデータが含まれていない可能性があります。 - SampleResourceSet: ファイル ベースのデータ ソースをスキャンするときに、リソース セット パターンに一致する最新のファイルをサンプリングする操作を示します。 エラーが発生した場合、操作項目が属するリソース セットが分類/スキーマを見逃す可能性があります。 - ReadData: ソースからサンプル データを取得する操作を示します。 エラーが発生した場合、操作項目は分類されません。 ファイル ベースのソースの場合は、スキーマを見逃す可能性もあります。 - 分類: 分類を適用する操作を示します。 エラーが発生すると、操作項目が分類を見逃す可能性があります。 - GenerateAsset: 検出されたメタデータを Microsoft Purview 資産に変換する操作を示します。 通常、システム エラーが原因でエラーが発生した場合、操作項目の資産は最後にデータ マップに表示されません。 |
| OperationItem | 失敗した資産/リレーションシップの識別子。通常は完全修飾名を使用します。 |
| メッセージ | どのような理由により、どの資産/リレーションシップが検出できなかったかについて詳しく説明します。 |
既知の制限事項:
- 検出フェーズ ログは、スキャンに Azure 統合ランタイムまたはマネージド Virtual Network統合ランタイムを使用する場合にサポートされます。
- 検出フェーズ ログは、Azure または Power BI データ ソースをスキャンするときにサポートされます。
- 現在、スキャンの実行中に発生したすべての例外がキャプチャされない場合があります。
インジェスト フェーズ ログ
次の表は、インジェスト フェーズ ログ ファイルのスキーマを示しています。
| 列 | 説明 |
|---|---|
| TimeStamp | インジェスト操作が発生した場合の UTC タイムスタンプ。 |
| ErrorCode | 例外のエラー コード。 |
| OperationItem | 失敗した資産/リレーションシップの識別子。通常は完全修飾名を使用します。 |
| メッセージ | どのような理由により、どの資産/リレーションシップが取り込みに失敗したかについて詳しく説明します。 リソース セットのインジェストエラーが発生した場合は、同じ名前付けパターンに一致する複数の資産に適用される可能性があり、メッセージには影響を受けるカウントが含まれます。 |
リンクの監視
他のサービスを Microsoft Purview に接続して "リンク" を確立すると、そのサービスの資産のメタデータと系列を Microsoft Purview で使用できるようになります。 現在、リンクは Azure Data Factory および Azure Synapse Analytics でサポートされています。
リンク経由で取り込まれた資産と関係を監視するには、
Microsoft Purview アカウント -> 開く Microsoft Purview ガバナンス ポータル ->Data map ->Monitoring ->Links に移動します。 [監視] タブにアクセスするには、任意のコレクションに データ ソース管理者 ロールが必要です。また、データ ソース管理者特権を持つコレクションに属する結果を確認できます。 Azure Data Factoryおよび Azure Synapse Analytics リンクを監視するには、ルート コレクションに対するアクセス許可が必要です。
ソースの合計数、取り込まれた資産の数、リレーションシップ (系列)、その後に時間の経過に伴うトレンド チャートなど、高レベルの KPI を確認できます。 次にさらにフィルターを適用して、結果を絞り込むことができます。
- ソースの種類
- ソース名
- 日付範囲: 既定値は 30 日です。 過去 7 日間またはカスタム日付範囲を選択することもできます。 リテンション期間は 45 日です。
メトリックは、右上隅に表示される日付時刻まで報告されます。 また、集計は 1 時間ごとに行われます。
グラフの下部には、[ 詳細を表示] リンクが表示され、さらに詳しく調べることができます。 [ リンクの状態] ページには、ソースの種類、取り込まれた資産、取り込まれたリレーションシップ、最後の実行日時と共にソース名の一覧が表示されます。 前のページのフィルターは引き継がれ、ソースの種類、ソース名、日付範囲でリストをさらにフィルター処理できます。
ソース名をクリックすると、各ソースにドリルダウンして次のレベルの詳細を表示できます。 たとえば、Azure Data Factoryでは、各パイプライン アクティビティが資産と関係を Microsoft Purview に報告する方法と、名前が
<pipeline_name>/<activity_name>の形式で表示されます。
既知の制限
- Azure Data FactoryとAzure Synapse Analytics の場合、現在、このリンク監視では、コピー アクティビティから生成された資産とリレーションシップがキャプチャされますが、データ フローと SSIS アクティビティはキャプチャされません。
- 集計と日付フィルターは UTC 時刻です。
スキャンが実行されなくなりました
Microsoft Purview スキャンが正常に実行されたのに失敗した場合は、次のことをチェックします。
- 最初にエラー メッセージを確認して、エラーの詳細を確認します。
- リソースの資格情報が変更されているか、ローテーションされていますか? その場合は、スキャンで正しい資格情報を使用するように更新する必要があります。
- ストレージ アカウントの更新を妨げるAzure Policyはありますか? その場合は、 Microsoft Purview 例外タグ ガイド に従って、Microsoft Purview アカウントの例外を作成します。
- セルフホステッド統合ランタイムを使用していますか? 最新のソフトウェアで最新の状態であり、ネットワークに接続されていることを確認します。