データ品質のトラブルシューティング
すべての質問、エラーの症状については、次の解決策を使用して説明します。
スキャン ジョブから無効なソース エラーが表示される理由。
- このエラーが表示される理由は 2 つあります。
- デルタ テーブルが場所に存在しない
- ファイル内のデータが有効なデルタ形式ではありません。
Fabric デルタ テーブルのデータ品質スキャンを設定しています。 データ品質ビューにすべてのデータ資産が表示され、1 つの資産を選択し、データ品質スキャンに適用されたルールが適用されましたが、スキャンは失敗しています。
- データ品質スキャンが失敗する理由はいくつかあります。
- テーブル内のデータが正しいデルタ形式ではありません。 データが差分形式であることを確認します。
- データ マップ スキャンが正常に実行されたことを確認します。実行されていない場合は、データ マップ スキャンを再実行します。
- データ資産の以前のデータ品質実行をすべて削除します。
このエラー メッセージが表示される理由: 接続を使用できません。 最初に接続を作成してみてください。
- データをプロファイリングしたり、データ品質スキャンを実行したりするには、まずデータ ソース接続を構成する必要があります。 このアラートは、 データ ソース接続を作成した後に消えます。
プロファイルされたデータの合計数が、Azure Data Lake Storage Gen2デルタ テーブルの合計カウントより少なくなるのはなぜですか?
- Microsoft Purview データ品質は、プロファイリングに 100 万のサンプル サイズを使用しています。 このサンプルは ランダムに取得されます。 デルタ テーブルに 100 万を超えるレコードがある場合、合計カウントは一致しません。
データ製品に対してデータ品質スコアに関するアクションが見つからないのはなぜですか、データ製品ビューを参照したときにデータ製品にスコアが表示されます。
- アクションが作成されたとき、そのデータ製品のデータ品質スコアはありませんでした。 データ品質スキャンは、アクションが作成され、データ製品のスコアが公開された後に実行されました。 混乱を避けるために修復が完了したら、アクションを閉じてお勧めします。
"ルールの提案" からデータ品質ルールを作成すると、提案された 30 個のルールをすべて追加しようとすると、"日付" 列に関するエラーがスローされます
- これは、スキーマ データ型がデータ品質スキーマ ビューで サポートされていない 状態であるためです。 データ型を日付に変更するには、スキーマ管理トグルを選択して保存します。 データ型を変更すると、ルールを追加できるようになります。
提案されたすべてのルールを追加しようとすると、"ObserverId が既に存在する" というエラーがスローされます
- ほとんどの場合、同じ/同じルールが列に既に追加されています。 同じ/同じルールを列に追加しようとすると、アプリケーションはこのエラー メッセージをスローします。
スケジュールされたジョブが実行されるのではなくスキップされる理由 データ品質スキャン ジョブのスキップが表示される
- DQ ジョブには、最後の実行以降に変更が加えられた場合にのみ DQ をチェックして実行する機能があります。これは、差分履歴をチェックするために実行されます。 スキップされた場合は、前回の実行以降にデータに変更がなく、DQ の Spark 実行が実行されていないことを意味します。 Skipped!= 失敗しました
[プロファイル データ] タブを選択すると、事前に選択された列の数が表示されます。 選択した列を変更できますか?
- Microsoft Purview データ品質は、AI 支援プロファイリング ソリューションを使用しています。 事前選択された列は、Microsoft Purview データ プロファイル AI を使用して選択されます。 事前選択された列の選択を解除し、列の重要度に基づいて再選択し、[ 保存して実行 ] を選択してプロファイルを実行できます。
データ品質資産リスト ページからプロファイルとスキャンにデータ資産の一部を選択できないのはなぜですか?
- いくつかの理由があります。
- これらのデータ資産は、サポートされていないデータ ソースから発行されます
- これらのデータ資産のファイル形式はサポートされていません
サポートされているデータ ソースに対してプロファイル ジョブが失敗する理由
- スキーマを確認して、スペースを含む列名がないことを確認します。 現在のバージョンでは、スペースを含む列名はサポートされていません。 エンジニアは修正プログラムのリリースに取り組んでいます。
CSV、Parquet、テキスト ファイルのデータ品質スキャンとデータ プロファイルを実行できないのはなぜですか?
- Microsoft Purview データ品質は現在、Parquet のデルタ形式のみをサポートしています。 Purview データ品質は、CSV、テキスト、Parquet (デルタなし) をサポートしていません。
ルールの一覧にデータ品質の鮮度ルールが表示されないのはなぜですか?
- データ品質の鮮度は、Azure SQL テーブルではサポートされていません。 データ資産がAzure SQLテーブルの場合、データ資産を選択して適用する鮮度ルールは一覧に表示されません。
DQ スキャン ジョブが失敗しました。 "内部サービス エラーが発生しました、再試行してください、または Microsoft サポートにお問い合わせください" というエラー メッセージが表示されます。 トラブルシューティングを行うにはどうすればよいですか?
- このエラー メッセージでスキャンが失敗する理由は多数あります。
- ユーザーがデータ品質スキャンにアクセスしようとしているワークスペースに対して現在の操作を実行する権限がありません。
- エラー コード 403。つまり、データ ソースへのアクセスは一時的に禁止されています。
- マネージド ID (MSI) のデータ ソースへのアクセス権が付与され、有効期限が切れています。
- Purview マネージド ID (MSI) には、Microsoft Fabric ワークスペースへの共同作成者アクセス権が必要です。 Microsoft Purview MSI の共同作成者アクセスが Microsoft Fabric ワークスペースに提供されていない場合、データ品質スキャンは失敗します。
デルタ形式を使用しているにもかかわらず、デルタ形式エラーが発生する理由
- Spark 3.4 Delta 2.4 をサポートしています。 Delta Lake バージョン 2.4 を使用していることを確認します。
テーブル参照規則を構成するために参照データ資産を選択したときにエラーが表示される理由
- その理由は、同じガバナンス ドメインのデータ製品にリンクまたは参照されていないデータ資産を選択したことです。 適切なデータ資産を選択するには:
[参照テーブルの選択] をクリックします (次のスクリーンショットを参照してください)
現在の選択を取り消す (下のスクリーンショットを参照)
現在の選択を取り消した後、別のアセットを選択します。
Microsoft Purview MSI のデータ ソースへのアクセスを構成するにはどうすればよいですか?
- MSI 構成ガイドを次に示します。詳細については、このドキュメントを参照してください。
すべてのデータ ソースがプライベート エンド ポイント (vNet) の背後にあります。Purview はデータ品質スキャンのために vNet 内のデータにアクセスできますか?
- はい。Purview では、DQ スキャンのマネージド vNet がサポートされます。 ここでは、Purview マネージド vNet 構成ドキュメントを参照してください。
カスタム ルールを作成するための式関数に関する適切なドキュメントはどこにありますか?
- ドキュメントの参照と例は、[ データ品質ルール] ページにあります。
Fabric Lakehouse テーブルの DQ スキャンが失敗する理由
- ファブリック Lakehouse の Purview データ マップのサポートはプライベート プレビュー段階です。 Purview DQ を使用して Fabric Lakehouse テーブル DQ スキャンを有効にするには、Purview テナントを Purview データ マップと Fabric One Lake に許可する必要があります。 Fabric Lakehouse サポートのテナントの一覧を表示するには、Microsoft アカウント チームにお問い合わせください。