Azure Synapse Analytics から Microsoft Purview に系列を取得する方法
このドキュメントでは、データ系列の追跡とデータ ソースの取り込みを行うために、Azure Synapse ワークスペースを Microsoft Purview アカウントに接続するために必要な手順について説明します。 また、このドキュメントでは、アクティビティ カバレッジ スコープとサポートされている系列機能の詳細についても説明します。
Azure Synapse Analytics を Microsoft Purview に接続すると、サポートされているパイプライン アクティビティが実行されるたびに、アクティビティのソース データ、出力データ、アクティビティに関するメタデータがMicrosoft Purview データ マップに自動的に取り込まれます。
データ ソースが既にスキャンされ、データ マップに存在する場合、インジェスト プロセスにより、Azure Synapse Analytics からの系列情報がその既存のソースに追加されます。 ソースまたは出力がデータ マップに存在せず、Azure Synapse Analytics 系列でサポートされている場合、Microsoft Purview は Synapse Analytics のメタデータをルート コレクションの下のデータ マップに自動的に追加します。
これは、ユーザーが Azure Synapse Analytics を使用して情報を移動および変換する際に、データ資産を監視する優れた方法です。
サポートされているAzure Synapse機能
現在、Microsoft Purview は、次のAzure Synapse パイプライン アクティビティからランタイム系列をキャプチャします。
重要
ソースまたは宛先がサポートされていないデータ ストレージ システムを使用している場合、Microsoft Purview は系列を削除します。
Copy アクティビティサポート
| データ ストア | サポート |
|---|---|
| Azure Blob Storage | はい |
| Azure Cognitive Search | はい |
| Azure Cosmos DB for NoSQL * | はい |
| Azure Cosmos DB for MongoDB * | はい |
| Azure Data Explorer * | はい |
| Azure Data Lake Storage Gen1 | はい |
| Azure Data Lake Storage Gen2 | はい |
| Azure Database for MariaDB * | はい |
| Azure Database for MySQL * | はい |
| Azure Database for PostgreSQL * | はい |
| Azure Files | はい |
| Azure SQL データベース * | はい |
| Azure SQL Managed Instance * | はい |
| Azure Synapse Analytics * | はい |
| Azure Dedicated SQL プール (旧称 SQL DW) * | はい |
| Azure Table Storage | はい |
| Amazon S3 | はい |
| ハイブ* | はい |
| Oracle* | はい |
| SAP テーブル (SAP ECC または SAP S/4HANA に接続する場合) | はい |
| SQL Server * | はい |
| Teradata* | はい |
* Microsoft Purview は現在、系列またはスキャンのクエリまたはストアド プロシージャをサポートしていません。 系列はテーブルとビューのソースのみに制限されます。
セルフホステッド Integration Runtimeを使用する場合は、次の系列のサポートがある最小バージョンに注意してください。
- 任意のユース ケース: バージョン 5.9.7885.3 以降
- Oracle からのデータのコピー: バージョン 5.10 以降
- COPY コマンドまたは PolyBase を使用した Azure Synapse Analytics へのデータのコピー: バージョン 5.10 以降
コピー アクティビティ系列に関する制限事項
現在、次のコピー アクティビティ機能を使用する場合、系列はまだサポートされていません。
- バイナリ形式を使用Azure Data Lake Storage Gen1 にデータをコピーします。
- バイナリ、区切りテキスト、Excel、JSON、XML ファイルの圧縮設定。
- Azure SQL Database、Azure SQL Managed Instance、Azure Synapse Analytics、SQL Server、SAP Table のソース パーティション オプション。
- ファイルごとに最大行数を設定して、ファイル ベースのシンクにデータをコピーします。
- ソース/シンクが リソース セットの場合、列レベルの系列はコピー アクティビティでは現在サポートされていません。
系列に加えて、次のコネクタのデータ資産スキーマ ([資産 -> スキーマ] タブに表示) が報告されます。
- Azure Blob、Azure Files、ADLS Gen1、ADLS Gen2、Amazon S3 上の CSV ファイルと Parquet ファイル
- Azure Data Explorer、Azure SQL Database、Azure SQL Managed Instance、Azure Synapse Analytics、SQL Server、Teradata
Data Flowサポート
| データ ストア | サポート |
|---|---|
| Azure Blob Storage | はい |
| Azure Cosmos DB for NoSQL * | はい |
| Azure Data Lake Storage Gen1 | はい |
| Azure Data Lake Storage Gen2 | はい |
| Azure Database for MySQL * | はい |
| Azure Database for PostgreSQL * | はい |
| Azure SQL データベース * | はい |
| Azure SQL Managed Instance * | はい |
| Azure Synapse Analytics * | はい |
| Azure Dedicated SQL プール (旧称 SQL DW) * | はい |
* Microsoft Purview は現在、系列またはスキャンのクエリまたはストアド プロシージャをサポートしていません。 系列はテーブルとビューのソースのみに制限されます。
データ フロー系列に関する制限事項
- データ フロー系列は、関連するファイルを表示せずにフォルダー レベル のリソース セット を生成する場合があります。
- ソース/シンクが リソース セットの場合、列レベルの系列は現在サポートされていません。
- データ フロー アクティビティの系列については、Microsoft Purview では、関連するソースとシンクの表示のみがサポートされます。 データ フロー変換の詳細な系列はまだサポートされていません。
セキュリティで保護された Microsoft Purview アカウントにアクセスする
Microsoft Purview アカウントがファイアウォールによって保護されている場合は、セキュリティで保護された Microsoft Purview アカウントAzure Synapse Microsoft Purview プライベート エンドポイント経由でアクセスできるようにする方法について説明します。
Microsoft Purview にAzure Synapse系列を取り込む
手順 1: ワークスペースAzure Synapse Microsoft Purview アカウントに接続する
Azure Synapse ワークスペースを Microsoft Purview に接続できます。この接続により、Azure Synapseは系列情報を Microsoft Purview にプッシュできます。 「Synapse ワークスペースを Microsoft Purview に接続する」の手順に従います。 複数のAzure Synapse ワークスペースを 1 つの Microsoft Purview アカウントに接続して、包括的な系列追跡を行うことができます。
手順 2: Azure Synapse ワークスペースでパイプラインを実行する
Copy アクティビティを使用してパイプラインAzure Synapseワークスペースに作成できます。 系列データ キャプチャに他の構成は必要ありません。 系列データは、アクティビティの実行中に自動的にキャプチャされます。
手順 3: 系列レポートの状態を監視する
Azure Synapse パイプラインを実行した後、[Synapse パイプラインの監視] ビューで、次の [系列の状態] ボタンを選択して系列レポートの状態をチェックできます。 同じ情報は、アクティビティ出力 JSON ->reportLineageToPurvew セクションでも使用できます。
手順 4: Microsoft Purview アカウントで系列情報を表示する
Microsoft Purview アカウントでは、資産を参照し、「Azure Synapse Analytics」と入力できます。 キーワードを使用してData Catalogを検索することもできます。
Synapse アカウント - パイプライン ->> アクティビティを選択すると、系列情報を表示できます。
Azure Synapse Analytics リンクを監視する
Microsoft Purview ガバナンス ポータルでは、Azure Synapse Analytics リンクを監視できます。