Azure Synapse Analytics에서 Microsoft Purview로 계보를 가져오는 방법

아티클
09/22/2023

이 문서에서는 데이터 계보를 추적하고 데이터 원본을 수집하기 위해 Azure Synapse 작업 영역을 Microsoft Purview 계정에 연결하는 데 필요한 단계를 설명합니다. 또한 이 문서는 활동 검사 scope 및 지원되는 계보 기능의 세부 정보도 가져옵니다.

Azure Synapse Analytics를 Microsoft Purview에 연결하면 지원되는 파이프라인 활동이 실행될 때마다 활동의 원본 데이터, 출력 데이터 및 활동에 대한 메타데이터가 Microsoft Purview 데이터 맵 자동으로 수집됩니다.

데이터 원본이 이미 검사되어 데이터 맵에 있는 경우 수집 프로세스는 Azure Synapse Analytics의 계보 정보를 기존 원본에 추가합니다. 원본 또는 출력이 데이터 맵에 없고 Azure Synapse Analytics 계보에서 지원되는 경우 Microsoft Purview는 Synapse Analytics의 메타데이터를 기본 도메인 루트 컬렉션 아래의 데이터 맵에 자동으로 추가합니다.

이는 사용자가 Azure Synapse Analytics를 사용하여 정보를 이동하고 변환할 때 데이터 자산을 모니터링하는 훌륭한 방법이 될 수 있습니다.

지원되는 Azure Synapse 기능

현재 Microsoft Purview는 다음 Azure Synapse 파이프라인 작업에서 런타임 계보를 캡처합니다.

중요

원본 또는 대상이 지원되지 않는 데이터 스토리지 시스템을 사용하는 경우 Microsoft Purview는 계보를 삭제합니다.

복사 작업 지원

데이터 저장소	지원
Azure Blob 저장소	예
Azure Cognitive Search	예
NoSQL용 Azure Cosmos DB *	예
Azure Cosmos DB for MongoDB *	예
Azure Data Explorer *	예
Azure Data Lake Storage Gen1	예
Azure Data Lake Storage Gen2	예
Azure Database for MariaDB *	예
Azure Database for MySQL *	예
Azure Database for PostgreSQL *	예
Azure Files	예
Azure SQL 데이터베이스 *	예
Azure SQL Managed Instance *	예
Azure Synapse 분석 *	예
Azure Dedicated SQL 풀(이전의 SQL DW) *	예
Azure Table Storage	예
Amazon S3	예
하이브*	예
오라클*	예
SAP 테이블 (SAP ECC 또는 SAP S/4HANA에 연결할 때)	예
SQL Server *	예
Teradata *	예

* Microsoft Purview는 현재 계보 또는 검사에 대한 쿼리 또는 저장 프로시저를 지원하지 않습니다. 계보는 테이블 및 뷰 원본으로만 제한됩니다.

자체 호스팅 Integration Runtime 사용하는 경우 계보가 지원되는 최소 버전은 다음과 같습니다.

모든 사용 사례: 버전 5.9.7885.3 이상
Oracle에서 데이터 복사: 버전 5.10 이상
COPY 명령 또는 PolyBase를 통해 Azure Synapse Analytics에 데이터 복사: 버전 5.10 이상

복사 작업 계보에 대한 제한 사항

현재 다음 복사 작업 기능을 사용하는 경우 계보는 아직 지원되지 않습니다.

이진 형식을 사용하여 Azure Data Lake Storage Gen1에 데이터를 복사합니다.
이진, 구분된 텍스트, Excel, JSON 및 XML 파일에 대한 압축 설정입니다.
Azure SQL Database, Azure SQL Managed Instance, Azure Synapse Analytics, SQL Server 및 SAP Table에 대한 원본 파티션 옵션입니다.
파일당 최대 행을 설정하여 파일 기반 싱크에 데이터를 복사합니다.
원본/싱크가 리소스 집합인 경우 열 수준 계보는 현재 복사 작업에서 지원되지 않습니다.

계보 외에도 데이터 자산 스키마(자산 -> 스키마 탭에 표시됨)는 다음 커넥터에 대해 보고됩니다.

Azure Blob, Azure Files, ADLS Gen1, ADLS Gen2 및 Amazon S3의 CSV 및 Parquet 파일
Azure Data Explorer, Azure SQL Database, Azure SQL Managed Instance, Azure Synapse Analytics, SQL Server, Teradata

Data Flow 지원

데이터 저장소	않음
Azure Blob 저장소	예
NoSQL용 Azure Cosmos DB *	예
Azure Data Lake Storage Gen1	예
Azure Data Lake Storage Gen2	예
Azure Database for MySQL *	예
Azure Database for PostgreSQL *	예
Azure SQL 데이터베이스 *	예
Azure SQL Managed Instance *	예
Azure Synapse 분석 *	예
Azure Dedicated SQL 풀(이전의 SQL DW) *	예

* Microsoft Purview는 현재 계보 또는 검사에 대한 쿼리 또는 저장 프로시저를 지원하지 않습니다. 계보는 테이블 및 뷰 원본으로만 제한됩니다.

데이터 흐름 계보에 대한 제한 사항

데이터 흐름 계보는 관련된 파일에 대한 가시성 없이 폴더 수준 리소스 집합 을 생성할 수 있습니다.
원본/싱크가 리소스 집합인 경우 열 수준 계보는 현재 지원되지 않습니다.
데이터 흐름 작업의 계보에 대해 Microsoft Purview는 관련된 원본 및 싱크만 표시할 수 있습니다. 데이터 흐름 변환에 대한 자세한 계보는 아직 지원되지 않습니다.
흐름이 데이터 흐름의 일부인 경우 계보는 지원되지 않습니다.
현재 Purview는 Synapse 테이블에 대한 계보 보고를 지원하지 않습니다(LakeHouse DB/작업 영역 DB).

보안 Microsoft Purview 계정에 액세스

Microsoft Purview 계정이 방화벽으로 보호되는 경우 Azure Synapse Microsoft Purview 프라이빗 엔드포인트를 통해 보안 Microsoft Purview 계정에 액세스하도록 하는 방법을 알아봅니다.

Microsoft Purview에 Azure Synapse 계보 가져오기

1단계: microsoft Purview 계정에 Azure Synapse 작업 영역 연결

Azure Synapse 작업 영역을 Microsoft Purview에 연결할 수 있으며, 연결을 통해 Azure Synapse 계보 정보를 Microsoft Purview에 푸시할 수 있습니다. Microsoft Purview에 Synapse 작업 영역 연결의 단계를 수행합니다. 여러 Azure Synapse 작업 영역은 전체적인 계보 추적을 위해 단일 Microsoft Purview 계정에 연결할 수 있습니다.

2단계: Azure Synapse 작업 영역에서 파이프라인 실행

Azure Synapse 작업 영역에서 복사 작업 사용하여 파이프라인을 만들 수 있습니다. 계보 데이터 캡처를 위한 다른 구성은 필요하지 않습니다. 계보 데이터는 활동을 실행하는 동안 자동으로 캡처됩니다.

3단계: 계보 보고 상태 모니터링

Azure Synapse 파이프라인을 실행한 후 Synapse 파이프라인 모니터링 보기에서 다음 계보 상태 단추를 선택하여 계보 보고 상태 검사 수 있습니다. 활동 출력 JSON ->reportLineageToPurvew 섹션에서도 동일한 정보를 사용할 수 있습니다.

파이프라인 모니터링 보기에서 계보 보고 상태 모니터링합니다.