Azure Synapse Workspace로 Azure Synapse Link for Dataverse 만들기
Azure Synapse Link를 사용하여 Microsoft Dataverse 데이터를 Azure Synapse Analytics에 연결하여 데이터를 탐색하고 인사이트를 얻는 시간을 단축할 수 있습니다. 이 문서에서는 다음 작업을 수행하는 방법을 보여줍니다.
- Azure Synapse Link 서비스를 사용하여 Dataverse 데이터를 Azure Synapse Analytics 작업 영역에 연결합니다.
- Azure Synapse Link에 포함된 Dataverse 테이블을 관리합니다.
- Azure Synapse Link를 모니터링합니다.
- Azure Synapse Link의 연결을 해제합니다.
- Azure Synapse Link를 다시 연결합니다.
- Azure Synapse Analytics에서 데이터를 봅니다.
참고
Azure Synapse Link for Microsoft Dataverse는 이전에 data lake로 내보내기로 알려졌습니다. 이 서비스는 2021년 5월부터 이름이 변경되었으며 Azure Data Lake 및 Azure Synapse Analytics로 계속 데이터를 내보낼 예정입니다.
전제 조건
Dataverse: Dataverse 시스템 관리자 보안 역할이 있어야 합니다. 또한 Azure Synapse Link를 통해 내보내려는 테이블에는 변경 사항 추적 속성이 활성화되어 있어야 합니다. 추가 정보: 고급 옵션
Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2 계정과 소유자 및 Storage Blob 데이터 기여자 역할 액세스 권한이 있어야 합니다. 스토리지 계정은 초기 설정과 델타 동기화 모두에 대해 계층 구조 네임스페이스를 활성화해야 합니다. 스토리지 계정 키 액세스 허용은 초기 설정에만 필요합니다.
Synapse 작업 영역: Synapse 작업 영역이 있어야 하며 Synapse Studio 내에서 Synapse 관리자 역할 액세스 권한이 있어야 합니다. Synapse 작업 영역은 사용자의 Azure Data Lake Storage Gen2 계정과 동일한 지역에 있어야 합니다. 스토리지 계정은 Synapse Studio 내에서 연결된 서비스로 추가되어야 합니다. Synapse 작업 영역을 만들려면 Synapse 작업 영역 만들기로 이동하십시오.
참고
- 스토리지 계정 및 Synapse 작업 영역은 Power Apps 테넌트와 동일한 Microsoft Entra 테넌트에 생성되어야 합니다.
- 연결된 스토리지 계정 및 작업 영역에 대해 선택한 가상 네트워크 및 IP 주소에서 활성화됨을 설정하려면 관리 ID를 사용하여 Azure Synapse Link를 만들어야 합니다. 추가 정보: Azure Data Lake Storage와 함께 Azure용 관리 ID 사용(관리 ID를 설정하지 않은 경우, 초기 설정과 델타 동기화 모두를 위해 Azure 리소스에 대해 공용 네트워크 액세스를 활성화해야 합니다.)
- 관리형 프라이빗 엔드포인트, 데이터 유출 방지 또는 관리형 가상 네트워크를 갖춘 Synapse 작업 영역은 지원되지 않습니다.
- 스토리지 계정 및 Synapse 작업 영역으로 리소스 그룹에 Reader 역할 액세스를 반드시 가지고 있어야 합니다.
- Synapse 작업 영역에 여러 사용자를 추가하는 경우 Synapse Studio 내에서 Synapse 관리자 역할 액세스 권한이 있어야 하며 Azure Data Lake Storage Gen2 계정에 대한 Storage Blob 데이터 기여자 역할이 있어야 합니다.
- 단일 DV 환경에서 Synapse Link 프로필 생성은 최대 10개로 제한됩니다.
Dataverse를 Synapse 작업 영역에 연결
Power Apps에 로그인하고 원하는 환경을 선택합니다.
왼쪽 탐색 창에서 Azure Synapse Link를 선택합니다. 측면 창에 Azure Synapse Link가 표시되지 않으면 …자세히를 선택하고 모두 검색을 선택하세요. 데이터 관리 섹션에서 Azure Synapse Link를 선택하세요.
명령 모음에서 + 새 링크를 선택합니다.
Azure Synapse workspace에 연결 옵션을 선택합니다.
구독, 리소스 그룹, 작업 영역 이름 및 스토리지 계정을 선택합니다. Synapse 작업 영역 및 스토리지 계정이 전제 조건 섹션에 지정된 요구 사항을 충족하는지 확인합니다. 다음을 선택합니다.
참고
환경을 데이터 레이크에 연결하는 과정에서 스토리지 계정에 대한 Azure Synapse Link 서비스 액세스 권한을 부여합니다. Azure Data Lake Storage 계정을 만들고 구성하고 스토리지 계정에 대한 소유자 역할을 부여하는 전제 조건을 따랐는지 확인하세요. 또한 스토리지 계정에 대한 Power Platform 데이터 흐름 서비스 액세스를 부여합니다. 추가 정보: 데이터 흐름을 통한 셀프 서비스 데이터 준비.
내보낼 테이블을 추가한 다음 저장을 선택합니다. 변경 내용 추적을 사용할 수 있는 테이블만 내보낼 수 있습니다. 추가 정보: 변경 내용 추적 사용.
위의 단계에 따라 Azure 데이터 레이크를 Synapse 작업 영역에 연결된 서비스로 추가하여 Azure 구독의 여러 Azure Synapse Analytics 작업 영역 및 Azure 데이터 레이크에 대한 링크를 하나의 환경에서 만들 수 있습니다. 마찬가지로 여러 환경에서 동일한 테넌트 내에서 동일한 Azure Synapse Analytics 작업 영역 및 Azure data lake에 대한 링크를 만들 수 있습니다.
참고
Azure Synapse Link for Dataverse 서비스는 즉시 사용 가능한 기능으로 Power Platform에 원활하게 통합됩니다. Power Platform 데이터 스토리지 및 거버넌스에 대해 설정된 보안 및 거버넌스 표준을 충족합니다. 추가 정보: 데이터 스토리지 및 거버넌스
Azure Synapse Link 서비스에서 내보낸 데이터는 TLS(Transport Layer Security) 1.2 이상을 사용하여 전송 시 암호화되고 Azure Data Lake Storage Gen2에서 유휴 시 암호화됩니다. 또한 Blob Storage의 임시 데이터도 미사용 시 암호화됩니다. Azure Data Lake Storage Gen2의 암호화는 데이터를 보호하고 엔터프라이즈 보안 정책을 구현하며 규정 준수 요구 사항을 충족하도록 도와줍니다. 추가 정보: Azure 미사용 데이터 암호화 추가 정보: Azure Storage 방화벽 및 가상 네트워크 구성
Synapse 작업 영역에 대한 테이블 데이터 관리
Azure Synapse Link를 설정한 후 다음 두 가지 방법 중 하나로 내보낸 테이블을 관리할 수 있습니다.
Power Apps(make.powerapps.com) Azure Synapse Link 영역에서 명령 모음의 테이블 관리를 선택하여 하나 이상의 연결된 테이블을 추가하거나 제거합니다.
Power Apps Maker Portal 테이블 영역에서 테이블 옆에 있는 …을 선택한 다음, 테이블 데이터를 내보내려는 연결된 데이터 레이크를 선택합니다.
Azure Synapse Link 모니터링
Azure Synapse Link를 설정한 후 테이블 탭에서 Azure Synapse Link를 모니터링할 수 있습니다.
- 선택한 Azure Synapse Link의 일부인 테이블 목록이 있습니다.
- 동기화 상태가 순환하는 여러 단계가 있습니다. NotStarted는 테이블이 동기화 대기 중임을 나타냅니다. 테이블 초기 동기화가 완료되면 증분 업데이트가 발생하지 않는 사후 처리 단계가 있습니다. 데이터 크기에 따라 몇 시간이 걸릴 수 있습니다. 증분 업데이트가 시작되면 마지막 동기화 날짜가 정기적으로 업데이트됩니다.
- 개수 열은 작성된 행 수를 보여줍니다. 추가 전용이 아니요로 설정되어 있으면 레코드의 총 개수입니다. 추가 전용이 예로 설정되어 있으면 변경 사항의 총 개수입니다.
- 추가 항목만 및 파티션 전략 열은 다른 고급 구성의 사용법을 보여줍니다.
Azure Synapse Link 연결 해제
원하는 Azure Synapse Link를 선택하여 연결을 해제합니다.
명령 모음에서 연결 해제를 선택합니다.
데이터 레이크 파일 시스템과 Synapse 데이터베이스를 모두 삭제하려면 링크 이름을 입력하여 확인합니다.
예를 선택하고 모든 연결이 해제되고 삭제될 때까지 몇 분 정도 기다립니다.
중요
연결 해제가 완료되면 Azure Synapse Link 데이터베이스 내에서 만든 사용자 지정 데이터베이스 개체가 삭제됩니다.
백업이 있는지 확인하기 위해 사용자 지정 데이터베이스 개체 스크립트에 대한 자체 버전 제어를 구현해야 합니다.
Azure Synapse Link 다시 연결
연결을 해제할 때 파일 시스템을 삭제한 경우 위의 단계에 따라 동일한 Synapse 작업 영역과 데이터 레이크를 다시 연결합니다. 연결을 해제할 때 파일 시스템을 삭제하지 않은 경우 다시 연결할 데이터를 지워야 합니다.
Azure Synapse Analytics를 탐색합니다.
연결 해제된 데이터베이스에 대해 ...을 선택하고 새 노트북>빈 노트북을 선택합니다.
드롭다운 메뉴에서 풀을 선택하여 노트북을 Apache Spark 풀에 연결합니다. Apache Spark 풀이 없는 경우 풀 관리를 선택하여 하나를 생성합니다.
다음 스크립트를 입력하고 <DATABASE_NAME>을 연결 해제할 데이터베이스 이름으로 바꾸고 노트북을 실행합니다.
%%sql
DROP DATABASE <DATABASE_NAME> CASCADE
노트북을 실행한 후 왼쪽 패널에서 데이터베이스 목록을 새로 고칩니다. 데이터베이스가 여전히 존재하는 경우 데이터베이스를 마우스 오른쪽 버튼으로 클릭하고 삭제를 선택해 봅니다.
Power Apps로 이동하고 Synapse workspace와 데이터 레이크를 다시 연결합니다.
실시간에 가까운 데이터 및 읽기 전용 스냅샷 데이터에 액세스
Azure Synapse Link를 만든 후 테이블 데이터의 두 가지 버전이 기본적으로 Azure 구독의 Azure Synapse Analytics 및/또는 Azure Data Lake Storage Gen2에서 동기화되어 주어진 시간에 레이크에서 업데이트된 데이터를 안정적으로 사용할 수 있도록 합니다.
- 실시간에 가까운 데이터: 최초 추출 또는 마지막 동기화 이후 변경된 데이터를 감지하여 Azure Synapse Link를 통해 Dataverse에서 동기화된 데이터의 복사본을 효율적으로 제공합니다.
- 스냅샷 데이터: 정기적인 간격(이 경우 매시간)으로 업데이트되는 거의 실시간 데이터의 읽기 전용 복사본을 제공합니다.
참고
읽기 전용 스냅샷 데이터를 생성하려면 복사 작업에 허용되는 범위 설정이 모든 스토리지 계정에서로 구성되어 있는지 확인합니다. 추가 정보: 복사 작업에 허용된 범위 구성
- 원하는 Azure Synapse Link를 선택한 다음 상단 패널에서 Azure Synapse Analytics 작업 영역으로 이동을 선택합니다.
- 왼쪽 패널에서레이크 데이터베이스를 확장하고 dataverse-environmentName-organizationUniqueName을 선택한 다음테이블을 확장합니다.
모든 근 실시간 데이터 테이블이 나열되고 명명 규칙 DataverseTableName을 사용하여 분석에 사용할 수 있습니다. 모든 스냅샷 데이터 테이블이 나열되고 명명 규칙 DataverseTableName_partitioned를 사용하여 분석에 사용할 수 있습니다.
다음 항목은 무엇인가요?
Azure Synapse Link for Dataverse 서비스를 성공적으로 사용한 후 검색 허브를 사용하여 데이터를 분석하고 사용할 수 있는 방법을 알아봅니다. 검색 허브에 액세스하려면 Power Apps>Azure Synapse Link로 이동합니다. 연결된 서비스를 선택한 다음 검색 허브 탭을 선택합니다. 여기에서 데이터를 최대한 활용하는 데 도움이 되는 권장 도구와 선별된 문서를 찾을 수 있습니다.
참조 항목
Azure Data Lake로 Azure Synapse Link for Dataverse 구성