증분 업데이트 쿼리 및 분석
Microsoft Dataverse 데이터(Dynamics 365 앱, 금융 및 운영의 데이터 포함)는 트랜잭션 생성, 업데이트 및 삭제를 통해 지속적으로 변경될 수 있습니다. 증분 업데이트 옵션을 사용하면 이러한 변경 사항을 다운스트림 시스템 및 데이터베이스에 적용하는 증분 데이터 파이프라인을 구축할 수 있습니다. Synapse Link for Dataverse는 사용자가 지정한 시간 간격 내의 데이터 변경 사항이 포함된 타임스탬프 폴더의 증분 데이터를 내보냅니다.
다음과 같은 여러 시나리오에 증분 업데이트 기능을 활용할 수 있습니다.
다운스트림 데이터 저장소 또는 데이터 웨어하우스를 업데이트합니다. Power Apps 및 Dynamics 365 데이터의 변경 사항을 다운스트림 데이터 저장소에 적용해야 할 수 있습니다. 증분 업데이트는 Azure Data Factory와 같은 대부분의 데이터 변환 도구의 표준 기능입니다. 그러나 증분 업데이트 기능이 작동하려면 원본 테이블에서 변경된 레코드를 식별해야 합니다. 증분 업데이트 기능은 변경된 데이터를 파일 집합으로 제공하므로 테이블의 전후 이미지를 비교하여 변경 내용을 검색할 필요가 없습니다.
대규모 데이터 세트의 변경 사항을 분석합니다. 대규모 데이터 세트의 변경 내용을 분석해야 하는 경우 증분 업데이트 기능은 모든 데이터를 저장할 필요가 없도록 작은 배치로 연속적인 데이터 스트림을 제공합니다. 이 옵션을 사용하면 오래되고 정체된 데이터를 삭제하여 데이터 스토리지 비용을 절감하고 사용자가 지정한 기간과 관련된 데이터 변경 사항을 추적할 수 있습니다.
Azure Synapse Link for Dataverse는 Azure Data Lake(Gen 2) 저장소에서 테이블의 복제본을 내보내고 유지 관리하는 옵션도 제공합니다. 테이블 복제본을 내보내는 것 외에도 증분 데이터를 내보내도록 Azure Synapse Link를 구성할 수 있습니다. 각 구성("Synapse Link 프로필"이라고 함)은 테이블 또는 증분 데이터를 내보낼 수 있습니다. 여러 프로필을 만들 수 있지만 동일한 프로필 내에서 테이블과 증분 업데이트를 모두 구성할 수는 없습니다.
중요
초기 타임스탬프 폴더는 데이터 사본과 함께 이 기능을 사용하도록 설정할 때 생성됩니다. 후속 타임스탬프와 테이블 폴더는 사용자가 지정한 시간 간격 동안 데이터 업데이트가 있을 때만 생성됩니다.
증분 업데이트 기능을 사용하여 Synapse Link 프로필을 만들면 Synapse Link 프로필 내에서 선택한 모든 테이블에 구성이 적용됩니다.
이 기능은 Azure Synapse workspace에 연결 옵션으로 활성화할 수 없습니다. Azure Synapse Analytics 액세스가 필요한 고객의 경우 이 지침에 따라 Azure Synapse Workspace로 Azure Synapse Link for Dataverse 만들기 링크를 설정하세요.
이 기능은 Dynamics 365 금융 및 운영 앱에 내장된 데이터 레이크로 내보내기의 변경 피드 기능과 동일합니다. 변경 피드 기능을 사용하는 고객은 테이블 데이터를 내보내지 않고도 변경 데이터를 사용하여 Synapse Link 프로필을 사용하도록 설정할 수 있습니다.
사전 요구 사항
이 가이드에서는 Azure Synapse Link를 만들기 위한 전제 조건을 이미 충족했다고 가정합니다. 추가 정보: Azure Data Lake를 사용하여 Azure Synapse Link for Dataverse 만들기
증분 데이터를 내보내는 Synapse Link 프로필 만들기
Power Apps에 로그인하고 환경을 선택합니다.
왼쪽 탐색 창에서 Azure Synapse Link를 선택합니다. 항목이 측면 패널 창을 경우 ...자세히를 선택한 다음 원하는 항목을 선택하세요.
명령 모음에서 + 새 링크를 선택합니다.
구독, 리소스 그룹 및 스토리지 계정을 선택합니다. 다음을 선택합니다.
Azure Synapse workspace에 연결 옵션을 선택하지 마세요. 이 옵션을 선택하면 증분 업데이트 기능을 사용할 수 없습니다.
내보내려는 테이블을 추가합니다. Dataverse 환경이 금융 및 운영 앱에 연결된 경우 금융 및 운영 앱에서 테이블을 선택할 수도 있습니다.
고급을 선택합니다.
고급 구성 설정 표시 및 증분 업데이트 폴더 구조 사용을 켭니다.
증분 업데이트를 캡처해야 하는 빈도에 대한 시간 간격(분)을 입력한 다음 저장을 선택합니다.
참고
최소 시간 간격은 5분입니다. 즉, 증분 업데이트 폴더가 5분마다 생성되고 시간 간격 내에 발생한 변경 사항이 포함됩니다. 이 설정은 테이블 관리를 통해 링크 생성 후에도 구성할 수 있습니다. 최대 시간 간격은 1140분(또는 24시간)입니다.
설정의 첫 번째 페이지에서 Azure Synapse workspace Azure Synapse workspace에 연결이 선택되어 있지 않은지 확인하세요.
타임스탬프가 지정된 폴더의 증분 데이터는 쉼표로 구분된 값 텍스트 파일(CSV 파일)로 저장됩니다. 증분 데이터에 Delta 대화 기능을 사용하고 Delta Parquet 형식의 증분 파일을 가져올 수 없습니다.
Microsoft Azure 저장소에서 증분 폴더 보기
증분 데이터를 사용하여 Synapse Link 프로필을 만들 때 시스템은 모든 테이블의 초기 복사본을 만들고 첫 번째 증분 업데이트 폴더에 저장합니다. 초기 복사본이 만들어지면 시스템은 변경된 데이터로 후속 업데이트 폴더를 만듭니다. 선택한 테이블에 변경 사항이 없으면 증분 데이터 폴더가 표시되지 않습니다.
스토리지 계정에서 증분 데이터 폴더를 보려면:
원하는 Azure Synapse Link를 선택한 다음 명령 모음에서 Azure 데이터 레이크로 이동을 선택합니다.
데이터 저장소에서 컨테이너를 선택합니다.
dataverse-environmentName-organizationUniqueName을 선택합니다. 증분 업데이트 폴더의 이름은 UTC의 생성 타임스탬프("yyyy-MM-dd'T'HH:mm:ss.SSSz")로 지정됩니다. 타임스탬프가 지정된 폴더 간의 시간 차이는 고급 설정에서 지정한 시간 간격입니다.
타임스탬프가 지정된 각 폴더 내에는 각 테이블에 대한 폴더가 있습니다. 선택한 모든 테이블이 시간 간격 동안 변경되지 않았을 수 있으며 데이터가 변경된 테이블에 해당하는 폴더만 표시됩니다.
참고
재시도 메커니즘 기능으로 인해 사용자 지정 시간 간격 내에 비어 있는 추가 타임스탬프 폴더가 생성될 수 있습니다.
증분 데이터 사용
Azure Data Factory 또는 Azure Synapse Analytics 파이프라인과 같은 데이터 통합 도구를 사용하여 증분 데이터를 Azure SQL Database 또는 데이터 웨어하우스에 복사할 수 있습니다. 이 용도로 사용할 수 있는 샘플 데이터 파이프라인을 제공합니다. 추가 정보:Azure SQL에 Dataverse 데이터 복사.
변경 피드 기능에서 Dynamics 365 금융 및 운영 앱 고객으로 전환하는 경우 GitHub에서 제공하는 데이터 통합 샘플 도구를 사용하여 변경 피드 기능과 함께 사용되는 기존 데이터 파이프라인을 업데이트할 수 있습니다.
자체 데이터 파이프라인을 구축하여 증분 데이터를 사용할 수도 있습니다. 그러나 자체 파이프라인을 설계할 때는 다음과 같은 모범 사례를 고려해야 합니다.
- 이전 타임스탬프가 지정된 폴더의 데이터만 사용: 이렇게 하면 현재 폴더의 데이터를 지속적으로 업데이트할 수 있는 Synapse Link 서비스와의 읽기-쓰기 충돌을 방지할 수 있습니다. Changelog/changelog.info 파일을 보면 현재 폴더를 찾을 수 있습니다. 이 파일은 현재 업데이트된 폴더 이름을 가진 단일 행을 포함하는 읽기 전용 파일입니다. 시스템이 불안정해질 수 있으므로 이 파일을 업데이트하면 안 됩니다.
- 각 타임스탬프 폴더 내에 있는 model.json 파일을 보면 테이블 폴더에 들어 있는 데이터의 열 이름과 같은 메타데이터를 읽을 수 있습니다. 타임스탬프가 지정된 폴더 내에 있는 폴더의 각 model.json 파일에는 타임스탬프가 지정된 폴더 내에 포함된 테이블뿐만 아니라 모든 테이블에 대한 메타데이터가 포함되어 있습니다.
- Synapse.log 파일과 같은 다른 로그 파일을 사용하지 마십시오. 이 파일은 내부용으로 사용되며 정확한 데이터를 반영하지 않을 수 있습니다.
- 처리를 완료한 후 Azure Data Lake에서 사용되지 않는 증분 폴더를 삭제하는 것이 좋습니다. 현재 Synapse Link는 오류로부터 복구하기 위해 Azure Storage에서 이러한 파일에 대한 임대를 유지 관리합니다. 시스템은 일정 시간 후에 임대를 해제할 수 있습니다.
