Azure Synapse Link의 고급 구성 옵션
Azure Synapse Link는 다양한 분석 시나리오에 맞게 데이터를 쓰고 읽는 여러 방법을 제공합니다. 분석 시나리오에 따라 아래 옵션에서 특정 구성을 선택할 수 있습니다.
| 시나리오 | 적용 대상 | 사용 가능한 구성 옵션 |
|---|---|---|
| 운영 보고 | Dataverse 테이블, 금융 및 운영 테이블 및 엔터티 | 델타 레이크 옵션을 사용하는 Synapse Analytics는 특히 많은 양의 데이터를 쿼리하는 데 적용할 수 있는 더 나은 쿼리 응답 시간을 제공합니다. 추가 정보: 델타 레이크 옵션을 사용하는 Synapse Link |
| 운영 보고 | Dataverse 테이블만 해당 | "현재 위치 업데이트" 구성 옵션이 있는 Synapse Link는 거의 실시간으로 업데이트되는 데이터 레이크의 CSV 파일을 제공합니다 이 옵션은 Dataverse 테이블에 사용할 수 있는 레거시 옵션입니다. 이 옵션은 금융 및 운영 앱의 테이블에는 지원되지 않습니다 |
| 데이터 통합 | Dataverse 테이블 및 금융 및 운영 테이블 및 엔터티 | "추가 전용 옵션은 증분 데이터가 포함된 CSV 파일을 제공합니다. 증분 데이터를 사용하고 다운스트림 시스템을 채우는 파이프라인을 구축할 수 있습니다 사용자 지정 데이터 파티션 기능을 사용하면 Dataverse 테이블에 대한 사용자 지정 데이터 파티션 전략을 선택할 수 있습니다. 금융 및 운영 테이블 데이터는 적절한 파티션 전략에 따라 시스템에 의해 분할됩니다. 이 옵션은 금융 및 운영 앱에서는 사용할 수 없습니다 |
참고
Azure Synapse Link for Dataverse는 이전에 데이터 레이크로 내보내기로 알려졌습니다. 이 서비스는 2021년 5월부터 이름이 변경되었으며 Azure Data Lake Storage 및 Azure Synapse Analytics로 계속 데이터를 내보낼 예정입니다. 2023년 9월부터 Azure Synapse Link를 통해 Dynamics 365 금융 및 운영 애플리케이션에서 데이터를 선택할 수도 있습니다. 모든 통합 패턴이 금융 및 운영 앱에서 지원되는 것은 아닙니다. 금융 및 운영 앱의 데이터 레이크로 내보내기 기능에서 Synapse Link로 전환하는 방법에 대한 지침은 전환 가이드를 참조하세요.
이 문서에서는 Dataverse 테이블에 사용할 수 있는 고급 구성 설정에 대해 설명합니다. 이러한 옵션은 금융 및 운영 앱에서는 사용할 수 없습니다.
- 원본 위치 업데이트와 추가 전용 쓰기 비교.
- 사용자 지정 데이터 분할.
현재 위치 업데이트와 추가 전용 쓰기
Dataverse 테이블 데이터를 Azure 데이터 레이크에 쓰는 동안, 레코드가 만들어진 날짜 및 시간인 createdOn 값에 따라 두 가지 설정을 선택할 수 있습니다. 바로 현재 위치 업데이트와 추가 전용입니다.
기본 설정(createdOn을 사용할 수 있는 테이블 대상)은 대상에 있는 증분 데이터의 현재 위치 또는 upsert(업데이트 또는 삽입)를 수행하는 것입니다. 변경 사항이 신규이고 해당 행이 레이크에 존재하지 않는 경우 생성의 경우 대상 파일을 스캔하고 변경 사항이 레이크의 해당 파일 파티션에 삽입됩니다. 변경 내용이 업데이트이고 레이크에 행이 있는 경우 레이크의 해당 파일이 삽입되는 대신 증분 데이터로 업데이트됩니다. 즉, createdOn를 사용할 수 있는 Dataverse 테이블의 모든 CUD(만들기, 업데이트, 삭제) 변경 사항에 대한 기본 설정은 Azure Data Lake의 대상에서 내부 업데이트를 수행하는 것입니다.
추가 전용이라고 하는 선택 설정을 사용하여 현재 위치 업데이트의 기본 동작을 전환할 수 있습니다. 현재 위치 업데이트보다는 추가 전용 모드에서 Dataverse 테이블의 증분 데이터가 호수의 해당 파일 파티션에 추가됩니다. 이는 테이블별 설정이며 고급>고급 구성 설정 표시 아래의 확인란으로 사용할 수 있습니다. 추가 전용을 킨 Dataverse 테이블은 모든 CUD 변경 내용이 레이크의 해당 대상 파일에 증분 추가됩니다. 이 옵션을 선택하면 파티션 전략이 연으로 기본 설정되고 데이터가 데이터 레이크에 기록될 때 연 단위로 파티션됩니다. 추가 전용은 createdOn 값이 없는 Dataverse 테이블의 기본 설정이기도 합니다.
이 표는 각 데이터 쓰기 옵션에 대한 CUD 이벤트에 대해 레이크에서 행을 처리하는 방법을 설명합니다.
| 이벤트 | 현재 위치 업데이트 | 추가 항목만 |
|---|---|---|
| 만들기 | 행은 파티션 파일에 삽입되며 행의 createdOn 값에 기반합니다. |
행은 파티션 파일의 끝에 추가되며 레코드의 createdOn 값에 기반합니다. |
| 엽데이트 | 파티션 파일에 행이 있으면 업데이트된 데이터로 교체되거나 업데이트됩니다. 존재하지 않는 경우 파일에 삽입됩니다. | 업데이트된 버전과 함께 행이 파티션 파일의 끝에 추가됩니다. |
| Delete | 행이 파티션 파일에 존재하면 파일에서 제거됩니다. | IsDelete column = True와 함께 행이 파티션 파일의 끝에 추가됩니다. |
참고
추가 전용이 사용 설정된 Dataverse 테이블의 경우, 원본에서 행을 삭제해도 레이크의 행이 삭제되거나 제거되지 않습니다. 대신 삭제된 행이 레이크에 새 행으로 추가되고 isDeleted 열이 True로 설정됩니다.
서버리스에 대한 더티 읽기(ALLOW_INCONSISTENT_READS)는 추가 전용 모드에 대해 사용됩니다. ALLOW_INCONSISTENT_READS는 사용자가 SELECT 쿼리가 실행되는 동안 지속적으로 수정할 수 있는 파일을 읽을 수 있음을 의미합니다. 결과는 일관되고 파일의 스냅샷을 읽는 것과 동일합니다. (스냅샷 생성 시간이 다르기 때문에 데이터베이스 스냅샷 격리와 동일하지 않습니다.)
모든 CUD 변경 사항이 추가 전용에 캡처되는 것은 아닙니다. Synapse Link는 데이터 레이크에 게시하기 전에 데이터 변경 사항을 그룹 또는 "일괄 처리"로 처리합니다. 결과적으로 사용자가 짧은 시간 간격 내에 변경하는 경우 모든 CUD 변경 사항이 데이터 레이크에 캡처되지는 않습니다.
다음은 옵션 중 하나를 사용해야 하는 경우에 대한 자세한 내용입니다.
- 현재 위치 업데이트: 이 옵션은 기본 설정이며 레이크의 데이터에 직접 연결하고 현재 상태(기록 또는 증분 변경이 아님)가 필요한 경우에만 권장됩니다. 파일에는 전체 데이터 집합이 포함되어 있으며 Power BI 또는 ETL(추출, 전송,로드) 파이프라인에 대한 전체 데이터 집합을 복사하여 사용할 수 있습니다.
- 추가 전용: 레이크의 데이터에 직접 연결하지 않고 ETL 파이프라인을 사용하여 다른 대상에 데이터를 증분 복사하려는 경우 이 옵션을 선택합니다. 이 옵션은 AI 및 ML 시나리오를 사용하기 위한 변경 내역을 제공합니다.
Azure Synapse Link for Dataverse의 고급 아래 고급 구성 설정 표시를 토글하여 데이터 파티션 전략을 사용자 지정하고 Azure data lake에 쓸 옵션을 선택합니다.
데이터 분할
Azure Synapse Link를 사용하여 Dataverse 테이블 데이터를 Azure Data Lake Storage에 쓰는 경우 테이블은 원본의 각 행에 있는 createdOn 값을 기반으로 레이크에서 분할(단일 파일 대신)됩니다. 기본 분할 전략은 월별이며 데이터는 Azure Data Lake에서 월별로 분할됩니다.
Dataverse 테이블 볼륨 및 데이터 분포에 따라 데이터를 연도별로 분할하도록 선택할 수 있습니다. 이 옵션을 사용하면 Dataverse 테이블 데이터가 Azure 데이터 레이크에 기록될 때, 원본의 각 행에 있는 createdOn 값을 기반으로 매년 분할됩니다. createdOn 열이 없는 테이블의 경우 데이터 행은 5백만 레코드마다 새 파일로 분할됩니다. 이는 테이블별 설정이며 고급>고급 구성 설정 표시 아래의 확인란으로 사용할 수 있습니다.
연도별 또는 월별 분할 전략을 사용하여 레이크에서 데이터를 처리하는 방법에 대한 자세한 예:
