변경 데이터 캡처 리소스 개요
적용 대상: Azure Data Factory Azure Synapse Analytics
팁
기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!
복잡한 데이터 통합 및 ETL 파이프라인 빌드를 담당하는 데이터 엔지니어에게는 클라우드 중심의 빅 데이터 세계에 적응하는 것이 매우 어려울 수 있습니다.
Azure Data Factory는 데이터 엔지니어의 삶을 더 쉽게 만들어주는 새로운 메커니즘을 도입하고 있습니다.
복잡한 디자인이나 코딩 없이 원본에서 데이터 변경 내용을 자동으로 검색함으로써 ADF는 이러한 프로세스를 쉽게 크기 조정할 수 있도록 해줍니다. 변경 데이터 캡처는 이제 Azure Data Factory 스튜디오에 새로운 네이티브 최상위 리소스로 존재합니다. 여기서 데이터 엔지니어는 지속적으로 실행되는 작업을 신속하게 구성하여 대규모의 빅 데이터를 매우 효율적으로 처리할 수 있습니다.
ADF의 새로운 변경 데이터 캡처 리소스를 사용하면 단계별식 구성 환경을 통해 거의 실시간으로 지속적으로 실행되는 완전한 충실도의 변경 데이터 캡처가 가능합니다.
참고 항목
Azure Data Factory의 변경 데이터 캡처 리소스는 현재 공개 미리 보기로 제공됩니다.
지원되는 데이터 원본
- Avro
- Azure Cosmos DB(SQL API)
- Azure SQL Database
- Azure SQL Managed Instance
- DelimitedText
- JSON
- ORC
- Parquet
- SQL Server
- XML
- Snowflake
지원되는 대상
- Avro
- Azure SQL Database
- SQL Managed Instance
- DelimitedText
- 델타
- JSON
- ORC
- Parquet
- Azure Synapse Analytics
알려진 제한 사항
- 현재 원본/대상 매핑을 만들 때 각 원본과 대상은 한 번만 사용할 수 있습니다.
- 복합 형식은 현재 지원되지 않습니다.
- SHIR(자체 호스팅 통합 런타임)은 현재 지원되지 않습니다.
알려진 제한 사항 및 문제 해결 지원에 대한 자세한 내용은 이 문제 해결 가이드를 참조하세요.
대상으로 사용하는 Azure Synapse Analytics
Azure Synapse Analytics를 대상으로 사용하는 경우 기본 테이블 캔버스에서 준비 설정을 사용할 수 있습니다. Azure Synapse Analytics를 대상으로 선택할 때 준비를 사용하도록 설정하는 것은 필수입니다. 이는 COPY INTO 명령과 같은 고성능 대량 로딩 기능을 활용하여 쓰기 성능을 크게 향상시킵니다. 준비 설정은 초기 설정을 활용하거나 사용자 지정을 선택하는 두 가지 방법으로 구성할 수 있습니다. 팩터리 설정은 팩터리 수준에서 적용됩니다. 처음으로 이러한 설정이 구성되지 않은 경우 구성을 위한 전역 준비 설정 섹션으로 이동됩니다. 일단 설정되면 모든 CDC 최상위 리소스가 이 구성을 채택합니다. 사용자 지정은 구성된 CDC 리소스에 대해서만 범위가 지정되며 기본 설정을 재정의합니다.
참고 항목
COPY INTO 명령을 활용하여 준비 위치에서 Azure Synapse Analytics로 데이터를 전송할 때 필요한 모든 권한이 Azure Synapse Analytics 내에서 미리 구성되어 있는지 확인하는 것이 좋습니다.
참고 항목
CDC를 시작할 때 항상 마지막으로 게시된 구성을 사용합니다. CDC를 실행하는 경우 데이터가 처리되는 동안 범용 Data Flow의 v-코어 4개에 대한 요금이 청구됩니다.