소개
Linux Foundation Delta Lake는 일괄 처리 및 스트리밍 데이터에 관계형 데이터베이스 기능을 사용하는 Spark용 오픈 소스 스토리지 계층입니다. Delta Lake를 사용하면 Spark에서 데이터 레이크하우스 아키텍처를 구현하여 트랜잭션 및 스키마 적용에 대한 지원과 함께 SQL 기반 데이터 조작 의미 체계를 지원할 수 있습니다. 그 결과는 데이터 레이크에서 데이터 파일 스토리지의 유연성을 갖춘 관계형 데이터베이스 시스템의 많은 이점을 제공하는 분석 데이터 저장소입니다.
이 모듈에서는 다음을 수행하는 방법을 알아봅니다.
- Delta Lake의 주요 특징 및 기능에 대해 설명합니다.
- Synapse Analytics Spark 풀에서 Delta Lake 테이블을 만들고 사용합니다.
- Delta Lake 데이터에 대한 Spark 카탈로그 테이블을 만듭니다.
- 스트리밍 데이터에 Delta Lake 테이블을 사용합니다.
- Synapse Analytics SQL 풀에서 Delta Lake 테이블을 쿼리합니다.
참고
Azure Synapse Analytics 풀에서 사용할 수 있는 Delta Lake 버전은 풀 구성에 지정된 Spark 버전에 따라 달라집니다. 이 모듈의 정보는 Spark 3.1과 함께 설치된 Delta Lake 버전 1.0을 반영합니다.