Delta Lake 테이블 형식 상호 운용성
Delta Lake 테이블 형식은 Microsoft Fabric 내 분석 표준입니다. Delta Lake는 빅 데이터 워크로드에 ACID(원자성, 일관성, 격리 및 내구성) 트랜잭션을 제공하는 오픈 소스 스토리지 레이어입니다.
모든 패브릭 환경은 Delta Lake 테이블을 생성하고 사용하므로 상호 운용성 및 통합된 제품 환경을 구현할 수 있습니다. 패브릭 데이터 웨어하우스 또는 Synapse Spark와 같은 하나의 컴퓨팅 엔진에서 생성된 Delta Lake 테이블은 Power BI와 같은 다른 엔진에서 사용할 수 있습니다. 패브릭으로 데이터를 수집 시 패브릭은 이를 기본적으로 Delta 테이블로 저장합니다. OneLake 바로 가기를 사용하여 Delta Lake 테이블을 포함하는 외부 데이터를 쉽게 통합할 수 있습니다.
Delta Lake 기능 및 패브릭 환경
상호 운용성을 달성하기 위해 모든 패브릭 환경은 Delta Lake 기능 및 패브릭 기능에 맞게 조정됩니다. 일부 환경에서는 Delta Lake 테이블 쓰기만 할 수 있으며, 다른 환경에서는 읽기만 할 수 있습니다.
- 쓰기 권한자: 데이터 웨어하우스, 이벤트 스트림 및 Power BI 시맨틱 모델을 OneLake로 내보냅니다
- 읽기 권한자: SQL 분석 엔드포인트 및 Power BI Direct Lake 시맨틱 모델
- 쓰기 권한자 및 읽기 권한자: Fabric Spark 런타임, 데이터 흐름, 데이터 파이프라인 및 KQL(Kusto 쿼리 언어) 데이터베이스
다음 매트릭스는 주요 Delta Lake 기능 및 각 패브릭 기능에 대한 지원을 보여 줍니다.
| 패브릭 기능 | 이름 기반 열 매핑 | 삭제 벡터 | V 명령 쓰기 | 테이블 최적화 및 유지 관리 | 파티션 쓰기 | 파티션 읽기 | Liquid Clustering | TIMESTAMP_NTZ | Delta 쓰기 권한자/읽기 권한자 버전 및 기본 테이블 기능 |
|---|---|---|---|---|---|---|---|---|---|
| Data Warehouse Delta Lake 내보내기 | 아니요 | 예 | 예 | 예 | 아니요 | 예 | 아니요 | 아니요 | 읽기 권한자: 3 쓰기 권한자: 7 삭제 벡터 |
| SQL 분석 끝점 | 예 | 예 | 없음 (해당 없음) | 없음 (해당 없음) | 없음 (해당 없음) | 예 | 예 | 아니요 | N/A(해당 없음) |
| Fabric Spark 런타임 1.3 | 예 | 예 | 예 | 예 | 예 | 예 | 예 | 예 | 읽기 권한자: 1 쓰기 권한자: 2 |
| Fabric Spark 런타임 1.2 | 예 | 예 | 예 | 예 | 예 | 예 | 예, 읽기 전용 | 예 | 읽기 권한자: 1 쓰기 권한자: 2 |
| Fabric Spark 런타임 1.1 | 예 | 아니요 | 예 | 예 | 예 | 예 | 예, 읽기 전용 | 아니요 | 읽기 권한자: 1 쓰기 권한자: 2 |
| 데이터 흐름 | 예 | 예 | 예 | 아니요 | 예 | 예 | 예, 읽기 전용 | 아니요 | 읽기 권한자: 1 쓰기 권한자: 2 |
| 데이터 파이프라인 | 아니요 | 아니요 | 예 | 아니요 | 예, 덮어쓰기만 | 예 | 예, 읽기 전용 | 아니요 | 읽기 권한자: 1 쓰기 권한자: 2 |
| Power BI Direct Lake 시맨틱 모델 | 예 | 예 | 없음 (해당 없음) | 없음 (해당 없음) | 없음 (해당 없음) | 예 | 예 | 아니요 | 없음 (해당 없음) |
| Power BI 시맨틱 모델을 OneLake로 내보내기 | 예 | 없음 (해당 없음) | 예 | 아니요 | 예 | 없음 (해당 없음) | 아니요 | 아니요 | 읽기 권한자: 2 쓰기 권한자: 5 |
| KQL 데이터베이스 | 예 | 예 | 아니요 | 아니요* | 예 | 예 | 아니요 | 아니요 | 읽기 권한자: 1 쓰기 권한자: 1 |
| EventStreams | 아니요 | 아니요 | 아니요 | 아니요 | 예 | 없음 (해당 없음) | 아니요 | 아니요 | 읽기 권한자: 1 쓰기 권한자: 2 |
* KQL 데이터베이스는 보존과 같은 특정 테이블 유지 관리 기능을 제공합니다. 데이터는 보존 기간이 끝나면 OneLake에서 제거됩니다. 자세한 내용은 한 개의 논리 사본을 확인해 주세요.
참고 항목
- 패브릭은 기본적으로 이름 기반 열 매핑을 작성하지 않습니다. 기본 패브릭 환경은 서비스 전체에서 호환되는 테이블을 생성합니다. 타사 서비스에서 생성된 Delta Lake에는 호환되지 않는 테이블 기능이 있을 수 있습니다.
- 일부 패브릭 환경에는 bin 압축, V 순서 및 이전 참조되지 않은 파일 정리와 같은 상속된 테이블 최적화 및 유지 관리 기능이 없습니다. Delta Lake 테이블을 분석에 최적 상태로 유지하려면 테이블 유지 관리 기능 사용의 기술을 따라 이러한 환경을 사용하여 수집된 테이블에 대한 패브릭의 델타 테이블을 관리합니다.
현재 제한 사항
현재 패브릭은 다음 Delta Lake 기능을 지원하지 않습니다:
- Delta Lake 3.x Uniform
- ID 열 쓰기(Databricks 전용 기능)
- Delta Live 테이블(Databricks 전용 기능)
- 검사점 파일에서 사용하도록 설정된 RLE(실행 길이 인코딩)
관련 콘텐츠
- Delta Lake란?
- 패브릭 Lakehouse 및 Synapse Spark의 Delta Lake 테이블에 대해 자세히 알아봅니다.
- Power BI 및 Microsoft Fabric의 Direct Lake에 대해 알아보기.
- 게시된 Delta Lake 로그를 통해 Warehouse에서 테이블을 쿼리하는 방법에 대해 자세히 알아봅니다.