다음을 통해 공유

Delta Lake 테이블 형식 상호 운용성

  • 아티클

Microsoft Fabric에서 Delta Lake 테이블 형식은 분석의 표준입니다. Delta Lake 빅 데이터 및 분석 워크로드에 ACID(원자성, 일관성, 격리, 내구성) 트랜잭션을 제공하는 오픈 소스 스토리지 계층입니다.

모든 패브릭 환경에서는 Delta Lake 테이블을 생성하고 사용하므로 상호 운용성과 통합된 제품 환경을 구현할 수 있습니다. 패브릭 데이터 웨어하우스 또는 Synapse Spark와 같은 하나의 컴퓨팅 엔진에서 생성된 Delta Lake 테이블은 Power BI와 같은 다른 엔진에서 사용할 수 있습니다. 패브릭으로 데이터를 수집할 때 Fabric은 기본적으로 델타 테이블로 저장합니다. OneLake 바로 가기를 사용하여 Delta Lake 테이블을 포함하는 외부 데이터를 쉽게 통합할 수 있습니다.

Delta Lake 기능 및 Fabric 경험

상호 운용성을 달성하기 위해 모든 패브릭 경험은 Delta Lake 기능과 패브릭 역량에 맞춰 조정됩니다. 일부 경험은 Delta Lake 테이블에만 쓸 수 있고 다른 경험은 Delta Lake 테이블에서 읽을 수 있습니다.

  • 작가: 데이터 웨어하우스, 이벤트 스트림, Power BI의 의미 모델을 OneLake로 내보내기
  • 사용자: SQL 분석 엔드포인트 및 Power BI Direct Lake 시맨틱 모델
  • 기록기 및 판독기: Fabric Spark 런타임, 데이터 흐름, 데이터 파이프라인 및 KQL(Kusto Query Language) 데이터베이스

다음 매트릭스는 주요 Delta Lake 기능 및 각 패브릭 기능에 대한 지원을 보여 줍니다.

패브릭 기능 이름 기반 열 매핑 삭제 벡터 V-순서 쓰기 테이블 최적화 및 유지 관리 파티션 쓰기 파티션 읽기 액체 클러스터링 TIMESTAMP_NTZ 델타 판독기/기록기 버전 및 기본 테이블 기능
데이터 웨어하우스의 Delta Lake 내보내기 아니요 예 예 예 아니요 예 아니요 아니요 읽기 권한자: 3
작가: 7
삭제 벡터
SQL 분석 엔드포인트 예 예 해당 없음(해당 없음) 해당 없음(해당 없음) 해당 없음(해당 없음) 예 예 아니요 해당 없음(해당 없음)
Fabric Spark 런타임 1.3 예 예 예 예 예 예 예 예 읽기 권한자: 1
작가: 2
Fabric Spark 런타임 1.2 예 예 예 예 예 예 예, 읽기 전용 예 읽기 권한자: 1
작가: 2
Fabric Spark 런타임 1.1 예 아니요 예 예 예 예 예, 읽기 전용 아니요 읽기 권한자: 1
작가: 2
데이터 흐름 예 예 예 아니요 예 예 예, 읽기 전용 아니요 읽기 권한자: 1
작가: 2
데이터 파이프라인 아니요 아니요 예 아니요 예, 덮어쓰기만 하세요 예 예, 읽기 전용 아니요 읽기 권한자: 1
작가: 2
Power BI Direct Lake 의미 체계 모델 예 예 해당 없음(해당 없음) 해당 없음(해당 없음) 해당 없음(해당 없음) 예 예 아니요 해당 없음(해당 없음)
Power BI 의미 체계 모델을 OneLake로 내보내기 예 해당 없음(해당 없음) 예 아니요 예 해당 없음(해당 없음) 아니요 아니요 읽기 권한자: 2
작가: 5
KQL 데이터베이스 예 예 아니요 * 없음 예 예 아니요 아니요 읽기 권한자: 1
작가: 1
이벤트스트림 아니요 아니요 아니요 아니요 예 해당 없음(해당 없음) 아니요 아니요 읽기 권한자: 1
작가: 2

* KQL 데이터베이스는 보존같은 특정 테이블 유지 관리 기능을 제공합니다. 데이터는 보존 기간이 끝나면 OneLake에서 제거됩니다. 자세한 내용은 One 논리 복사본참조하세요.

메모

  • 패브릭은 기본적으로 이름 기반 열 매핑을 작성하지 않습니다. 기본 패브릭 환경은 서비스 전체에서 호환되는 테이블을 생성합니다. 타사 서비스에서 생성된 Delta Lake에는 호환되지 않는 테이블 기능이 있을 수 있습니다.
  • 일부 패브릭 환경에는 bin 압축, V 순서 및 이전 참조되지 않은 파일 정리와 같은 상속된 테이블 최적화 및 유지 관리 기능이 없습니다. Delta Lake 테이블을 분석에 최적 상태로 유지하려면 테이블 유지 관리 기능을 사용하여 해당 환경을 사용하여 수집된 테이블에 대한 Fabric 델타 테이블을 관리합니다.

현재 제한 사항

현재 Fabric은 다음 Delta Lake 기능을 지원하지 않습니다.

  • Delta Lake 3.x 유니폼
  • ID 열 쓰기(전용 Databricks 기능)
  • 델타 라이브 테이블(전용 Databricks 기능)
  • 검사점 파일에서 사용하도록 설정된 RLE(실행 길이 인코딩)

관련 콘텐츠