다음을 통해 공유

델타 라이브 테이블 제한 사항

  • 아티클

다음은 파이프라인을 개발할 때 알아야 할 델타 라이브 테이블의 제한 사항입니다.

  • Azure Databricks 작업 영역은 100개의 동시 파이프라인 업데이트로 제한됩니다. 단일 파이프라인에 포함될 수 있는 데이터 세트 수는 파이프라인 구성 및 워크로드 복잡성에 따라 결정됩니다.
  • Delta Live Tables 데이터 세트는 한 번만 정의할 수 있습니다. 이 때문에 모든 Delta Live Tables 파이프라인에서 단일 작업의 대상이 될 수 있습니다. 예외는 여러 스트리밍 원본에서 스트리밍 테이블에 쓸 수 있는 추가 흐름 처리가 있는 스트리밍 테이블입니다. 추가 흐름을 사용하여여러 원본 스트림의 스트리밍 테이블에 쓰기를 참조하세요.
  • ID 열에는 다음과 같은 제한 사항이 있습니다. 델타 테이블의 ID 열에 대한 자세한 내용은 Delta LakeID 열 사용을 참조하세요.
    • ID 열은 APPLY CHANGES 처리의 대상인 테이블에서 지원되지 않습니다.
    • 구체화된 뷰를 업데이트할 때 ID 열이 다시 계산될 가능성이 있습니다. 따라서 Databricks는 스트리밍 테이블과 함께 델타 라이브 테이블에서만 ID 열을 사용하는 것이 좋습니다.
  • Databricks SQL에서 만든 뷰를 포함하여 Delta Live Tables 파이프라인에서 게시된 구체화된 뷰 및 스트리밍 테이블은 Azure Databricks 클라이언트 및 애플리케이션에서만 액세스할 수 있습니다. 그러나 구체화된 뷰 및 스트리밍 테이블을 외부에서 액세스할 수 있도록 하려면 Delta Live Tables sink API를 사용하여 외부 Delta 인스턴스의 테이블에 쓸 수 있습니다. Delta Live Tables 싱크를 사용하여 외부 서비스에 대한Stream 레코드를 참조하세요.
  • 델타 공유를 사용하여 델타 라이브 테이블 파이프라인에서 만든 구체화된 뷰 및 스트리밍 테이블을 공유할 수 없습니다.
  • Unity 카탈로그 파이프라인을 실행하고 쿼리하는 데 필요한 Databricks 컴퓨팅에는 제한이 있습니다. Unity 카탈로그에 게시하는 파이프라인에 대한 요구 사항 참조하세요.
  • 파이프라인 소유자만 파이프라인에 대한 이벤트 로그에 액세스할 수 있습니다. 이벤트 로그를 쿼리하는 것 참조.
  • Delta Lake 시간 이동 쿼리는 스트리밍 테이블에서만 지원되며 구체화된 뷰에서 지원되지 . Delta Lake 테이블 기록과작업을 참조하세요.
  • Delta Live Tables 파이프라인에서 생성된 구체화된 뷰 및 스트리밍 테이블에서 Iceberg 읽기를 사용하도록 설정할 수 없습니다.