레거시 Hive 메타스토어와 함께 Delta Live Tables 파이프라인 사용
이 문서에서는 레거시 Hive 메타스토어에 데이터를 게시하도록 구성된 Delta Live Tables 파이프라인과 관련된 구성 및 주의 사항에 대해 자세히 설명합니다. Databricks는 모든 새 파이프라인에 Unity 카탈로그를 사용하는 것이 좋습니다. Delta Live Tables 파이프라인에서 Unity 카탈로그 사용을 참조 하세요.
메모
이 문서에서는 파이프라인의 현재 기본 게시 모드에 대한 기능을 설명합니다. 2025년 2월 5일 이전에 만든 파이프라인은 레거시 게시 모드 및 LIVE 가상 스키마를 사용할 수 있습니다.
LIVE 스키마(구형)참조하세요.
레거시 Hive 메타스토어에서 스트리밍 테이블 및 구체화된 뷰를 쿼리하는 방법
업데이트가 완료되면 스키마 및 테이블을 보거나, 데이터를 쿼리하거나, 다운스트림 애플리케이션에서 데이터를 사용할 수 있습니다.
게시된 후에는 대상 스키마에 액세스할 수 있는 모든 환경에서 Delta Live Tables 테이블을 쿼리할 수 있습니다. 여기에는 Databricks SQL, Notebook 및 기타 Delta Live Tables 파이프라인이 포함됩니다.
Important
target 구성을 만들 때 테이블 및 관련 메타데이터만 게시됩니다. 보기는 메타스토어에 게시되지 않습니다.
Hive 메타스토어에 게시할 파이프라인 구성
새 파이프라인을 만들 때 레거시 Hive 메타스토어에 게시할 Storage 옵션 아래에 Hive 메타스토어 지정할 수 있습니다. Hive 메타스토어에 게시할 때 기본 대상 스키마를 지정해야 합니다. Delta Live Tables 파이프라인 구성을 참조하세요.
스토리지 위치를 특정합니다.
Hive 메타스토어에 게시하는 파이프라인의 스토리지 위치를 지정할 수 있습니다. 위치를 지정하는 주된 동기는 파이프라인에서 작성한 데이터의 개체 스토리지 위치를 제어하는 것입니다. Databricks는 DBFS 루트에 쓰지 않도록 항상 스토리지 위치를 구체적으로 지정하는 것이 좋습니다.
Delta Live Tables 파이프라인에 대한 모든 테이블, 데이터, 검사점 및 메타데이터는 Delta Live Tables에서 완전히 관리되므로 대부분의 Delta Live Tables 데이터 세트와의 상호 작용은 Hive 메타스토어 또는 Unity 카탈로그에 등록된 테이블을 통해 발생합니다.
드 스토리지 구성
Azure Storage에 액세스하려면 클러스터 구성의 spark.conf 설정을 사용하여 액세스 토큰을 비롯한 필수 매개 변수를 구성해야 합니다. ADLS Gen2(Azure Data Lake Storage Gen2) 스토리지 계정에 대한 액세스를 구성하는 예제는 파이프라인의 비밀로 스토리지 자격 증명에 안전한 액세스을 참조하세요.
Unity 카탈로그가 없는 작업 영역에 대한 파이프라인 소스 코드 Notebook 예제
Unity 카탈로그를 사용하지 않고 다음 Notebook을 Azure Databricks 작업 영역으로 가져와서 Delta Live Tables 파이프라인을 배포하는 데 사용할 수 있습니다. 선택한 언어의 Notebook을 가져오고 Hive 메타스토어 스토리지 옵션을 사용하여 파이프라인을 구성할 때 소스 코드 필드에 경로를 지정합니다. Delta Live Tables 파이프라인 구성을 참조하세요.