Delta Lake 카탈로그 구성

아티클
09/20/2024

중요하다

AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 에 대해 자세히 알아보세요.

워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.

중요하다

이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 프리뷰에 대한 추가 사용 약관에는 베타, 프리뷰, 또는 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 대해 적용되는 더 많은 법적 조건이 포함되어 있습니다. 이 특정 미리 보기에 대한 정보는 Azure HDInsight AKS 미리 보기 정보을 참조하세요. 질문이나 기능 제안이 있으시면 AskHDInsight에서 요청을 제출하고, Azure HDInsight 커뮤니티 를 팔로우하여보다 많은 업데이트를 받아보세요.

이 문서에서는 AKS의 HDInsight를 사용하여 Trino 클러스터에서 Delta Lake 카탈로그를 구성하는 방법에 대한 개요를 제공합니다. Hive 카탈로그를 제외한 클러스터 ARM 템플릿을 업데이트하여 새 카탈로그를 추가할 수 있습니다. 이 카탈로그는 Azure Portal에서 trino 클러스터를 만드는 중에 추가할 수 있습니다.

필수 구성 요소

Trino 클러스터 구성 이해.
기존 클러스터카탈로그를 추가합니다.

Delta Lake 카탈로그를 구성하는 단계

메타스토어가 아직 구성되어 있지 않은 경우 테이블 정의 및 위치에 대한 Hive 메타스토어 구성합니다.

config.properties 파일에서 외부 Hive 메타스토어 데이터베이스 및 기본 스토리지 디렉터리 구성(Trino 구성대한 자세한 정보):

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "config.properties",
                        "values": {
                            "hive.metastore.hdi.metastoreDbConnectionURL": "jdbc:sqlserver://{{DATABASE_SERVER}}.database.windows.net;database={{DATABASE_NAME}};encrypt=true;trustServerCertificate=true;create=false;loginTimeout=30",
                            "hive.metastore.hdi.metastoreDbConnectionUserName": "{{DATABASE_USER_NAME}}",
                            "hive.metastore.hdi.metastoreDbConnectionPasswordSecret": "{{SECRET_REFERENCE_NAME}}",
                            "hive.metastore.hdi.metastoreWarehouseDir": "abfs://{{AZURE_STORAGE_CONTAINER}}@{{AZURE_STORAGE_ACCOUNT_NAME}}.dfs.core.windows.net/hive/warehouse"
                        }
                    }
                ]
            }
        ]
    }
]
"secretsProfile": {
        "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
        "secrets": [
            {
                "referenceName": "{{SECRET_REFERENCE_NAME}}",
                "type": "Secret",
                "keyVaultObjectName": "myCredSecret"
            }                        ]
    },

메모

referenceName hive.metastore.hdi.metastoreDbConnectionPasswordSecret 제공된 값과 일치해야 합니다.

클러스터 ARM 템플릿을 업데이트하여 새 Delta Lake 카탈로그 구성 파일을 추가합니다. 이 구성은 ARM 템플릿의 clusterProfile 속성의 serviceConfigsProfiles에 정의되어야 합니다.

재산	값	묘사
파일 이름	delta.properties	카탈로그 파일의 이름입니다. 파일을 delta.properties라고 하는 경우 `delta` 카탈로그 이름이 됩니다.
connector.name	delta_lake	카탈로그의 형식입니다. Delta Lake의 경우 카탈로그 형식은 `delta_lake`
hive.metastore	인간 개발 지수	이 카탈로그에 사용할 하이브 메타스토어의 유형입니다. `hdi`입력합니다. 위에서 구성한 클러스터 내 Hive Metastore 서비스를 사용하도록 클러스터에 지시합니다.
delta.register-table-procedure.enabled	진실	외부 테이블을 등록할 수 있도록 허용해야 합니다.

다른 델타 레이크 구성 옵션은 Trino 설명서 참조하세요.

"serviceConfigsProfiles": [
{
    "serviceName": "trino",
    "configs": [
        {
            "component": "catalogs",
            "files": [
                        {
                            "fileName": "delta.properties",
                            "values": {
                                "connector.name": "delta_lake",
                                "hive.metastore": "hdi",
                                "delta.register-table-procedure.enabled": "true"
                            }
                        }
   ]

...

델타 테이블을 포함하는 스토리지 계정에서 클러스터 사용자 할당 MSI에 Storage Blob Data Owner 역할을 할당합니다. 역할을 할당하는 방법을 알아봅니다.
- 사용자 할당 MSI 이름은 클러스터의 리소스 JSON에 있는 msiResourceId 속성에 나열됩니다.

클러스터의 변경 내용을 반영하도록 업데이트된 ARM 템플릿을 배포합니다. ARM 템플릿 배포하는 방법을 알아봅니다.
성공적으로 배포되면 Trino 클러스터에서 "델타" 카탈로그를 볼 수 있습니다.

다음 단계

델타 레이크 테이블 읽기(Synapse 또는 외부 위치)

다음을 통해 공유

Delta Lake 카탈로그 구성

필수 구성 요소

Delta Lake 카탈로그를 구성하는 단계

다음 단계

추가 리소스