카탈로그 구성

아티클
10/16/2024

참고 항목

2025년 1월 31일에 Azure HDInsight on AKS가 사용 중지됩니다. 2025년 1월 31일 이전에 워크로드가 갑자기 종료되지 않도록 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 마이그레이션해야 합니다. 구독의 나머지 클러스터는 호스트에서 중지되고 제거됩니다.

사용 중지 날짜까지 기본 지원만 사용할 수 있습니다.

Important

이 기능은 현지 미리 보기로 제공됩니다. Microsoft Azure 미리 보기에 대한 보충 사용 약관에는 베타 또는 미리 보기로 제공되거나 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 약관이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있는 경우 AskHDInsight에서 세부 정보와 함께 요청을 제출하고 Azure HDInsight 커뮤니티에서 더 많은 업데이트를 확인하세요.

모든 Trino 클러스터는 기본적으로 몇 가지 카탈로그(시스템, tpcds, tpch)와 함께 제공됩니다. OSS Trino와 동일한 방식으로 고유한 카탈로그를 추가할 수 있습니다. 또한 HDInsight on AKS가 포함된 Trino를 사용하면 Key Vault에 비밀을 저장할 수 있으므로 ARM 템플릿에서 명시적으로 지정할 필요가 없습니다.

Azure Portal에서 Trino 클러스터 만들기를 수행하는 동안 추가할 수 있는 하이브 카탈로그를 제외하고 클러스터 ARM 템플릿을 업데이트하여 새 카탈로그를 추가할 수 있습니다.

이 문서에서는 ARM 템플릿을 사용하여 클러스터에 새 카탈로그를 추가하는 방법을 보여줍니다. 이 문서의 예제에서는 SQL 서버 및 메모리 카탈로그를 추가하는 단계를 설명합니다.

필수 조건

HDInsight on AKS가 포함된 운영 중인 Trino 클러스터입니다.
Azure SQL 데이터베이스입니다.
Azure SQL 서버 로그인/암호는 Key Vault 비밀 및 이를 읽을 수 있는 권한이 부여된 Trino 클러스터에 연결된 사용자 할당 MSI에 저장됩니다. Key Vault에 자격 증명 저장 및 MSI에 역할 할당을 참조합니다.
클러스터에 대한 ARM 템플릿을 만듭니다.
ARM 템플릿 작성 및 배포에 대한 지식입니다.
전체 클러스터 ARM 템플릿 예제 arm-trino-catalog-sample.json을 검토합니다.

ARM 템플릿에 카탈로그를 추가하는 단계

Key Vault를 연결하고 clusterProfile 속성 아래의 secretsProfile에 비밀을 추가합니다.

이 단계에서는 Key Vault 및 비밀이 Trino 클러스터에 대해 구성되어 있는지 확인해야 합니다. 다음 예제에서 SQL 서버 자격 증명은 trinotest-admin-user, trinotest-admin-pwd 비밀에 저장됩니다.

"secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

clusterProfile 속성 아래의 serviceConfigsProfiles에 카탈로그를 추가합니다.

이 단계에서는 클러스터에 Trino별 카탈로그 구성을 추가해야 합니다. 다음 예제에서는 메모리 및 SQL 서버 커넥터를 사용하여 두 개의 카탈로그를 구성합니다. 카탈로그 구성은 다음과 같은 두 가지 방법으로 지정할 수 있습니다.

값 섹션의 키-값 쌍입니다.
콘텐츠 속성의 단일 문자열입니다.

메모리 카탈로그는 키-값 쌍을 사용하여 정의되고 SQL 서버 카탈로그는 단일 문자열 옵션을 사용하여 정의됩니다.

 "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

속성

Property	설명
serviceName	trino
구성 요소	카탈로그를 구성하는 섹션을 식별하며 “카탈로그“여야 합니다.
files	클러스터에 추가할 Trino 카탈로그 파일 목록입니다.
filename	클러스터에 추가할 Trino 카탈로그 파일 목록입니다.
콘텐츠	`json` trino 카탈로그 파일에 넣을 이스케이프된 문자열입니다. 이 문자열에는 사용된 커넥터 유형에 따라 달라지는 모든 trino별 카탈로그 속성이 포함되어야 합니다. 자세한 내용은 OSS trino 설명서를 참조하세요.
${SECRET_REF:<referenceName>}	secretsProfile에서 비밀을 참조하는 특수 태그입니다. 런타임에 Trino는 Key Vault에서 비밀을 가져와 카탈로그 구성에서 대체합니다.
values	콘텐츠 속성을 단일 문자열로 사용하고 메모리 카탈로그에 표시된 대로 각 개별 Trino 카탈로그 속성에 대해 별도의 키-값 쌍을 사용하여 카탈로그 구성을 지정할 수 있습니다.

클러스터의 변경 내용을 반영하도록 업데이트된 ARM 템플릿을 배포합니다. ARM 템플릿을 배포하는 방법을 알아봅니다.

다음을 통해 공유

카탈로그 구성

필수 조건

ARM 템플릿에 카탈로그를 추가하는 단계

피드백

추가 리소스