카탈로그 구성

아티클
09/20/2024

중요하다

AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 을 통해에 대해 더 알아보세요.

워크로드가 갑자기 종료되는 것을 방지하기 위해 워크로드를 Microsoft Fabric 또는 동등한 Azure 제품으로 워크로드를 마이그레이션해야 합니다.

중요하다

이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure 프리뷰에 대한 보충 사용 약관에는 베타, 프리뷰 또는 아직 일반 공급에 출시되지 않은 Azure 기능에 적용되는 더 많은 법적 조항이 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 Azure HDInsight on AKS 미리 보기 정보를 참조하세요. 질문이나 기능 제안이 있으시면 AskHDInsight에 요청을 제출해 주시고, 더 많은 업데이트를 위해 Azure HDInsight Community를 팔로우해 주세요.

모든 Trino 클러스터는 기본적으로 시스템, tpcds, tpch카탈로그가 거의 없습니다. OSS Trino와 동일한 방식으로 고유한 카탈로그를 추가할 수 있습니다. 또한 AKS에서 HDInsight를 사용하는 Trino를 사용하면 비밀을 KEY Vault에 저장할 수 있으므로 ARM 템플릿에서 명시적으로 지정할 필요가 없습니다.

Hive 카탈로그를 제외한 클러스터 ARM 템플릿을 업데이트하여 새 카탈로그를 추가할 수 있습니다. 이 카탈로그는 Azure Portal에서 trino 클러스터를 만드는 중에 추가할 수 있습니다.

이 문서에서는 ARM 템플릿을 사용하여 클러스터에 새 카탈로그를 추가하는 방법을 보여 줍니다. 이 문서의 예제에서는 SQL Server 및 메모리 카탈로그를 추가하는 단계를 설명합니다.

필수 구성 요소

AKS에서 HDInsight를 사용하는 운영 Trino 클러스터입니다.
Azure SQL 데이터베이스.
Azure SQL Server 로그인/암호는 Key Vault 비밀에 저장되어 있으며, Trino 클러스터에 연결된 사용자 할당 MSI가 이를 읽을 수 있는 권한을 부여받았습니다. Key Vault의 저장소 자격 증명을 참조하고 MSI역할을 할당합니다.
클러스터에 대한 ARM 템플릿 만듭니다.
ARM 템플릿 작성 및 배포대한 숙지
전체 클러스터 ARM 템플릿 예제 arm-trino-catalog-sample.json검토합니다.

ARM 템플릿에서 카탈로그를 추가하는 단계

Key Vault를 연결하고 secretsProfile 시크릿을 clusterProfile 속성 아래에 추가합니다.

이 단계에서는 Key Vault 및 비밀이 Trino 클러스터에 대해 구성되어 있는지 확인해야 합니다. 다음 예제에서 SQL Server 자격 증명은 trinotest-admin-user, trinotest-admin-pwd 비밀에 저장됩니다.

"secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

clusterProfile 속성에 serviceConfigsProfiles 카탈로그를 추가합니다.

이 단계에서는 클러스터에 Trino 특정 카탈로그 구성을 추가해야 합니다. 다음 예제에서는 메모리 및 SQL Server 커넥터를 사용하여 두 개의 카탈로그를 구성합니다. 카탈로그 구성은 다음과 같은 두 가지 방법으로 지정할 수 있습니다.

값 섹션의 키-값 쌍입니다.
콘텐츠 속성의 단일 문자열입니다.

메모리 카탈로그는 키-값 쌍을 사용하여 정의되고 SQL Server 카탈로그는 단일 문자열 옵션을 사용하여 정의됩니다.

 "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

속성

재산	묘사
서비스 이름	trino
구성 요소	섹션이 카탈로그를 구성하고 "카탈로그"여야 임을 식별합니다.
파일	클러스터에 추가할 Trino 카탈로그 파일 목록입니다.
파일 이름	클러스터에 추가할 Trino 카탈로그 파일 목록입니다.
콘텐츠	이스케이프된 문자열을 `json` trino 카탈로그 파일에 넣습니다. 이 문자열에는 사용된 커넥터 유형에 따라 달라지는 모든 삼항별 카탈로그 속성이 포함되어야 합니다. 자세한 내용은 OSS trino 설명서를 참조하세요.
${SECRET_REF:<referenceName>}	secretsProfile에서 비밀을 참조하는 특수 태그입니다. 런타임에 Trino는 Key Vault에서 비밀을 가져와 카탈로그 구성으로 대체합니다.
가치	콘텐츠 속성을 단일 문자열로 사용하고 메모리 카탈로그에 표시된 대로 각 개별 Trino 카탈로그 속성에 대해 별도의 키-값 쌍을 사용하여 카탈로그 구성을 지정할 수 있습니다.

클러스터의 변경 내용을 반영하도록 업데이트된 ARM 템플릿을 배포합니다. ARM 템플릿을 배포하는 방법을 알아봅니다.

다음을 통해 공유

카탈로그 구성

필수 구성 요소

ARM 템플릿에서 카탈로그를 추가하는 단계

추가 리소스