Konfigurace katalogů

Článek
09/20/2024

Důležitý

Azure HDInsight na AKS byl ukončen 31. ledna 2025. Zjistěte více v rámci tohoto oznámení.

Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.

Důležitý

Tato funkce je aktuálně ve verzi Preview. doplňkové podmínky použití pro předběžné verze Microsoft Azure obsahují dodatečné právní podmínky, které se vztahují na funkce Azure, jež jsou ve fázi beta, ve verzi Preview nebo nejsou jinak ještě dostupné pro širokou veřejnost. Informace o této specifické verzi preview najdete v tématu Azure HDInsight ve službě AKS v rámci preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a pro další aktualizace nás sledujte na komunitě Azure HDInsight.

Každý cluster Trino má ve výchozím nastavení několik katalogů – systém, tpcds, tpch. Vlastní katalogy můžete přidat stejným způsobem jako u OSS Trino. Kromě toho Trino s HDInsight v AKS umožňuje ukládání tajných kódů ve službě Key Vault, takže je nemusíte explicitně zadávat v šabloně ARM.

Nový katalog můžete přidat aktualizací šablony ARM clusteru s výjimkou katalogu Hive, který můžete přidat během vytváření clusteru Trino na webu Azure Portal.

Tento článek ukazuje, jak do clusteru přidat nový katalog pomocí šablony ARM. Příklad v tomto článku popisuje kroky pro přidání sql serveru a katalogů paměti.

Požadavky

Provozní cluster Trino se službou HDInsight v AKS.
Databáze Azure SQL
Přihlašovací údaje a heslo k Azure SQL Serveru jsou uložené v tajných klíčích služby Key Vault a uživatelsky přiřazené MSI, které je připojené k vašemu clusteru Trino, má udělená oprávnění k jejich čtení. Odkaz na k uložení přihlašovacích údajů ve službě Key Vault a přiřazení role MSI.
Vytvořte šablonu ARM pro váš cluster.
Znalost vytváření a nasazování šablon ARM.
Projděte si příklad kompletní šablony ARM clusteru arm-trino-catalog-sample.json.

Postup přidání katalogu v šabloně ARM

Připojte službu Key Vault a přidejte tajné kódy do secretsProfile ve vlastnosti clusterProfile.

V tomto kroku se musíte ujistit, že jsou pro cluster Trino nakonfigurované Key Vault a secrets. V následujícím příkladu jsou přihlašovací údaje sql serveru uloženy v těchto tajných kódech: trinotest-admin-user, trinotest-admin-pwd.

"secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

Přidejte katalogy do serviceConfigsProfiles pod vlastnost clusterProfile.

V tomto kroku je potřeba do clusteru přidat konfiguraci katalogu specifické pro Trino. Následující příklad konfiguruje dva katalogy pomocí konektorů Memory a SQL Server. Konfiguraci katalogu je možné zadat dvěma různými způsoby:

Páry klíč-hodnota v oddíle hodnot.
Jeden řetězec v atributu obsahu

Katalog paměti se definuje pomocí páru klíč-hodnota a katalog SQL Serveru je definován pomocí možnosti s jedním řetězcem.

 "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

vlastnosti

Majetek	Popis
serviceName	trino
součást	Identifikuje, že oddíl konfiguruje katalogy a musí být pojmenován jako "katalogy."
soubory	Seznam souborů katalogu Trino, které se mají přidat do clusteru
jméno souboru	Seznam souborů katalogu Trino, které se mají přidat do clusteru
obsah	`json` escapovaný řetězec k vložení do souboru katalogu trino. Tento řetězec by měl obsahovat všechny vlastnosti katalogu specifické pro trino, které závisí na typu použitého konektoru. Další informace najdete v dokumentaci k OSS trino.
${SECRET_REF:<referenceName>}	Speciální značka, která odkazuje na tajný klíč z secretsProfile. Trino za běhu načte tajný kód ze služby Key Vault a nahradí ho v konfiguraci katalogu.
hodnoty	Je možné specifikovat konfiguraci katalogu pomocí vlastnosti obsahu jako jednoho řetězce a použít samostatné páry klíč-hodnota pro každou jednotlivou vlastnost katalogu Trino, jak je znázorněno pro paměťový katalog.

Nasaďte aktualizovanou šablonu ARM tak, aby odrážela změny v clusteru. Zjistěte, jak nasadit šablonu ARM.

Sdílet prostřednictvím

Konfigurace katalogů

Požadavky

Postup přidání katalogu v šabloně ARM

Další materiály