Configurar cache
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em pré-visualização, em beta ou ainda não lançadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade Azure HDInsight .
Consultar o armazenamento de objetos usando o conector Hive é um caso de uso comum para o Trino. Este processo envolve frequentemente o envio de grandes quantidades de dados. Os objetos são recuperados do HDFS ou de outro armazenamento de objetos suportado por vários trabalhadores e processados por esses trabalhadores. Consultas repetidas com parâmetros diferentes, ou até mesmo consultas diferentes de usuários diferentes, geralmente acessam e transferem os mesmos objetos.
O HDInsight no AKS adicionou capacidade de cache de resultados finais para o Trino, que oferece os seguintes benefícios:
- Reduza a carga no armazenamento de objetos.
- Melhore o desempenho da consulta.
- Reduza o custo da consulta.
Opções de cache
Diferentes opções para cache:
- Cache do resultado final: Quando ativado (na seção de configuração do componente coordenador), um resultado de qualquer consulta para qualquer catálogo é armazenado em cache numa VM coordenadora.
- cache de catálogo do Hive/Iceberg/Delta Lake: Quando habilitado (para um catálogo específico do tipo correspondente), um dado dividido para cada consulta é armazenado em cache no cluster em VMs de trabalho.
Cache de resultados finais
O cache de resultados finais pode ser configurado de duas maneiras:
Os parâmetros de configuração disponíveis são:
| Propriedade | Padrão | Descrição |
|---|---|---|
query.cache.enabled |
falso | Habilita o cache de resultado final, se verdadeiro. |
query.cache.ttl |
- | Define um tempo até que os dados do cache sejam mantidos antes da remoção. Por exemplo: "10m","1h" |
query.cache.disk-usage-percentage |
80 | Porcentagem de espaço em disco usado para dados armazenados em cache. |
query.cache.max-result-data-size |
0 | Tamanho máximo dos dados para um resultado. Se esse valor for excedido, o resultado não será armazenado em cache. |
Observação
A cache dos resultados finais usa o plano de consulta e o ttl como chave de cache.
O cache de resultados finais também pode ser controlado através dos seguintes parâmetros de sessão:
| Parâmetro de sessão | Padrão | Descrição |
|---|---|---|
query_cache_enabled |
Valor de configuração original | Habilita/desabilita o cache de resultados finais para uma consulta/sessão. |
query_cache_ttl |
Valor de configuração original | Define um tempo até que os dados do cache sejam mantidos antes da remoção. |
query_cache_max_result_data_size |
Valor de configuração original | Tamanho máximo dos dados para um resultado. Se esse valor for excedido, o resultado não será armazenado em cache. |
query_cache_forced_refresh |
falso | Quando definido como true, força o resultado da execução da consulta a ser armazenado em cache, ou seja, o resultado substitui os dados armazenados em cache existentes, se existirem). |
Observação
Os parâmetros de sessão podem ser definidos para uma sessão (por exemplo, se a CLI Trino for usada) ou podem ser definidos em várias instruções antes do texto da consulta. Por exemplo
set session query_cache_enabled=true;
select cust.name, *
from tpch.tiny.orders
join tpch.tiny.customer as cust on cust.custkey = orders.custkey
order by cust.name
limit 10;
O cache de resultados finais produz métricas JMX que podem ser visualizadas usando Managed Prometheus e Grafana. As seguintes métricas estão disponíveis:
| Métrica | Descrição |
|---|---|
trino_cache_cachestats_requestcount |
Número total de consultas que passam pela camada de cache. Esse número não inclui consultas executadas com o cache desativado. |
trino_cache_cachestats_hitcount |
Número de acertos do cache, isto é, número de consultas quando os dados estavam disponíveis e foram retornados do cache. |
trino_cache_cachestats_misscount |
Número de falhas de cache, ou seja, número de consultas quando os dados não estavam disponíveis e precisavam ser armazenados em cache. |
trino_cache_cachestats_hitrate |
Representação percentual de acertos de cache em relação ao número total de consultas. |
trino_cache_cachestats_totalevictedcount |
Número de consultas em cache expulsas do cache. |
trino_cache_cachestats_totalbytesfromsource |
Número de bytes lidos da fonte. |
trino_cache_cachestats_totalbytesfromcache |
Número de bytes lidos do cache. |
trino_cache_cachestats_totalcachedbytes |
Número total de bytes armazenados em cache. |
trino_cache_cachestats_totalevictedbytes |
Número total de bytes removidos. |
trino_cache_cachestats_spaceused |
Tamanho atual do cache. |
trino_cache_cachestats_cachereadfailures |
Número de vezes em que os dados não podem ser lidos do cache devido a qualquer erro. |
trino_cache_cachestats_cachewritefailures |
Número de vezes em que os dados não podem ser gravados no cache devido a qualquer erro. |
Usando o portal do Azure
Faça login no portal do Azure.
Na barra de pesquisa do portal do Azure, digite "HDInsight em cluster AKS" e selecione "Azure HDInsight em cluster AKS" na lista suspensa.
Selecione o nome do cluster na página de lista.
Navegue até painel Gestão de Configuração.
Vá para config.properties -> Configurações personalizadas e clique em Adicionar.
Defina as propriedades necessárias e clique em OK.
Salvar a configuração.
Usando o modelo ARM
Pré-requisitos
- Um cluster operacional Trino com HDInsight no AKS.
- Crie modelo ARM para seu cluster.
- Revise o modelo ARM completo do cluster , exemplo.
- Familiaridade com criação e implantação de modelos ARM.
Você precisa definir as propriedades no componente coordenador na seção properties.clusterProfile.serviceConfigsProfiles no modelo ARM.
O exemplo a seguir demonstra onde adicionar as propriedades.
{
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {},
"resources": [
{
"type": "microsoft.hdinsight/clusterpools/clusters",
"apiVersion": "<api-version>",
"name": "<cluster-pool-name>/<cluster-name>",
"location": "<region, e.g. westeurope>",
"tags": {},
"properties": {
"clusterType": "Trino",
"clusterProfile": {
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "10m"
}
}
]
}
]
}
]
}
}
}
]
}
Hive/Iceberg/Delta Lake em cache
Todos os três conectores compartilham o mesmo conjunto de parâmetros conforme descrito no cache Hive.
Observação
Certos parâmetros não são configuráveis e sempre são definidos para seus valores padrão:
hive.cache.data-transfer-port=8898,
hive.cache.bookkeeper-port=8899,
hive.cache.location=/etc/trino/cache,
hive.cache.disk-usage-percentage=80
O exemplo a seguir demonstra onde adicionar as propriedades para habilitar o cache do Hive usando o modelo ARM.
{
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {},
"resources": [
{
"type": "microsoft.hdinsight/clusterpools/clusters",
"apiVersion": "<api-version>",
"name": "<cluster-pool-name>/<cluster-name>",
"location": "<region, e.g. westeurope>",
"tags": {},
"properties": {
"clusterType": "Trino",
"clusterProfile": {
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "catalogs",
"files": [
{
"fileName": "hive1.properties",
"values": {
"connector.name": "hive"
"hive.cache.enabled": "true",
"hive.cache.ttl": "5d"
}
}
]
}
]
}
]
}
}
}
]
}
Implante o modelo ARM atualizado para refletir as alterações no cluster. Saiba como implantar um modelo ARM.