Armazenamento e análise de consultas históricas no Azure Synapse Analytics
A análise de consultas históricas é uma das necessidades cruciais dos engenheiros de dados. O Azure Synapse Analytics dá suporte a quatro maneiras principais de analisar o histórico e o desempenho de consultas. Estes incluem o Repositório de Consultas, DMVs, Azure Log Analytics e Azure Data Explorer.
Este artigo irá mostrar-lhe como utilizar cada uma destas opções para as suas necessidades. Analise os casos de uso quando se trata de analisar o histórico de consultas e o melhor método para cada um.
| Necessidade do cliente | Query Store (Arquivo de Consultas) | DMVs | Log Analytics do Azure | Azure Data Explorer |
|---|---|---|---|---|
| Solução pronta a usar | Necessidades de habilitação | ✔️ | Serviço de adição necessário | Serviço de adição necessário |
| Períodos de análise mais longos | 30 dias | Até 10000 linhas de história | Personalizável | Personalizável |
| Disponibilidade de métricas cruciais | Limitada | ✔️ | Limitada | Personalizável |
| Usar SQL para análise | ✔️ | ✔️ | KQL necessário | O suporte a SQL é limitado |
Query Store (Arquivo de Consultas)
O recurso Repositório de Consultas fornece informações sobre a escolha e o desempenho do plano de consulta. Simplifica a resolução de problemas de desempenho ao ajudar a encontrar rapidamente diferenças de desempenho provocadas por alterações no plano de consulta.
O Repositório de Consultas não está habilitado por padrão para novos bancos de dados do Azure Synapse Analytics. Para habilitar o Repositório de Consultas para executar o seguinte comando T-SQL:
ALTER DATABASE <database_name>
SET QUERY_STORE = ON;
Por exemplo:
ALTER DATABASE [SQLPOOL1]
SET QUERY_STORE = ON;
Você pode executar auditorias de desempenho e tarefas relacionadas à solução de problemas localizando as últimas consultas executadas, contagens de execução, consultas de execução mais longa, consultas com o máximo de leads de E/S física. Consulte Monitorando o desempenho usando o repositório de consultas para obter consultas de exemplo.
Vantagens:
- Até 30 dias de armazenamento para dados de consulta. Padrão 7 dias.
- Os dados podem ser consumidos na mesma ferramenta em que você executaria a consulta.
Limitação Conhecida:
- O armazenamento padrão de dados de consulta históricos é menor.
- Os cenários para análise são limitados no Repositório de Consultas para Sinapse do Azure quando comparados ao uso de DMVs.
DMVs
As Visualizações de Gerenciamento Dinâmico (DMVs) são extremamente úteis quando se trata de coletar informações sobre tempos de espera de consulta, planos de execução, memória, etc. É altamente recomendável rotular sua consulta de interesse para rastreá-la mais tarde. Por exemplo:
-- Query with Label
SELECT *
FROM sys.tables
OPTION (LABEL = 'My Query');
Para obter mais informações sobre como rotular suas consultas no Azure Synapse SQL, consulte Usar rótulos de consulta no Synapse SQL.
Para obter mais informações sobre como usar DMVs para monitorar sua carga de trabalho do Azure Synapse Analytics, consulte Monitorar sua carga de trabalho dedicada do pool SQL usando DMVs. Para obter documentação sobre exibições de catálogo específicas do Azure Synapse Analytics, consulte Exibições do catálogo do Azure Synapse Analytics.
Vantagens:
- Os dados podem ser consumidos na mesma ferramenta de consulta.
- Os DMVs oferecem amplas opções de análise.
Limitações Conhecidas:
- Os DMVs são limitados a 10.000 linhas de entradas históricas.
- As visualizações são redefinidas quando o pool é pausado/retomado.
Log Analytics
Os espaços de trabalho do Log Analytics podem ser criados facilmente no portal do Azure. Para obter mais instruções sobre como conectar o Synapse ao Log Analytics, consulte Monitorar a carga de trabalho - portal do Azure.
Como o Azure Data Explorer, o Log Analytics usa a Kusto Query Language (KQL). Para obter mais informações sobre a sintaxe Kusto, consulte Visão geral da consulta Kusto.
Juntamente com o período de retenção configurável, você escolhe o espaço de trabalho especificamente direcionado para consulta no Log Analytics. O Log Analytics oferece a flexibilidade de armazenar dados, executar e salvar consultas.
Vantagens:
- O Azure Log Analytics tem uma política de retenção de logs personalizável
Limitações Conhecidas:
- A utilização do KQL contribui para a curva de aprendizagem.
- Visualizações limitadas podem ser desconectadas da caixa.
Azure Data Explorer (ADX)
O Azure Data Explorer (ADX) é um serviço líder de exploração de dados. Este serviço pode ser usado para analisar consultas históricas do Azure Synapse Analytics. Para configurar um pipeline do Azure Data Factory (ADF) para copiar e armazenar logs no ADX, consulte Copiar dados de ou para o Azure Data Explorer. No ADX, você pode executar a consulta Kusto de desempenho para analisar seus logs. Você pode combinar outras estratégias aqui, por exemplo, para consultar e carregar a saída do Detran para o ADX via ADF.
Vantagens:
- O ADX fornece uma política de retenção de logs personalizável.
- Execução de consulta de desempenho em relação a uma grande quantidade de dados, especialmente consultas que envolvem pesquisa de cadeia de caracteres.
Limitação Conhecida:
- A utilização do KQL contribui para a curva de aprendizagem.