Eficiência de desempenho para o data lakehouse
Este artigo aborda os princípios arquitetônicos do pilar de eficiência de desempenho, referindo-se à capacidade de um sistema se adaptar às alterações de carga.
Princípios da eficiência de desempenho
Usar arquiteturas sem servidor
Arquiteturas sem servidor não exigem que os clientes operem e mantenham a infraestrutura de computação na nuvem. Isso elimina a sobrecarga operacional do gerenciamento da infraestrutura de nuvem e reduz os custos de transação porque os serviços gerenciados operam em escala de nuvem. Eles também oferecem disponibilidade imediata, segurança pronta para uso e exigem configuração ou administração mínima.
Projetar cargas de trabalho para desempenho
Para cargas de trabalho repetidas, como pipelines de engenharia de dados, o desempenho nunca deve ser negligenciado. Os dados devem ser:
- Lidos da memória do objeto com eficiência.
- Transformados com eficiência.
- Publicados para consumo com eficiência.
Além disso, a maioria dos pipelines ou padrões de consumo usa uma cadeia de sistemas. Para obter o melhor desempenho possível, toda a cadeia deve ser considerada e selecionada para obter o melhor desempenho.
Executar testes de desempenho no escopo do desenvolvimento
Cada carga de trabalho de desenvolvimento deve passar por testes contínuos de desempenho. Os testes garantem que qualquer alteração na base de código não afete negativamente o desempenho da carga de trabalho. Estabeleça um agendamento regular para a execução de testes. Execute o teste como parte de um evento agendado ou de um pipeline de build de integração contínua.
Estabeleça linhas de base de desempenho e determine a eficiência atual das cargas de trabalho e a infraestrutura de suporte. Medir o desempenho em relação às linhas de base pode fornecer estratégias de melhoria e determinar se o aplicativo atende aos objetivos de negócios.
Identifique gargalos que podem estar afetando o desempenho. Esses gargalos podem ser causados por erros de código ou configuração incorreta de um serviço. Normalmente, os gargalos pioram à medida que a carga aumenta.
Monitorar o desempenho
Verifique se os recursos e serviços permanecem acessíveis e que o desempenho atenda às expectativas do usuário ou aos requisitos da carga de trabalho. O monitoramento pode ajudá-lo a identificar gargalos ou recursos insuficientes, otimizar configurações e detectar erros de pipeline/carga de trabalho.
Em seguida: Práticas recomendadas para eficiência de desempenho
Confira Práticas recomendadas para eficiência de desempenho.