Folha de referências da criação de computação
Este artigo tem como objetivo fornecer diretrizes claras e opinativas para a criação da computação. Usando os tipos de computação corretos para seu fluxo de trabalho, você pode melhorar o desempenho e economizar em custos.
Melhor Prática | Impacto | Docs |
---|---|---|
Se você for novo no Azure Databricks, comece usando tipos gerais de instância para todas as finalidades | Selecionar o tipo de instância apropriado para a carga de trabalho resulta em maior eficiência. | - Criar um cluster |
Use o modo de acesso compartilhado, a menos que a funcionalidade necessária não tenha suporte | A computação com o modo de acesso compartilhado pode ser usada por vários usuários com isolamento de dados entre os usuários. | - Modos de acesso |
Use os tipos de instância de última geração se houver disponibilidade suficiente | A última geração de tipos de instância fornece o melhor desempenho e os recursos mais recentes. | - Tipos de instância do Azure |
Defina seu equilíbrio sob demanda e de instância spot com base na rapidez com que você precisa que sua carga de trabalho seja executada | As instâncias spot economizam no custo, mas podem afetar o tempo de execução geral de uma operação se as instâncias spot forem recuperadas. | - Recomendações de configuração de computação |
Escolha o tamanho de seus nós e o número de trabalhos com base nos tipos de operações que sua carga de trabalho executa | Por exemplo, se você espera muitos embaralhamentos, pode ser mais eficiente usar um nó único grande em vez de vários nós menores. | - Considerações sobre dimensionamento de computação |
Execute o vácuo em um cluster com dimensionamento automático definido para 1 a 4 trabalhos, em que cada trabalho tem 8 núcleos. Selecione um driver com entre 8 e 32 núcleos. Aumente o tamanho do driver se você tiver erros de memória insuficiente (OOM). |
As instruções de vácuo ocorrem em duas fases, e a segunda é pesada para o driver. Se você não usar o cluster de tamanho certo, a operação poderá causar uma desaceleração e talvez não tenha êxito. | - Que tamanho de cluster o vácuo precisa? - Melhores práticas do VACUUM |
Avaliar se o fluxo de trabalho em lotes se beneficiaria do Photon | O Photon fornece consultas mais rápidas e reduz o custo total por carga de trabalho. | - Vantagens do Photon |