Estratégias de otimização de custos para clusters HDInsight
A primeira etapa na otimização de custos do HDInsight é selecionar o tipo de cluster correto para a carga de trabalho que está sendo atendida. Escolher o tipo de cluster errado pode levar a tempos de processamento mais longos, com mais computação sendo usada do que o necessário. Isso resulta em custos que podem não ser adequados à atividade que está sendo realizada e podem ser excessivos para a operação.
Anteriormente, selecionar o tamanho correto do cluster também era tão importante para garantir que suas cargas de trabalho possam ser atendidas rapidamente no pico de demanda. No entanto, a seleção do tamanho do cluster foi corrigida. Ele não poderia ser alterado sem parar o cluster e reprovisioná-lo manualmente com o novo tamanho. Estas medidas eram inconvenientes e atrasariam o tratamento dos dados.
Nos últimos tempos, o HDInsight introduziu um recurso de dimensionamento automático que dimensiona a computação do cluster para atender às necessidades de processamento sob demanda. O recurso de dimensionamento automático permite aumentar a escala do cluster HDInsight durante o pico de demanda e reduzir quando as operações são relativamente silenciosas. Esse recurso garante que você possa minimizar seus gastos de acordo com a demanda de manutenção da configuração do HDInsight.
Você deve excluir clusters que não estão em uso. Você pode monitorar o Cluster HDInsight usando o Apache Ambari ou o Azure Monitor para identificar os clusters que não estão sendo utilizados.