Otimize a utilização do cluster de pipelines do Delta Live Tables com dimensionamento automático aprimorado

Artigo
10/31/2024

Este artigo discute como usar o dimensionamento automático aprimorado para otimizar seus pipelines do Delta Live Tables no Azure Databricks.

O dimensionamento automático aprimorado é habilitado por padrão para todos os novos pipelines.

Para pipelines sem servidor, o dimensionamento automático aprimorado está sempre ativado e não pode ser desabilitado. Consulte Configurar um pipeline do Delta Live Tables sem servidor.

O que é dimensionamento automático aprimorado?

O Dimensionamento automático aprimorado do Databricks otimiza a utilização do cluster alocando automaticamente recursos de cluster com base no volume de carga de trabalho, com impacto mínimo na latência de processamento de dados de seus pipelines.

O dimensionamento automático aprimorado melhora a funcionalidade de dimensionamento automático do cluster do Azure Databricks com os seguintes recursos:

O dimensionamento automático aprimorado implementa a otimização de cargas de trabalho de streaming e adiciona aprimoramentos para melhorar o desempenho de cargas de trabalho em lote. O dimensionamento automático aprimorado otimiza os custos adicionando ou removendo máquinas à medida que a carga de trabalho muda.
O dimensionamento automático aprimorado desliga proativamente os nós subutilizados, garantindo que não haja tarefas com falha durante o desligamento. O recurso de dimensionamento automático de cluster existente reduzirá os nós somente se o nó estiver ocioso.

O dimensionamento automático aprimorado é o modo de dimensionamento automático padrão quando você cria um novo pipeline na interface do usuário do Delta Live Tables. Você pode habilitar o dimensionamento automático aprimorado para pipelines existentes editando as configurações do pipeline na interface do usuário. Você também pode habilitar o dimensionamento automático aprimorado ao criar ou editar pipelines com a API Delta Live Tables.

Quais métricas o dimensionamento automático avançado usa para tomar uma decisão de aumento ou redução?

O dimensionamento automático avançado usa duas métricas para decidir sobre a expansão ou a redução:

Utilização do slot de tarefa: essa é a proporção média do número de slots de tarefa ocupados em relação ao total de slots de tarefa disponíveis no cluster.
Tamanho da fila de tarefas: esse é o número de tarefas aguardando para serem executadas em slots de tarefas.

Habilitar o dimensionamento automático aprimorado para um pipeline do Delta Live Tables

Para usar o dimensionamento automático aprimorado, siga um destes procedimentos:

Defina o modo Cluster como Dimensionamento automático aprimorado ao criar ou editar um pipeline na interface do usuário do Delta Live Tables.
Adicione a configuração autoscale à configuração do cluster de pipeline e defina o campo mode como ENHANCED. Consulte Configurar a computação para um pipeline do Delta Live Tables.

Use as seguintes diretrizes ao configurar o dimensionamento automático aprimorado para pipelines de produção:

Mantenha a configuração Min workers padrão.
Defina a configuração Max workers para um valor com base no orçamento e na prioridade do pipeline.

O exemplo a seguir configura um cluster de dimensionamento automático aprimorado com um mínimo de 5 trabalhos e um máximo de 10 trabalhos. max_workers deve ser maior ou igual a min_workers.

Observação

O dimensionamento automático aprimorado está disponível apenas para updates clusters. O dimensionamento automático herdado é usado para maintenance clusters.
A configuração autoscale tem dois modos:
- LEGACY: use dimensionamento automático do cluster.
- ENHANCED: Use o dimensionamento automático aprimorado.

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

Se o pipeline estiver configurado para execução contínua, ele será reiniciado automaticamente após as alterações na configuração de dimensionamento automático. Após a reinicialização, espere um curto período de maior latência. Após esse breve período de latência aumentada, o tamanho do cluster deve ser atualizado com base em sua autoscale configuração e a latência do pipeline deve retornar às suas características de latência anteriores.

Limitar os custos de pipelines que usam dimensionamento automático aprimorado

Observação

Você não pode configurar workers para pipelines sem servidor.

Definir o parâmetro Max workers no painel Computação de pipelines define um limite superior para dimensionamento automático. Reduzir o número de trabalhos disponíveis pode aumentar a latência de algumas cargas de trabalho, mas impede que os custos de recursos de computação sejam intermitentes durante operações com uso intensivo de computação.

O Databricks recomenda ajustar as configurações de Max workers para equilibrar a compensação de custo-latência para suas necessidades específicas.

O painel Computação na interface do usuário do Pipelines, onde você pode definir o máximo de trabalhos para dimensionamento automático

Monitorar pipelines clássicos habilitados para dimensionamento automático aprimorado

Você pode usar o log de eventos na interface do usuário do Delta Live Tables para monitorar métricas aprimoradas de dimensionamento automático para pipelines clássicos. Os eventos de dimensionamento automático aprimorado têm o autoscale tipo de evento. Estes são os eventos de exemplo:

Evento	Mensagem
Solicitação de redimensionamento de cluster iniciada	`Scaling [up or down] to <y> executors from current cluster size of <x>`
Solicitação de redimensionamento de cluster bem-sucedida	`Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED`
Solicitação de redimensionamento de cluster parcialmente bem-sucedida	`Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED`
Solicitação de redimensionamento de cluster com falha	`Achieved cluster size <x> for cluster <cluster-id> with status FAILED`

Você também pode exibir eventos de dimensionamento automático aprimorados consultando diretamente o log de eventos:

Para consultar o log de eventos em busca de métricas de backlog, confira Monitoramento da lista de pendências de dados consultando o log de eventos.
Para monitorar solicitações e respostas de redimensionamento de cluster durante operações de dimensionamento automático aprimorado, consulte Monitorar eventos de dimensionamento automático aprimorado do log de eventos para pipelines sem sem servidor habilitado.

Compartilhar via