향상된 자동 크기 조정을 사용하여 Delta Live Tables 파이프라인의 클러스터 사용률 최적화

아티클
10/31/2024

이 문서에서는 향상된 자동 크기 조정을 사용하여 Azure Databricks에서 Delta Live Tables 파이프라인을 최적화하는 방법을 설명합니다.

향상된 자동 크기 조정은 기본적으로 모든 새 파이프라인에 대해 사용하도록 설정됩니다.

서버리스 파이프라인의 경우 향상된 자동 크기 조정은 항상 설정되어 있으며 사용하지 않도록 설정할 수 없습니다. 서버리스 Delta Live Tables 파이프라인 구성을 참조하세요.

향상된 자동 크기 조정이란?

Databricks 향상된 자동 크기 조정은 파이프라인의 데이터 처리 대기 시간에 미치는 영향을 최소화하면서 워크로드 볼륨에 따라 클러스터 리소스를 자동으로 할당하여 클러스터 사용률을 최적화합니다.

향상된 자동 크기 조정은 다음 기능을 사용하여 Azure Databricks 클러스터 자동 크기 조정 기능을 향상시킵니다.

향상된 자동 크기 조정은 스트리밍 워크로드의 최적화를 구현하고 향상된 기능을 추가하여 일괄 처리 워크로드의 성능을 향상시킵니다. 향상된 자동 크기 조정은 워크로드가 변경될 때 컴퓨터를 추가하거나 제거하여 비용을 최적화합니다.
향상된 자동 크기 조정은 사용률이 저조한 노드를 사전에 종료하는 동시에 종료하는 동안 실패한 작업이 없음을 보장합니다. 기존 클러스터 자동 크기 조정 기능은 노드가 유휴 상태인 경우에만 노드를 축소합니다.

델타 라이브 테이블 UI에서 새 파이프라인을 만들 때 향상된 자동 크기 조정은 기본 자동 크기 조정 모드입니다. UI에서 파이프라인 설정을 편집하여 기존 파이프라인에 대해 향상된 자동 크기 조정을 사용하도록 설정할 수 있습니다. Delta Live Tables API를 사용하여 파이프라인을 만들거나 편집할 때 향상된 자동 크기 조정을 사용하도록 설정할 수도 있습니다.

강화 또는 축소 결정을 내리기 위해 향상된 자동 크기 조정을 사용하는 메트릭은 무엇인가요?

향상된 자동 크기 조정은 두 가지 메트릭을 사용하여 스케일 업 또는 스케일 다운을 결정합니다.

작업 슬롯 사용률: 사용 중인 작업 슬롯 수와 클러스터에서 사용할 수 있는 총 작업 슬롯의 평균 비율입니다.
작업 큐 크기: 작업 슬롯에서 실행되기를 기다리는 작업의 수입니다.

Delta Live Tables 파이프라인에 대해 향상된 자동 크기 조정 사용

향상된 자동 크기 조정을 사용하려면 다음 중 하나를 수행합니다.

Delta Live Tables UI에서 파이프라인을 만들거나 편집할 때 클러스터 모드를 향상된 자동 크기 조정으로 설정합니다.
autoscale 파이프라인 클러스터 구성에 설정을 추가하고 필드를 ENHANCED.로 설정합니다mode. Delta Live Tables 파이프라인에 대한 컴퓨팅 구성을 참조하세요.

프로덕션 파이프라인에 대해 향상된 자동 크기 조정을 구성할 때 다음 지침을 사용합니다.

Min workers 설정을 기본값으로 둡니다.
Max workers 설정을 예산 및 파이프라인 우선 순위를 기준으로 하는 값으로 설정합니다.

다음 예제에서는 최소 5명의 작업자와 최대 10명의 작업자로 향상된 자동 크기 조정 클러스터를 구성합니다. max_workers 는 .보다 크거나 같아야 합니다 min_workers.

참고 항목

향상된 자동 크기 조정은 클러스터에 updates 만 사용할 수 있습니다. 레거시 자동 크기 조정은 클러스터에 maintenance 사용됩니다.
구성에는 autoscale 두 가지 모드가 있습니다.
- LEGACY: 클러스터 자동 크기 조정을 사용합니다.
- ENHANCED: 향상된 자동 크기 조정을 사용합니다.

{
  "clusters": [
    {
      "autoscale": {
        "min_workers": 5,
        "max_workers": 10,
        "mode": "ENHANCED"
      }
    }
  ]
}

파이프라인이 연속 실행을 위해 구성된 경우 자동 크기 조정 구성이 변경된 후 자동으로 다시 시작됩니다. 다시 시작한 후에는 짧은 기간 동안 대기 시간이 증가할 것으로 예상합니다. 짧은 대기 시간 증가에 따라 구성에 autoscale 따라 클러스터 크기를 업데이트해야 하며 파이프라인 대기 시간은 이전 대기 시간 특성으로 돌아가야 합니다.

향상된 자동 크기 조정을 사용하는 파이프라인에 대한 비용 제한

참고 항목

서버리스 파이프라인에 대한 작업자를 구성할 수 없습니다.

파이프라인 컴퓨팅 창에서 Max worker 매개 변수를 설정하면 자동 크기 조정에 대한 상한이 설정됩니다. 사용 가능한 작업자 수를 줄이면 일부 워크로드의 대기 시간이 늘어나지만 계산 집약적인 작업 중에 컴퓨팅 리소스 비용이 버스트되지 않도록 방지할 수 있습니다.

Databricks는 특정 요구 사항에 대한 비용 대기 시간 장차의 균형을 맞추기 위해 Max 작업자 설정을 조정하는 것이 좋습니다.

자동 크기 조정을 위해 최대 작업자를 설정할 수 있는 파이프라인 UI의 컴퓨팅 창

향상된 자동 크기 조정을 사용하도록 설정된 클래식 파이프라인 모니터링

Delta Live Tables 사용자 인터페이스의 이벤트 로그를 사용하여 클래식 파이프라인에 대한 향상된 자동 크기 조정 메트릭을 모니터링할 수 있습니다. 향상된 자동 크기 조정 이벤트에는 이벤트 유형이 autoscale 있습니다. 다음은 예제 이벤트입니다.

이벤트	메시지
클러스터 크기 조정 요청이 시작됨	`Scaling [up or down] to <y> executors from current cluster size of <x>`
클러스터 크기 조정 요청이 성공함	`Achieved cluster size <x> for cluster <cluster-id> with status SUCCEEDED`
클러스터 크기 조정 요청이 부분적으로 성공함	`Achieved cluster size <x> for cluster <cluster-id> with status PARTIALLY_SUCCEEDED`
클러스터 크기 조정 요청이 실패함	`Achieved cluster size <x> for cluster <cluster-id> with status FAILED`

또한 이벤트 로그를 직접 쿼리하여 향상된 자동 크기 조정 이벤트를 볼 수도 있습니다.

이벤트 로그에서 백로그 메트릭을 쿼리하려면 이벤트 로그를 쿼리하여 데이터 백로그 모니터링을 참조 하세요.
향상된 자동 크기 조정 작업 중에 클러스터 크기 조정 요청 및 응답을 모니터링하려면 서버리스를 사용하지 않는 파이프라인에 대한 이벤트 로그의 향상된 자동 크기 조정 이벤트 모니터링을 참조하세요.

다음을 통해 공유