대규모 예측: 다양한 모델 및 분산 학습
이 문서는 대량의 과거 데이터에 대한 예측 모델 학습에 관한 것입니다. AutoML에서 예측 모델을 학습하는 지침과 예는 시계열 예측을 위한 AutoML 설정 문서에서 찾을 수 있습니다.
시계열 데이터는 데이터의 계열 수, 기록 관측치 수 또는 두 가지 모두로 인해 커질 수 있습니다. 다양한 모델과 HTS(계층적 시계열)는 데이터가 다수의 시계열로 구성된 이전 시나리오에 대한 크기 조정 솔루션입니다. 이러한 경우 데이터를 그룹으로 분할하고 그룹에서 동시에 다수의 독립적인 모델을 학습하는 것이 모델 정확도 및 확장성에 도움이 될 수 있습니다. 반대로 대용량 모델 하나 또는 몇 개가 더 나은 시나리오가 있습니다. 분산 DNN 학습은 이 경우를 대상으로 합니다. 문서의 나머지 부분에서는 이러한 시나리오에 대한 개념을 검토합니다.
여러 모델
AutoML의 다양한 모델 구성 요소를 사용하면 수백만 개의 모델을 동시에 학습하고 관리할 수 있습니다. 예를 들어, 다수의 저장소에 대한 과거 판매 데이터가 있다고 가정해 보겠습니다. 다음 다이어그램과 같이 다양한 모델을 사용하여 각 저장소에 대해 병렬 AutoML 학습 작업을 시작할 수 있습니다.
이 예에서는 다중 모델 학습 구성 요소가 AutoML의 모델 검색 및 선택을 각 저장소에 독립적으로 적용합니다. 이러한 모델 독립성은 확장성에 도움이 되며 특히 저장소의 판매 역학이 서로 다른 경우 모델 정확도에 도움이 될 수 있습니다. 그러나 일반적인 판매 역학이 있는 경우 단일 모델 방식을 사용하면 더 정확한 예측을 얻을 수 있습니다. 해당 사례에 대한 자세한 내용은 분산 DNN 학습 섹션을 참조하세요.
데이터 분할, 모델에 대한 AutoML 설정, 다양한 모델 학습 작업에 대한 병렬 처리 수준을 구성할 수 있습니다. 예를 보려면 다양한 모델 구성 요소에 대한 가이드 섹션을 참조하세요.
계층적 시계열 예측
비즈니스 애플리케이션의 시계열에는 계층 구조를 형성하는 중첩된 특성이 있는 것이 일반적입니다. 예를 들어, 지역 및 제품 카탈로그 특성은 중첩되는 경우가 많습니다. 계층 구조에 두 개의 지리적 특성(주 및 저장소 ID)과 두 개의 제품 특성(범주 및 SKU)이 있는 예를 생각해 보세요.
이 계층 구조는 다음 다이어그램에 설명되어 있습니다.
중요한 점은 리프(SKU) 수준의 판매 수량이 상태 및 총 판매 수준에서 집계된 판매 수량을 합산한다는 것입니다. 계층적 예측 방법은 계층의 모든 수준에서 판매 수량을 예측할 때 이러한 집계 속성을 유지합니다. 이 속성을 사용한 예측은 계층 구조와 관련하여 일관적입니다.
AutoML은 HTS(계층적 시계열)에 대해 다음 기능을 지원합니다.
- 모든 계층 구조 수준에서의 학습. 어떤 경우에는 리프 수준 데이터에 노이즈가 있을 수 있지만 집계는 예측에 더 적합할 수 있습니다.
- 계층 구조의 모든 수준에서 포인트 예측을 검색합니다. 예측 수준이 학습 수준보다 "낮은" 경우 학습 수준의 예측은 평균 과거 비율 또는 이전 평균 비율을 통해 분류됩니다. 학습 수준 예측은 예측 수준이 학습 수준보다 "높은" 경우 집계 구조에 따라 합산됩니다.
- 학습 수준이거나 "낮은" 수준인 경우 분위수/확률적 예측 검색. 현재 모델링 기능은 확률적 예측의 분리를 지원합니다.
AutoML의 HTS 구성 요소는 많은 모델을 기반으로 빌드되므로 HTS는 많은 모델의 확장 가능한 속성을 공유합니다. 예를 보려면 HTS 구성 요소에 대한 가이드 섹션을 참조하세요.
분산 DNN 학습(미리 보기)
Important
이 기능은 현재 공개 미리 보기로 제공됩니다. 이 미리 보기 버전은 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다.
자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.
대량의 과거 관측치 및/또는 다수의 관련 시계열을 포함하는 데이터 시나리오는 확장 가능한 단일 모델 방식의 이점을 활용할 수 있습니다. 이에 따라 AutoML은 시계열 데이터에 대한 DNN(심층 신경망)의 일종인 TCN(임시 나선형 네트워크) 모델에 대한 분산 학습 및 모델 검색을 지원합니다. AutoML의 TCN 모델 클래스에 대한 자세한 내용은 DNN 문서를 참조하세요.
분산 DNN 학습은 시계열 경계를 존중하는 데이터 분할 알고리즘을 사용하여 확장성을 달성합니다. 다음 다이어그램은 두 개의 파티션이 있는 간단한 예를 보여 줍니다.
학습 중에 각 컴퓨팅의 DNN 데이터 로더는 역전파 반복을 완료하는 데 필요한 것만 로드합니다. 전체 데이터 세트가 메모리로 읽혀지지 않습니다. 파티션은 학습 속도를 높이기 위해 가능한 여러 노드의 여러 컴퓨팅 코어(일반적으로 GPU)에 추가로 분산됩니다. 컴퓨팅 전반의 조정은 Horovod 프레임워크에서 제공됩니다.
다음 단계
- 시계열 예측 모델 학습을 위해 AutoML을 설정하는 방법에 대해 자세히 알아봅니다.
- AutoML이 기계 학습을 사용하여 예측 모델을 빌드하는 방법에 대해 알아봅니다.
- AutoML 예측을 위한 딥 러닝 모델에 대해 알아봅니다.