리프트 차트를 사용하여 정확도 테스트(기본 데이터 마이닝 자습서)
데이터 마이닝 Designer 마이닝 정확도 차트 탭에서 각 모델이 예측을 얼마나 잘 하는지 계산하고 각 모델의 결과를 다른 모델의 결과와 직접 비교할 수 있습니다. 이 비교 방법을 리프트 차트라고 합니다. 일반적으로 마이닝 모델의 예측 정확도는 리프트 또는 분류 정확도를 통해 측정됩니다. 이 자습서에서는 리프트 차트만 사용합니다.
이 항목에서는 다음 태스크를 수행합니다.
입력 데이터 선택
마이닝 모델의 정확도를 테스트하는 첫 번째 단계는 테스트에 사용할 데이터 원본을 선택하는 것입니다. 모델이 데이터 테스트를 얼마나 잘 수행하는지 테스트한 다음 외부 데이터에 이 모델을 사용합니다.
데이터 집합을 선택하려면
SQL Server Data Tools(SSDT)의 데이터 마이닝 Designer 마이닝 정확도 차트 탭으로 전환하고 입력 선택 탭을 선택합니다.
정확도 차트 그룹에 사용할 데이터 집합 선택 상자에서 마이닝 구조 테스트 사례 사용을 선택합니다. 마이닝 구조를 만들 때 따로 설정한 테스트 데이터입니다.
다른 옵션에 대한 자세한 내용은 정확도 차트 종류 선택 및 차트 옵션 설정을 참조하세요.
정확도 차트 매개 변수 설정
정확도 차트를 만들려면 다음 세 가지를 정의해야 합니다.
정확도 차트에 포함해야 하는 모델은 무엇입니까?
측정하려는 예측 가능한 특성은 무엇입니까? 일부 모델에는 여러 대상이 있을 수 있지만 각 차트는 한 번에 하나의 결과만 측정할 수 있습니다.
정확도 차트에서 열을 예측 가능한 열 이름으로 사용하려면 열에 또는
Predict Only의Predict사용 유형이 있어야 합니다. 또한 대상 열의 콘텐츠 형식은 또는Discretized이어야Discrete합니다. 즉, 리프트 차트를 사용하여 연속 숫자 출력에 대한 정확도를 측정할 수 없습니다.모델의 일반 정확도 또는 특정 값 예측의 정확도(예: [Bike Buyer] = '예')를 측정하시겠습니까?
리프트 차트를 생성하려면
데이터 마이닝 Designer 입력 선택 탭의 리프트 차트에 표시할 예측 가능한 마이닝 모델 열 선택에서예측 열 및 값 동기화 확인란을 선택합니다.
예측 가능한 열 이름 열에서 각 모델에 대해 Bike Buyer가 선택되어 있는지 확인합니다.
표시 열에서 각 모델을 선택합니다.
기본적으로 마이닝 구조에 있는 모델이 모두 선택되어 있습니다. 모델을 포함하지 않을 수도 있지만 이 자습서에서는 모든 모델을 선택된 채로 둡니다.
값 예측 열에서 1을 선택합니다. 예측 가능한 해당 열이 포함된 각 모델에 대해 같은 값이 자동으로 채워집니다.
리프트 차트 탭을 선택합니다.
탭을 클릭하면 테스트 데이터에 대한 예측을 가져오기 위해 예측 쿼리가 실행되고 결과가 알려진 값과 비교됩니다. 결과가 그래프에 점으로 표시됩니다.
값 예측 옵션을 사용하여 특정 대상 결과를 지정한 경우 리프트 차트는 임의 추측 결과와 이상적인 모델의 결과를 그립니다.
임의 추측 줄은 데이터를 사용하여 예측을 알리지 않고 모델이 얼마나 정확한지 보여 줍니다. 즉, 두 결과 간에 50-50 분할입니다. 리프트 차트를 사용하면 임의 추측에 비해 모델이 얼마나 잘 수행되는지 시각화할 수 있습니다.
이상적인 모델 선은 정확도의 상한을 나타냅니다. 모델이 항상 정확하게 예측하는 경우 달성할 수 있는 최대 이점을 보여줍니다.
만든 마이닝 모델은 일반적으로 이러한 두 극단 사이에 속합니다. 임의 추측의 개선은 리프트로 간주됩니다.
범례를 사용하여 이상적인 모델과 임의 추측 모델을 나타내는 색이 지정된 선을 찾습니다.
이 모델은 클러스터링 및 Naive Bayes 모델 모두를 능가하는 가장 큰 리프트를 제공한다는 것을 알
TM_Decision_Tree수 있습니다.
이 단원에서 만든 리프트 차트와 유사한 리프트 차트에 대한 자세한 설명은 리프트 차트(Analysis Services - 데이터 마이닝)를 참조하세요.