모델 학습 및 평가
모델 학습 및 평가는 모델을 보다 정확하게 학습하기 위해 학습 데이터 세트에 데이터 및 레이블을 추가하는 반복적인 프로세스입니다. 개선해야 하는 데이터 및 레이블 유형을 파악하기 위해 Language Studio는 왼쪽 창의 모델 세부 정보 보기 페이지에서 점수를 제공합니다.
개별 엔터티와 전체 모델 점수는 어떻게 수행되고 있으며 개선이 필요한 곳을 설명하는 세 가지 메트릭으로 나뉩니다.
| 메트릭 | Description |
|---|---|
| 자릿수 | 시도된 모든 인식에 대한 성공한 엔터티 인식의 비율입니다. 높은 점수는 엔터티가 인식되는 한 올바르게 레이블이 지정됨을 의미합니다. |
| 회차 | 문서의 실제 엔터티 수에서 성공한 엔터티 인식의 비율입니다. 점수가 높으면 올바른 레이블을 할당하는지 여부에 관계없이 엔터티를 잘 찾습니다. |
| F1 점수 | 단일 점수 매기기 메트릭을 제공하는 정밀도와 재현율의 결합 |
점수는 엔터티당 및 모델 전체에 대해 모두 사용할 수 있습니다. 엔터티 점수는 잘 찾을 수 있지만 전체 모델은 그렇지 않습니다.
메트릭을 해석하는 방법
이상적으로는 모델이 정밀도와 재현율 모두에서 점수를 잘 매기기를 원합니다. 즉 엔터티 인식이 잘 작동한다는 의미합니다. 두 메트릭 모두 점수가 낮으면 모델이 문서에서 엔터티를 인식하는 데 어려움을 겪고 있으며 해당 엔터티를 추출할 때 신뢰도가 높은 올바른 레이블을 할당하지 않습니다.
정밀도가 낮지만 재현율이 높으면 모델이 엔터티를 잘 인식하지만 올바른 엔터티 형식으로 레이블을 지정하지 않는다는 의미입니다.
정밀도가 높지만 재현율이 낮으면 모델이 항상 엔터티를 인식하지는 않지만 모델에서 엔터티를 추출할 때 올바른 레이블이 적용됩니다.
혼동 행렬
동일한 모델 세부 정보 보기 페이지에는 혼동 행렬의 위쪽에 다른 탭이 있습니다. 이 보기는 모든 엔터티의 시각적 테이블과 각 엔터티가 어떻게 수행되고 있는지를 보여 주어 모델의 전체 보기와 부족한 위치를 제공합니다.
혼동 행렬을 사용하면 모델의 성능을 향상하기 위해 데이터를 추가할 위치를 시각적으로 식별할 수 있습니다.