학습 및 모델링이란?
모델은 특정 언어 쌍에 대한 번역을 제공하는 시스템입니다. 성공적인 학습의 결과가 모델입니다. 모델을 학습시키려면 학습, 튜닝 및 테스트의 세 가지 상호 배타적인 문서 종류가 필요합니다. 사전 문서 유형도 제공할 수 있습니다. 자세한 내용은 문장 맞춤을 참조하세요.
학습을 큐에 넣을 때 학습 데이터만 제공되는 경우 Custom Translator는 자동으로 조정 및 테스트 데이터를 조합합니다. 학습 문서에서 임의의 문장 하위 집합을 사용하고 학습 데이터 자체에서 이러한 문장을 제외합니다.
Custom Translator의 학습 문서 유형
학습 세트에 포함된 문서는 Custom Translator에서 모델을 빌드하기 위한 기준으로 사용됩니다. 학습을 실행하는 동안 이러한 문서에 나온 문장이 정렬됩니다(또는 쌍으로 작성됨). 학습 문서의 세트를 자유롭게 구성할 수 있습니다. 접선 관련성이 있다고 생각되는 문서들을 하나의 모델에 포함시킬 수 있습니다. BLEU(Bilingual Evaluation Understudy) 점수에서 영향을 확인하려면 다른 점수에서 해당 항목을 다시 제외합니다. 튜닝 세트 및 테스트 세트 상수를 유지하는 한 학습 세트 조합을 자유롭게 사용해 볼 수 있습니다. 이 방법은 번역 시스템의 품질을 수정하기 위한 효과적인 방법입니다.
프로젝트 내에서 여러 학습을 실행하고 실행되는 모든 학습 간 BLEU 점수를 비교합니다. 비교를 위해 여러 학습을 실행할 때는 매번 동일한 튜닝/테스트 데이터를 지정해야 합니다. 또한 "테스트" 탭에서 결과를 수동으로도 검사해야 합니다.
Custom Translator의 튜닝 문서 유형
이 세트에 포함된 병렬 문서는 Custom Translator가 최적의 결과를 위해 번역 시스템을 튜닝하는 데 사용됩니다.
튜닝 데이터는 학습 중에 번역 시스템의 모든 매개 변수 및 가중치를 최적 값으로 조정하는 데 사용됩니다. 튜닝 데이터를 신중하게 선택합니다. 튜닝 데이터는 앞으로 번역하려는 문서의 콘텐츠를 나타내야 합니다. 튜닝 데이터는 생성된 번역의 품질에 큰 영향을 줍니다. 번역 시스템은 튜닝을 사용하여 튜닝 데이터에 사용자가 제공한 샘플과 가장 가까운 번역을 제공할 수 있습니다. 튜닝 데이터에 2500개 이상의 문장은 필요하지 않습니다. 최적의 번역 품질을 위해서는 가장 대표적인 문장을 선택하여 수동으로 튜닝 집합을 선택하는 것이 좋습니다.
튜닝 세트를 작성할 때 번역할 미래 문장의 의미 있고 대표적인 길이인 문장을 선택합니다. 또한 향후 번역에서 예상되는 대략적인 배포에서 번역하려는 단어와 구가 있는 문장도 선택합니다. 실제로는 7~10단어의 문장 길이가 가장 좋은 결과를 낳습니다. 이러한 문장은 변형을 나타내기에 충분한 문맥을 포함하며, 지나치게 복잡하지 않으면서도 중요한 구 길이를 제공합니다.
튜닝 세트에 사용할 문장의 유형을 잘 나타내는 것은 산문, 즉 실제 유창한 문장입니다. 테이블 셀, 시, 목록 나열이 없고, 문장에 문장 부호나 숫자만 있지 않은 일반적인 언어를 말합니다.
튜닝 데이터를 직접 선택하는 경우 학습 및 테스트 데이터와 동일한 문장이 없어야 합니다. 튜닝 데이터는 번역 품질에 큰 영향을 주므로 문장을 신중하게 선택합니다.
튜닝 데이터에 무슨 문장을 선택할지 확실하지 않은 경우에는 학습 데이터만 선택한 후 Custom Translator에서 튜닝 데이터를 선택하도록 합니다. Custom Translator에서 튜닝 데이터를 자동으로 선택하도록 하면 이중 언어 학습 문서에서 임의의 문장 하위 세트를 사용하며, 학습 자료 자체에서 이러한 문장을 제외시킵니다.
Custom Translator에 대한 테스트 데이터 세트
테스트 세트에 포함된 병렬 문서는 BLEU(Bilingual Evaluation Understudy) 점수를 계산하는 데 사용됩니다. 이 점수는 번역 시스템의 품질을 나타냅니다. 이 점수는 이 학습의 결과로 번역 시스템이 수행한 번역이 실제로 테스트 데이터 세트의 참조 문장과 얼마나 밀접하게 일치하는지 보여줍니다.
BLEU 점수는 자동 번역과 참조 번역 간의 델타 측정값입니다. 해당 값의 범위는 0 ~ 100입니다. 점수가 0이면 번역에 참조의 단어가 하나도 나타나지 않았음을 의미합니다. 점수가 100이면 자동 번역이 참조와 정확하게 일치함을 의미합니다. 동일한 단어가 정확히 동일한 위치에 있습니다. 받은 점수는 테스트 데이터의 모든 문장에 대한 BLEU 점수 평균입니다.
테스트 데이터는 병렬 문서를 포함해야 합니다. 여기서 대상 언어 문장은 원본-대상 쌍에서 해당하는 원본 언어 문장의 가장 바람직한 번역입니다. 튜닝 데이터를 구성하는 데 사용한 기준과 동일한 기준을 사용할 수 있습니다. 그러나 테스트 데이터는 번역 시스템의 품질에 영향을 미치지 않으며 BLEU 점수를 생성하는 데만 사용됩니다.
테스트 데이터로 사용할 문장은 2500개 이상은 필요하지 않습니다. 시스템에서 테스트 세트를 자동으로 선택하도록 하면 이중 언어 학습 문서에서 임의의 문장 하위 세트를 사용하며, 학습 자료 자체에서 이러한 문장을 제외시킵니다.
모델 내 테스트 탭으로 이동하면 테스트 세트의 사용자 지정 번역을 보고, 테스트 세트에 제공된 번역과 비교할 수 있습니다.