Treine e avalie o seu modelo
Treinar e avaliar seu modelo é um processo iterativo de adicionar dados e rótulos ao seu conjunto de dados de treinamento para ensinar o modelo com mais precisão. Para saber que tipos de dados e rótulos precisam ser melhorados, o Language Studio fornece pontuação na página Exibir detalhes do modelo no painel esquerdo.
As entidades individuais e a pontuação geral do seu modelo são divididas em três métricas para explicar o seu desempenho e onde precisam de melhorar.
| Métrico | Description |
|---|---|
| Precisão | A proporção de reconhecimentos de entidades bem-sucedidas para todas as tentativas de reconhecimento. Uma pontuação alta significa que, desde que a entidade seja reconhecida, ela é rotulada corretamente. |
| Recuperar | A proporção de reconhecimentos de entidades bem-sucedidas em relação ao número real de entidades no documento. Uma pontuação alta significa que encontra bem a entidade ou entidades, independentemente de lhes atribuir o rótulo certo |
| Pontuação F1 | Combinação de precisão e recall fornecendo uma única métrica de pontuação |
As pontuações estão disponíveis por entidade e para o modelo como um todo. Você pode achar que uma entidade pontua bem, mas todo o modelo não.
Como interpretar métricas
Idealmente, queremos que o nosso modelo tenha uma boa pontuação, tanto em precisão como em recordação, o que significa que o reconhecimento da entidade funciona bem. Se ambas as métricas tiverem uma pontuação baixa, isso significa que o modelo está lutando para reconhecer entidades no documento e, quando extrai essa entidade, não atribui o rótulo correto com alta confiança.
Se a precisão for baixa, mas a recuperação for alta, isso significa que o modelo reconhece bem a entidade, mas não a rotula como o tipo de entidade correto.
Se a precisão for alta, mas a recuperação for baixa, isso significa que o modelo nem sempre reconhece a entidade, mas quando o modelo extrai a entidade, o rótulo correto é aplicado.
A matriz de confusão
Na mesma página Exibir detalhes do modelo, há outra guia na parte superior da matriz Confusion. Esta visualização fornece uma tabela visual de todas as entidades e como cada uma se saiu, dando uma visão completa do modelo e onde ele está falhando.
A matriz de confusão permite identificar visualmente onde adicionar dados para melhorar o desempenho do seu modelo.