Treinar o seu modelo de reconhecimento de entidade nomeada personalizado
O treinamento é o processo no qual o modelo aprende com os dados rotulados. Após a conclusão do treinamento, você poderá exibir o desempenho do modelo para determinar se precisa melhorar o modelo.
Para treinar um modelo, você inicia um trabalho de treinamento; apenas trabalhos concluídos com êxito criam um modelo. Os trabalhos de treinamento expiram após sete dias, o que significa que você não poderá recuperar os detalhes do trabalho após esse período. Se o trabalho de treinamento foi concluído com êxito e um modelo foi criado, ele não será afetado. Você só pode ter um trabalho de treinamento em execução de cada vez e não pode iniciar outros trabalhos no mesmo projeto.
Os tempos de treinamento podem ser de alguns minutos ao lidar com alguns documentos até várias horas, dependendo do tamanho do conjunto de dados e da complexidade do esquema.
Pré-requisitos
- Um projeto criado com sucesso com uma conta de armazenamento de blobs do Azure configurada
- Dados de texto que foram carregados em sua conta de armazenamento.
- Dados rotulados
Confira o ciclo de vida de desenvolvimento de projetos para obter mais informações.
Divisão de dados
Antes de iniciar o processo de treinamento, os documentos rotulados no projeto são divididos em um conjunto de treinamento e um conjunto de teste. Cada um deles atua em uma função diferente. O conjunto de treinamento é usado no treinamento do modelo, esse é o conjunto do qual o modelo aprende as entidades rotuladas e quais intervalos de texto devem ser extraídos como entidades. O conjunto de teste é um conjunto cego que não é introduzido ao modelo durante o treinamento, mas somente durante a avaliação. Depois que o treinamento de modelo é concluído com êxito, o modelo é usado para fazer previsões dos documentos no teste e, com base nessas previsões, as métricas de avaliação são calculadas. É recomendável garantir que todas as classes sejam representadas adequadamente nos conjuntos de treinamento e de teste.
O NER personalizado dá suporte a dois métodos para divisão de dados:
- Dividir automaticamente o conjunto de teste nos dados de treinamento: o sistema dividirá os dados rotulados entre os conjuntos de treinamentos e testes, de acordo com os percentuais escolhidos. A divisão percentual recomendada é de 80% para treinamento e 20% para teste.
Observação
Se você escolher a opção Dividir automaticamente o conjunto de testes nos dados de treinamento, somente os dados atribuídos ao conjunto de treinamentos serão divididos de acordo com os percentuais fornecidos.
- Usar uma divisão manual dos dados de treinamento e de teste: esse método permite que os usuários definam quais documentos rotulados devem pertencer a qual conjunto. Essa etapa será habilitada somente se você tiver adicionado documentos ao conjunto de testes durante a rotulagem de dados.
Treinar um modelo
Para começar a treinar o modelo no Language Studio:
Selecione Trabalhos de treinamento no menu à esquerda.
Selecione Iniciar um trabalho de treinamento no menu superior.
Selecione Treinar um novo modelo e digite o nome do modelo na caixa de texto. Também é possível substituir um modelo existente selecionando essa opção e escolhendo o modelo que você deseja substituir no menu suspenso. A substituição de um modelo treinado é irreversível, mas não afetará os modelos implantados até que você implante o novo modelo.
Selecione o método de divisão de dados. Você pode optar por dividir automaticamente o conjunto de teste nos dados de treinamento, em que o sistema dividirá os dados rotulados entre os conjuntos de treinamento e de teste, de acordo com os percentuais especificados. Alternativamente, você pode Usar uma divisão manual dos dados de treinamento e de teste. Essa opção será habilitada somente se você tiver adicionado documentos ao conjunto de teste durante a rotulagem de dados. Confira Como treinar um modelo para obter mais informações sobre divisão de dados.
Selecione o botão Treinar.
Se você selecionar a ID de Trabalho de Treinamento da lista, será exibido um painel lateral no qual você poderá verificar o Progresso do treinamento, o Status do trabalho e outros detalhes para esse trabalho.
Observação
- Somente os trabalhos de treinamento concluídos com êxito vão gerar modelos.
- O treinamento pode levar entre alguns minutos e várias horas de acordo com o tamanho dos dados rotulados.
- É possível ter um trabalho de treinamento em execução por vez. Não é possível iniciar outro trabalho de treinamento no mesmo projeto até que o trabalho em execução seja concluído.
Cancelar o trabalho de treinamento
Para cancelar um trabalho de treinamento no Language Studio, acesse a página Trabalhos de treinamento. Selecione o trabalho de treinamento que você deseja cancelar e clique em Cancelar no menu superior.
Próximas etapas
Após a conclusão do treinamento, você poderá exibir o desempenho do modelo para aprimorá-lo opcionalmente, se necessário. Quando estiver satisfeito com seu modelo, você poderá implantá-lo, tornando-o disponível para uso na extração de entidades do texto.