Rotule seus dados

4 minutos

Rotular ou marcar seus dados corretamente é uma parte importante do processo para criar um modelo de extração de entidade personalizado. Os rótulos identificam exemplos de entidades específicas no texto usado para treinar o modelo. Três coisas em que se deve focar são:

Consistência - Rotule seus dados da mesma maneira em todos os arquivos para treinamento. A consistência permite que seu modelo aprenda sem entradas conflitantes.
Precisão - Rotule as suas entidades de forma consistente, sem palavras adicionais desnecessárias. A precisão garante que apenas os dados corretos sejam incluídos na sua entidade extraída.
Exaustividade - Rotule seus dados completamente e não perca nenhuma entidade. A completude ajuda o seu modelo a reconhecer sempre as entidades presentes.

Como rotular os seus dados

O Language Studio é o método mais simples para rotular seus dados. O Language Studio permite que você veja o arquivo, selecione o início e o fim da sua entidade e especifique qual entidade é.

Cada rótulo identificado é salvo em um arquivo que vive em sua conta de armazenamento com seu conjunto de dados, em um arquivo JSON gerado automaticamente. Em seguida, esse arquivo é usado pelo modelo para aprender a extrair entidades personalizadas. É possível fornecer esse arquivo ao criar seu projeto (se você estiver importando os mesmos rótulos de um projeto diferente, por exemplo), no entanto, ele deve estar nos formatos de dados NER personalizados aceitos. Por exemplo:


{
  "projectFileVersion": "{DATE}",
  "stringIndexType": "Utf16CodeUnit",
  "metadata": {
    "projectKind": "CustomEntityRecognition",
    "storageInputContainerName": "{CONTAINER-NAME}",
    "projectName": "{PROJECT-NAME}",
    "multilingual": false,
    "description": "Project-description",
    "language": "en-us",
    "settings": {}
  },
  "assets": {
    "projectKind": "CustomEntityRecognition",
    "entities": [
      {
        "category": "Entity1"
      },
      {
        "category": "Entity2"
      }
    ],
    "documents": [
      {
        "location": "{DOCUMENT-NAME}",
        "language": "{LANGUAGE-CODE}",
        "dataset": "{DATASET}",
        "entities": [
          {
            "regionOffset": 0,
            "regionLength": 500,
            "labels": [
              {
                "category": "Entity1",
                "offset": 25,
                "length": 10
              },
              {
                "category": "Entity2",
                "offset": 120,
                "length": 8
              }
            ]
          }
        ]
      },
      {
        "location": "{DOCUMENT-NAME}",
        "language": "{LANGUAGE-CODE}",
        "dataset": "{DATASET}",
        "entities": [
          {
            "regionOffset": 0,
            "regionLength": 100,
            "labels": [
              {
                "category": "Entity2",
                "offset": 20,
                "length": 5
              }
            ]
          }
        ]
      }
    ]
  }
}

Campo	Descrição
`documents`	Matriz de documentos rotulados
`location`	Caminho para o arquivo dentro do contêiner conectado ao projeto
`language`	Língua do ficheiro
`entities`	Matriz de entidades presentes no documento atual
`regionOffset`	Posição de caractere inclusiva para o início do texto
`regionLength`	Comprimento, em caracteres, dos dados utilizados na formação
`category`	Nome da entidade a extrair
`labels`	Matriz de entidades rotuladas nos arquivos
`offset`	Posição de caráter inclusivo para início de entidade
`length`	Comprimento em caracteres da entidade
`dataset`	A qual conjunto de dados o arquivo está atribuído

Rotule seus dados

Como rotular os seus dados

Comentários