你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
接受的自定义 NER 数据格式
如果尝试将数据导入自定义 NER,则必须遵循特定格式。 如果没有要导入的数据,则可以创建项目,并使用 Language Studio 标记文档。
标签文件格式
标签文件应采用下面的 json
格式,以用于将标签导入到项目中。
{
"projectFileVersion": "2022-05-01",
"stringIndexType": "Utf16CodeUnit",
"metadata": {
"projectKind": "CustomEntityRecognition",
"storageInputContainerName": "{CONTAINER-NAME}",
"projectName": "{PROJECT-NAME}",
"multilingual": false,
"description": "Project-description",
"language": "en-us",
"settings": {}
},
"assets": {
"projectKind": "CustomEntityRecognition",
"entities": [
{
"category": "Entity1"
},
{
"category": "Entity2"
}
],
"documents": [
{
"location": "{DOCUMENT-NAME}",
"language": "{LANGUAGE-CODE}",
"dataset": "{DATASET}",
"entities": [
{
"regionOffset": 0,
"regionLength": 500,
"labels": [
{
"category": "Entity1",
"offset": 25,
"length": 10
},
{
"category": "Entity2",
"offset": 120,
"length": 8
}
]
}
]
},
{
"location": "{DOCUMENT-NAME}",
"language": "{LANGUAGE-CODE}",
"dataset": "{DATASET}",
"entities": [
{
"regionOffset": 0,
"regionLength": 100,
"labels": [
{
"category": "Entity2",
"offset": 20,
"length": 5
}
]
}
]
}
]
}
}
密钥 | 占位符 | 值 | 示例 |
---|---|---|---|
multilingual |
true |
通过布尔值,你可以在数据集中有多种语言的文档,并且在部署模型时可以使用任何支持的语言(不一定包含在训练文档中)查询模型。 请参阅语言支持,了解有关多语言支持的详细信息。 | true |
projectName |
{PROJECT-NAME} |
项目名称 | myproject |
storageInputContainerName | {CONTAINER-NAME} |
容器名称 | mycontainer |
entities |
一个数组,其中包含项目中的所有实体类型。 这些是将从文档提取到的实体类型。 | ||
documents |
一个数组,其中包含项目中的所有文档和每个文档中标记的实体列表。 | [] | |
location |
{DOCUMENT-NAME} |
存储容器中文档的位置。 由于所有文档都位于容器的根目录中,因此这应为文档名称。 | doc1.txt |
dataset |
{DATASET} |
此文件在训练前拆分时将归类到的测试集。 可在此处了解有关数据拆分的详细信息。 此字段的可能值为 Train 和 Test 。 |
Train |
regionOffset |
文本开头的非独占字符位置。 | 0 |
|
regionLength |
以 UTF16 字符表示的边界框长度。 训练仅考虑此区域的数据。 | 500 |
|
category |
与指定文本跨度关联的实体类型。 | Entity1 |
|
offset |
实体文本的起始位置。 | 25 |
|
length |
以 UTF16 字符表示的实体长度。 | 20 |
|
language |
{LANGUAGE-CODE} |
指定项目中所使用文档的语言代码的字符串。 如果项目是多语言项目,请选择大多数文档的语言代码。 有关受支持的语言代码的详细信息,请参阅语言支持。 | en-us |