如何建立自訂 NER 專案

發行項
11/21/2024

使用本文以了解如何設定這些需求以開始使用自訂 NER 並建立專案。

必要條件

開始使用自訂 NER 之前，您將需要下列項目：

Azure 訂用帳戶 - 建立免費帳戶。

建立語言資源

開始使用自訂 NER 之前，您需要 Azure AI 語言資源。建議您在 Azure 入口網站中建立自己的語言資源，並將儲存體帳戶連線至它。在 Azure 入口網站中建立資源可讓您同時建立 Azure 儲存體帳戶，並預先設定所有必要的權限。您也可以進一步閱讀此文章，了解如何使用既有的資源，並進行設定來使用自訂具名實體辨識。

您也需要 Azure 儲存體帳戶，您會將 .txt 文件上傳到其中，以用於訓練模型來擷取實體。

注意

您必須在資源群組上指派擁有者角色，才能建立語言資源。
如果您將連線現有的儲存體帳戶，則應該已為其指派擁有者角色。

建立語言資源並連線儲存體帳戶

您可以利用下列方式建立資源：

Azure 入口網站
Language Studio
PowerShell

注意

一旦儲存體帳戶與語言資源連結，您就不得將儲存體帳戶移至不同的資源群組或訂閱。

從 Azure 入口網站建立新的資源

登入 Azure 入口網站以建立新的 Azure AI 語言資源。
在出現的視窗中，從自訂功能選取 [自訂文字分類和自訂具名實體辨識]。選取畫面底部的 [繼續建立您的資源]。

使用下列詳細資料建立語言資源。

名稱	描述
訂用帳戶	您的 Azure 訂閱。
資源群組	將包含您資源的資源群組。您可以使用現有群組或建立新的群組。
區域	語言資源的區域。例如，「美國西部 2」。
名稱	您的資源名稱。
定價層	語言資源的定價層。您可使用免費 (F0) 層來試用服務。

注意

如果您收到訊息指出「您的登入帳戶不是所選儲存體帳戶資源群組的擁有者」，您的帳戶必須先在資源群組上指派擁有者角色，才能建立語言資源。請連絡您的 Azure 訂閱擁有者以取得協助。

在 [自訂文字分類和自訂具名實體辨識] 區段中，選取現有的儲存體帳戶，或選取 [新的儲存體帳戶]。這些值可協助您開始使用，但不一定是您想要在生產環境中使用的儲存體帳戶值。若要避免在建置專案期間延遲，請連線至與語言資源位於相同區域中的儲存體帳戶。

儲存體帳戶值建議值

儲存體帳戶名稱任何名稱

Storage account type 標準 LRS
請確定已核取負責任 AI 通知。選取頁面底部的 [檢閱 + 建立] 按鈕，然後選取 [建立]。

儲存體帳戶值	建議值
儲存體帳戶名稱	任何名稱
Storage account type	標準 LRS

從 Language Studio 建立新的語言資源

如果這是您第一次登入，您將會在 Language Studio 中看到一個視窗，讓您選擇現有的語言資源或建立新的語言資源。您也可以按一下右上角的設定圖示，選取 [資源]，然後按一下 [建立新的資源] 來建立資源。

使用下列詳細資料建立語言資源。

執行個體詳細資料	必要值
Azure 訂用帳戶	Azure 訂用帳戶
Azure 資源群組	您的 Azure 資源群組
Azure 資源名稱	您的 Azure 資源名稱
Location	語言資源的區域。
定價層	語言資源的定價層。

重要

當建立語言資源時，請務必啟用 [受控識別]。
閱讀並確認負責任 AI 通知

若要使用自訂具名實體辨識，您必須先建立 Azure 儲存體帳戶 (如果您還沒有一個帳戶)。

使用 PowerShell 建立新的語言資源

您可以使用下列 CLI 範本和參數檔案 (裝載於 GitHub) 來建立新的資源和儲存體帳戶。

在參數檔案中編輯下列值：

參數名稱	值描述
`name`	語言資源的名稱
`location`	資源裝載所在的區域。如需詳細資訊，請參閱服務限制。
`sku`	資源的定價層。
`storageResourceName`	儲存體帳戶的名稱
`storageLocation`	儲存體帳戶裝載所在的區域。
`storageSkuType`	儲存體帳戶的 SKU。
`storageResourceGroupName`	儲存體帳戶的資源群組

使用下列 PowerShell 命令，以您編輯的檔案來部署 Azure Resource Manager (ARM) 範本。

New-AzResourceGroupDeployment -Name ExampleDeployment -ResourceGroupName ExampleResourceGroup `
  -TemplateFile <path-to-arm-template> `
  -TemplateParameterFile <path-to-parameters-file>

如需有關部署範本和參數檔案的資訊，請參閱 ARM 範本文件。

注意

將儲存體帳戶連線至您的語言資源的程序無法復原，且無法稍後中斷連線。
您只能將語言資源連線至一個儲存體帳戶。

使用現有的語言資源

只要此資源符合以下需求，您就可以使用現有的語言資源來開始使用自訂 NER：

需求	描述
地區	請確定您已在下列其中一個支援的區域中佈建現有的資源。否則，您將需要在其中一個區域中建立新的資源。
定價層	深入了解支援的定價層。
受控識別	請確定已啟用資源的受控識別設定。否則，請閱讀下一節。

若要使用自訂具名實體辨識，您必須先建立 Azure 儲存體帳戶 (如果您還沒有一個帳戶)。

您的語言資源必須具有身分識別管理，才能使用 Azure 入口網站將其啟用：

移至您的語言資源
從左側功能表的 [資源管理] 區段底下，選取 [身分識別]
從 [系統指派] 索引標籤中，請務必將 [狀態] 設定為 [開啟]

啟用自訂具名實體辨識功能

請務必從 Azure 入口網站啟用自訂文字分類/自訂具名實體辨識功能。

移至您在 Azure 入口網站中的語言資源。
從左側功能表的 [資源管理] 區段底下，選取 [功能]。
啟用 [自訂文字分類/自訂具名實體辨識] 功能。
連線您的儲存體帳戶。
選取套用。

重要

請確定您的語言資源在您連線的儲存體帳戶上獲指派儲存體 Blob 資料參與者角色。

新增必要角色

使用下列步驟來設定語言資源和儲存體帳戶的必要角色。

Azure AI 語言資源的角色

移至您在 Azure 入口網站中的儲存體帳戶或語言資源。
在左側導覽功能表中選取 [存取控制 (IAM)]。
選取 [新增] 以新增角色指派，然後選擇您帳戶的適當角色。

您應該在語言資源上指派擁有者或參與者角色。
在 [存取權指派對象為] 內，選取 [使用者、群組或服務主體]
選取 [+選取成員]
選取您的使用者名稱。您可以在 [選取] 欄位中搜尋使用者名稱。針對所有角色重複此操作。
針對需要存取此資源的所有使用者帳戶重複這些步驟。

儲存體帳戶的角色

移至您在 Azure 入口網站中的儲存體帳戶頁面。
在左側導覽功能表中選取 [存取控制 (IAM)]。
選取 [新增] 以新增角色指派，然後選擇儲存體帳戶上的儲存體 Blob 資料參與者角色。
在 [存取權指派對象為]中，選取 [受控識別]。
選取 [+選取成員]
選取您的訂用帳戶，然後選取 [語言] 作為受控識別。您可以在 [選取] 欄位中搜尋使用者名稱。

使用者的角色

重要

如果您略過此步驟，嘗試連線到您的自訂專案時，將發生 403 錯誤。即使您是儲存體帳戶的擁有者，您目前的使用者必須仍擁有此角色，才能存取儲存體帳戶 Blob 資料。

移至您在 Azure 入口網站中的儲存體帳戶頁面。
在左側導覽功能表中選取 [存取控制 (IAM)]。
選取 [新增] 以新增角色指派，然後選擇儲存體帳戶上的儲存體 Blob 資料參與者角色。
在 [存取權指派對象為] 內，選取 [使用者、群組或服務主體]。
選取 [+選取成員]
選取您的使用者。您可以在 [選取] 欄位中搜尋使用者名稱。

重要

如果您使用虛擬網路或私人端點，請務必在 Azure 入口網站中選取 [允許可信服務清單上的 Azure 服務加存取此儲存體帳戶]。

為您的儲存體帳戶啟用 CORS

啟用跨原始來源資源共用 (CORS) 時，請務必允許 (GET、PUT、DELETE) 方法。將允許的來源欄位設定為 https://language.cognitive.azure.com。透過將 * 新增至允許的標頭值以允許所有標頭，並將最長存留期設定為 500。

建立自訂具名實體辨識專案

設定好資源和儲存體容器之後，請建立新的自訂 NER 專案。專案是一個工作區域，可根據您的資料建置自訂 AI 模型。專案只能由您和其他具有所使用 Azure 資源存取權的人員存取。如果您已標記資料，則可以透過匯入專案以用來開始使用。

Language Studio
REST API

登入 Language Studio。隨即出現一個視窗，讓您選取訂用帳戶和語言資源。選取您在上一個步驟中建立的語言資源。
在 Language Studio 的 [擷取資訊] 區段下，選取 [自訂具名實體辨識]。
從專案頁面頂端的功能表中選取 [建立新專案]。建立專案可讓您標記資料、定型、評估、改善及部署模型。
您按一下 [建立新專案] 之後，隨即會出現一個視窗，讓您連線您的儲存體帳戶。如果您已連線儲存體帳戶，您會看到該儲存體帳戶已連線。如果沒有，請從出現的下拉式清單中選擇儲存體帳戶，然後選取 [連線儲存體帳戶]；這會為您的儲存體帳戶設定必要角色。如果您在該儲存體帳戶上未獲指派為擁有者身分，此步驟可能會傳回錯誤。
注意
- 您只需要針對您使用的每個新資源執行此步驟一次。
- 此程序無法復原，如果您將儲存體帳戶連線到語言資源，之後就無法中斷連線。
- 您只能將語言資源連線到一個儲存體帳戶。
輸入專案資訊，包括名稱、描述以及您專案中檔案的語言。如果您使用範例資料集，請選取 [英文]。您之後將無法變更專案的名稱。選取下一個

提示

您的資料集不需要完全採用相同的語言。您可以有多個文件，每個文件都有不同的支援語言。如果資料集包含不同語言的文件，或者如果您預期在執行階段使用不同語言的文字，請在您輸入專案的基本資訊時，選取 [啟用多語言資料集] 選項。您稍後可以從 [專案設定] 頁面啟用此選項。
選取您已上傳資料集的容器。如果您已經標示資料，請確定其遵循支援的格式，然後選取 [是，我的檔案已加上標籤，而且我已設定 JSON 標籤檔案的格式]，然後從下拉式功能表中選取標籤檔案。選取 [下一步]。
檢閱您輸入的資料，然後選取 [建立專案]。

若要開始建立自訂具名實體辨識模型，您需要建立一個專案。建立專案可讓您標示資料、定型、評估、改善以及部署模型。

注意

所有作業的專案名稱皆區分大小寫。

使用下列 URL、標頭和 JSON 本文來建立 PATCH 要求，以建立您的專案。

要求 URL

使用下列 URL 來建立專案。請以您自己的值取代下列預留位置值。

{Endpoint}/language/authoring/analyze-text/projects/{projectName}?api-version={API-VERSION}

預留位置	值	範例
`{ENDPOINT}`	用於驗證 API 要求的端點。	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	專案名稱。此值區分大小寫。	`myProject`
`{API-VERSION}`	您正在呼叫的 API 版本。此處參考的值適用於發行的最新版本。若要深入了解其他可用的 API 版本，請參閱模型生命週期。	`2022-05-01`

標頭

使用下列標頭來驗證您的要求。

機碼	值
`Ocp-Apim-Subscription-Key`	資源的金鑰。用於驗證 API 要求。

本文

在您的要求中使用下列 JSON。請以您自己的值取代下列預留位置值。

{
  "projectName": "{PROJECT-NAME}",
  "language": "{LANGUAGE-CODE}",
  "projectKind": "CustomEntityRecognition",
  "description": "Project description",
  "multilingual": "True",
  "storageInputContainerName": "{CONTAINER-NAME}"
}

機碼	預留位置	值	範例
projectName	`{PROJECT-NAME}`	您專案的名稱。此值區分大小寫。	`myProject`
language	`{LANGUAGE-CODE}`	字串，指定專案中所用文件的語言代碼。如果您的專案是多語系專案，請選擇大部分文件的語言代碼。若要深入了解支援的語言代碼，請參閱語言支援。	`en-us`
projectKind	`CustomEntityRecognition`	您的專案種類。	`CustomEntityRecognition`
多語系	`true`	布林值，可讓您在資料集中具有多種語言的文件，而且當部署模型時，您可以使用任何支援的語言 (不一定包含在定型文件中) 查詢模型。若要深入了解多語系支援，請參閱語言支援。	`true`
storageInputContainerName	`{CONTAINER-NAME`	您已上傳文件的 Azure 儲存體容器名稱。	`myContainer`

此要求會傳回 201 回應，這表示已建立專案。

如果有下列情況，此要求將會傳回錯誤：

選取的資源沒有儲存體帳戶的適當權限。

匯入專案

如果您已經標記資料，則可以用來開始使用服務。請確定您加標籤的資料遵循接受的資料格式。

Language Studio
REST API

登入 Language Studio。隨即出現一個視窗，讓您選取訂用帳戶和語言資源。選取您的語言資源。
在 Language Studio 的 [擷取資訊] 區段下，選取 [自訂具名實體辨識]。
從專案頁面頂端的功能表中選取 [建立新專案]。建立專案可讓您標記資料、定型、評估、改善及部署模型。
選取 [建立新專案] 之後，隨即會出現一個畫面，讓您連線您的儲存體帳戶。如果找不到您的儲存體帳戶，請確定您已使用建議的步驟建立資源。如果您已經將儲存體帳戶連線至您的語言資源，則會看到儲存體帳戶已連線。
注意
- 您只需要針對您使用的每個新語言資源執行此步驟一次。
- 此程序無法復原，如果您將儲存體帳戶連線到語言資源，之後就無法中斷連線。
- 您只能將語言資源連線到一個儲存體帳戶。
輸入專案資訊，包括名稱、描述以及您專案中檔案的語言。您之後將無法變更專案的名稱。選取 [下一步]。

提示

您的資料集不需要完全採用相同的語言。您可以有多個文件，每個文件都有不同的支援語言。如果資料集包含不同語言的文件，或者如果您預期在執行階段使用不同語言的文字，請在您輸入專案的基本資訊時，選取 [啟用多語言資料集] 選項。您稍後可以從 [專案設定] 頁面啟用此選項。
選取您已上傳資料集的容器。
選取 [是，我的檔案已加上標籤，而且我已設定 JSON 標籤檔案的格式]，然後從下方的下拉式功能表中選取標籤檔案，以匯入您的 JSON 標籤檔案。請確定其遵循支援的格式。
選取 [下一步]。
檢閱您輸入的資料，然後選取 [建立專案]。

使用下列 URL、標頭和 JSON 本文來提交 POST 要求，以匯入標籤檔案。請確定您的標籤檔案遵循接受的格式。

如果具有相同名稱的專案已經存在，則會取代該專案的資料。

{Endpoint}/language/authoring/analyze-text/projects/{projectName}/:import?api-version={API-VERSION}

預留位置	值	範例
`{ENDPOINT}`	用於驗證 API 要求的端點。	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	專案名稱。此值區分大小寫。	`myProject`
`{API-VERSION}`	您正在呼叫的 API 版本。此處參考的值適用於發行的最新版本。若要深入了解其他可用的 API 版本，請參閱模型生命週期。	`2022-05-01`

標頭

使用下列標頭來驗證您的要求。

機碼	值
`Ocp-Apim-Subscription-Key`	資源的金鑰。用於驗證 API 要求。

本文

在您的要求中使用下列 JSON。請以您自己的值取代下列預留位置值。

{
    "projectFileVersion": "{API-VERSION}",
    "stringIndexType": "Utf16CodeUnit",
    "metadata": {
        "projectName": "{PROJECT-NAME}",
        "projectKind": "CustomEntityRecognition",
        "description": "Trying out custom NER",
        "language": "{LANGUAGE-CODE}",
        "multilingual": true,
        "storageInputContainerName": "{CONTAINER-NAME}",
        "settings": {}
    },
    "assets": {
    "projectKind": "CustomEntityRecognition",
        "entities": [
            {
                "category": "Entity1"
            },
            {
                "category": "Entity2"
            }
        ],
        "documents": [
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "entities": [
                    {
                        "regionOffset": 0,
                        "regionLength": 500,
                        "labels": [
                            {
                                "category": "Entity1",
                                "offset": 25,
                                "length": 10
                            },
                            {
                                "category": "Entity2",
                                "offset": 120,
                                "length": 8
                            }
                        ]
                    }
                ]
            },
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "entities": [
                    {
                        "regionOffset": 0,
                        "regionLength": 100,
                        "labels": [
                            {
                                "category": "Entity2",
                                "offset": 20,
                                "length": 5
                            }
                        ]
                    }
                ]
            }
        ]
    }
}

機碼	預留位置	值	範例
`api-version`	`{API-VERSION}`	您正在呼叫的 API 版本。此處所使用的版本必須是 URL 中的相同 API 版本。深入了解其他可用的 API 版本	`2022-03-01-preview`
`projectName`	`{PROJECT-NAME}`	您專案的名稱。此值區分大小寫。	`myProject`
`projectKind`	`CustomEntityRecognition`	您的專案種類。	`CustomEntityRecognition`
`language`	`{LANGUAGE-CODE}`	字串，指定專案中所用文件的語言代碼。如果您的專案是多語系專案，請選擇大部分文件的語言代碼。	`en-us`
`multilingual`	`true`	布林值，可讓您在資料集中具有多種語言的文件，而且當部署模型時，您可以使用任何支援的語言 (不一定包含在定型文件中) 查詢模型。如需多語系支援的相關資訊，請參閱語言支援。	`true`
`storageInputContainerName`	{CONTAINER-NAME}	您已上傳文件的 Azure 儲存體容器名稱。	`myContainer`
`entities`		陣列，其中包含您在專案中擁有的所有實體類型。這些是從文件擷取到其中的實體類型。
`documents`		陣列，其中包含專案中的所有文件，以及每個文件內標記的實體清單。	},
`location`	`{DOCUMENT-NAME}`	文件在儲存體容器中的位置。因為所有文件都在容器的根目錄中，所以這應該是文件名稱。	`doc1.txt`
`dataset`	`{DATASET}`	此檔案在定型前分割時將會移至的測試集。如需如何分割資料的詳細資訊，請參閱如何定型模型。此欄位的可能值為 `Train` 和 `Test`。	`Train`

傳送 API 要求之後，您將會收到 202 回應，指出作業已正確提交。在回應標頭中，擷取 operation-location 值。其格式如下：

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} 用來識別您的要求，因為此為非同步作業。您將使用此 URL 來取得匯入作業狀態。

此要求的可能錯誤案例：

選取的資源沒有儲存體帳戶的適當權限。
指定的 storageInputContainerName 不存在。
使用了無效的語言代碼，或語言代碼類型不是字串。
multilingual 值是字串，而不是布林值。

取得專案詳細資料

Language Studio
REST API

移至您在 Language Studio 中的 [專案設定] 頁面。
您可以查看專案詳細資料。
在此頁面中，您可以更新專案描述，並在專案設定中啟用/停用多語言資料集。
您也可以檢視連線至您語言資源的儲存體帳戶和容器。
您也可以從此頁面擷取主要資源索引鍵。

使用下列 GET 要求來取得您的專案詳細資料。請以您自己的值取代下列預留位置值。

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}?api-version={API-VERSION}

預留位置	值	範例
`{ENDPOINT}`	用於驗證 API 要求的端點。	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	專案名稱。此值區分大小寫。	`myProject`
`{API-VERSION}`	您正在呼叫的 API 版本。若要深入了解其他可用的 API 版本，請參閱模型生命週期。	`2022-05-01`

標頭

使用下列標頭來驗證您的要求。

機碼	值
`Ocp-Apim-Subscription-Key`	資源的金鑰。用於驗證 API 要求。

回應本文

    {
        "createdDateTime": "2021-10-19T23:24:41.572Z",
        "lastModifiedDateTime": "2021-10-19T23:24:41.572Z",
        "lastTrainedDateTime": "2021-10-19T23:24:41.572Z",
        "lastDeployedDateTime": "2021-10-19T23:24:41.572Z",
        "projectKind": "CustomEntityRecognition",
        "storageInputContainerName": "{CONTAINER-NAME}",
        "projectName": "{PROJECT-NAME}",
        "multilingual": false,
        "description": "Project description",
        "language": "{LANGUAGE-CODE}"
    }

值	預留位置	描述:	範例
`projectKind`	`CustomEntityRecognition`	您的專案種類。	`CustomEntityRecognition`
`storageInputContainerName`	`{CONTAINER-NAME}`	您已上傳文件的 Azure 儲存體容器名稱。	`myContainer`
`projectName`	`{PROJECT-NAME}`	您專案的名稱。此值區分大小寫。	`myProject`
`multilingual`	`true`	布林值，可讓您在資料集中具有多種語言的文件，而且當部署模型時，您可以使用任何支援的語言 (不一定包含在定型文件中) 查詢模型。如需多語系支援的詳細資訊，請參閱語言支援。	`true`
`language`	`{LANGUAGE-CODE}`	字串，指定專案中所用文件的語言代碼。如果您的專案是多語系專案，請選擇大部分文件的語言代碼。	`en-us`

傳送 API 要求之後，您會收到 200 回應，指出成功和 JSON 回應本文與您的專案詳細資料。

刪除專案

Language Studio
REST API

當您不再需要專案時，可以使用 Language Studio 來刪除您的專案。從頂端選取 [自訂具名實體辨識 (NER)]、選取您想要刪除的專案，然後從頂端功能表中選取 [刪除]。

當您不再需要專案時，可以使用下列 DELETE 要求將其刪除。以您自己的值取代預留位置值。

{Endpoint}/language/authoring/analyze-text/projects/{projectName}?api-version={API-VERSION}

預留位置	值	範例
`{ENDPOINT}`	用於驗證 API 要求的端點。	`https://<your-custom-subdomain>.cognitiveservices.azure.com`
`{PROJECT-NAME}`	專案名稱。此值區分大小寫。	`myProject`
`{API-VERSION}`	您正在呼叫的 API 版本。此處參考的值適用於發行的最新版本。若要深入了解其他可用的 API 版本，請參閱模型生命週期。	`2022-05-01`

標頭

使用下列標頭來驗證您的要求。

機碼	數值
Ocp-Apim-Subscription-Key	資源的金鑰。用於驗證 API 要求。

傳送 API 要求之後，您將會收到指出成功的 202 回應，這表示您的專案已刪除。成功呼叫的結果是用於檢查作業狀態的 Operation-Location 標頭。

下一步

您應該了解要用於標示資料的專案結構描述。
建立您的專案之後，您可以開始標記您的資料，這會告知您的實體擷取模型如何解譯文字，並可用於定型和評估。

共用方式為

如何建立自訂 NER 專案

必要條件

建立語言資源

建立語言資源並連線儲存體帳戶

從 Azure 入口網站建立新的資源

從 Language Studio 建立新的語言資源

使用 PowerShell 建立新的語言資源

使用現有的語言資源

為資源啟用身分識別管理

啟用自訂具名實體辨識功能

新增必要角色

Azure AI 語言資源的角色

儲存體帳戶的角色

使用者的角色

為您的儲存體帳戶啟用 CORS

建立自訂具名實體辨識專案

要求 URL

標頭

本文

匯入專案

標頭

本文

取得專案詳細資料

標頭

回應本文

刪除專案

標頭

下一步

意見反應

其他資源