定型及評估模型
定型和評估模型是將資料和標籤新增至定型資料集的反覆程序,目的是更精確教導模型。 為了知道需改善的資料和標籤類型,Language Studio 在左側窗格的 [檢視模型詳細資料] 頁面中提供評分。
個別實體和整體模型分數細分成三個計量,說明各自的成效,以及需要改善的地方。
計量 | 描述 |
---|---|
精確度 | 成功辨識實體與所有嘗試辨識次數的比率。 高分表示只要辨識出實體,就會正確新增標籤。 |
重新叫用 | 成功辨識實體與文件中實際存在實體數的比率。 高分表示無論是否指派正確的標籤,都會順利找出實體 |
F1 分數 | 提供單一評分計量的精確度和召回率組合 |
可針對每個實體和整個模型提供分數。 您可能會發現某個實體分數很高,但整個模型卻不盡然。
如何解讀計量
在理想情況下,我們希望模型在精確度和召回率方面都獲得好分數,這表示實體辨識效果良好。 如果這兩個計量的分數都很低,表示模型難以辨識文件中的實體,而且擷取該實體時,不會以高信賴度指派正確的標籤。
如果精確度很低,但召回率很高,表示模型可以妥善辨識實體,但無法指派正確的實體類型標籤。
如果精確度很高,但召回率很低,表示模型不一定會辨識實體,但模型擷取實體時會套用正確的標籤。
混淆矩陣
在同一個 [檢視模型詳細資料] 頁面上,[混淆矩陣] 頂端有另一個索引標籤。 此檢視提供所有實體的視覺化資料表,以及每個實體的成效,提供模型的完整檢視及其短處。
混淆矩陣可讓您以視覺化方式識別要新增資料的位置,協助改善模型的效能。