練習 - 基礎性偵測

已完成

實作 AI 支援的客戶支援專員,顛覆了 Contoso Camping Store 的傳統遊戲規則! 客戶可以要求支援專員提供產品建議,以及如何使用 Contoso 野營商店產品的相關指導。 不過,我們希望確保,模型只會根據傳遞至模型的來源材料來提供回應。

讓我們使用模型來測試提示,以偵測其輸出是否有事實根據

正在偵測有事實根據的輸出

我們可以提供基礎性來源、提交提示,並提供完成以測試模型偵測基礎性輸出的能力。 讓我們用帳篷成本來進行該測試。

  1. 在 [內容安全]頁面中,選取 [根據性偵測]

  2. 在 [選擇工作] 區段中,選取 [問答]

  3. 在 [測試] 區段中,在每個方塊中輸入下列內容:

    • 基礎性來源帳篷費用 $250

    • 提示帳篷成本?

    • 完成$250

    此螢幕擷取畫面顯示根據性的根據性輸入。提供有據來源、提示和完成狀態。

  4. 選取 [執行測試]

鑑於 [有根據來源] 和 [完成] 輸出一致,模型就能夠偵測輸出是否有事實根據。

此螢幕擷取畫面顯示根據性結果。結果顯示未偵測到任何無根據性。

正在偵測沒有事實根據的輸出

由於模型有時會提供不正確的資訊,因此我們想要確保模型可以偵測輸出是否是無依據的。 如同先前的範例,我們可以測試沒有事實根據的輸出,但相反地,我們會提供與 [有根據來源] 互相矛盾或不一致的 [完成]

  1. 在 [測試] 區段中,在每個方塊中輸入下列內容:

    • 基礎性來源帳篷費用 $250

    • 提示帳篷成本?

    • 完成$350

    此螢幕擷取畫面顯示無根據性的根據性輸入。提供有據來源、提示和完成狀態。

  2. 選取 [執行測試]

因為 [完成] 提供了帳篷不正確的成本,因此輸出沒有事實根據,且模型能夠偵測到輸出沒有事實根據。

此螢幕擷取畫面顯示根據性結果。結果顯示偵測到無根據性。此外,還提供註釋指出無根據內容。

正在產生摘要輸出

對於客戶支援專員,我們想要確保模型可以產生摘要輸出。 例如,如果客戶提供了他們在使用產品時遇到的問題的詳細說明。 我們會想確保模型能準確地合成客戶查詢內的內容,並在傳回中提供有事實根據的摘要輸出。 我們可以藉由將客戶的查詢作為基礎性來源傳遞,並根據查詢內容提供完成,以測試基礎性。

  1. 在 [選擇工作] 區段中,選取 [摘要]

  2. 在 [測試] 區段中,在每個方塊中輸入下列內容:

    • 基礎性來源 - 我最近為家庭露營旅行購買了三頂 TrailMaster X4 帳篷。雖然整體上看來很好用,但我注意到了幾個小問題。其中一頂帳篷上的拉鍊似乎不太好拉,而收納袋裡有一小處撕裂。這些都是小問題,但我認為您應該注意一下。

    • 完成我購買了 4 頂帳篷,這些帳篷很好用,沒有問題。

    此螢幕擷取畫面顯示摘要工作的根據性輸入。

  3. 選取 [執行測試]

由於客戶購買了 3 頂帳篷,且帳篷有一些小問題,表示完成不具基礎。 模型能夠偵測到摘要輸出沒有事實根據。

此螢幕擷取畫面顯示摘要工作的根據性結果。結果顯示偵測到無根據性。此外,還提供註釋指出無根據內容。