改善語言模型的效能

已完成

將模型部署到端點後,您可以與該模型互動以探索其運作方式。 當您想要根據您的使用案例自訂模型時,您可以套用數個最佳化策略來改善模型的效能。 讓我們來探索一下各種策略。

在遊樂場中與模型聊天

您可以使用慣用的編碼語言來對模型的端點進行 API 呼叫,也可以直接在 Azure AI Foundry 入口網站遊樂場中使用模型聊天。 聊天遊樂場是一種實驗和改善模型效能的快速且簡單的方式。

顯示 Azure AI Foundry 中聊天遊樂場的螢幕擷取畫面。

您傳給語言模型的問題的品質會直接影響您得到的回應的品質。 您可以仔細建構您的問題或進行提示,以獲得更好且更有趣的答案。 設計和最佳化提示以改善模型效能的過程也稱為提示工程。 當終端使用者提供相關、具體、明確且結構良好的提示時,模型可以更完善地了解內容並產生更準確的回應。

套用提示工程

當您在遊樂場中與模型聊天時,您可以套用數種提示工程技術來探索它是否改善模型的輸出。

顯示對語言模型的提問及其回應的螢幕擷取畫面。

讓我們探索一下終端使用者可以用來套用即時工程的一些技術:

  • 提供明確的指示:具體說明您想要的輸出。 具有清楚指示的問題的螢幕擷取畫面,讓答案對使用案例更具體。
  • 格式化您的指示:使用標題和分隔符號以讓您的問題更易於閱讀。 格式化問題的螢幕擷取畫面,以更清楚說明轉換後的文字應是什麼內容。
  • 使用提示:提供模型應如何開始其回應的關鍵字或指標,例如特定的編碼語言。 具有提示 (助理的答案接著會從該提示開始出現) 的問題的螢幕擷取畫面。

更新系統訊息

在聊天遊樂場中,您可以選取 [顯示 JSON] 來檢視您目前對話的 JSON:

顯示聊天遊樂場中對話的 JSON 輸出的螢幕擷取畫面。

顯示的 JSON 是您每次傳送新訊息時模型端點的輸入資料。 系統訊息一律是輸入資料的一部分。 雖然終端使用者看不到系統訊息,但系統訊息可讓您以開發人員的身分透過為模型的行為提供指示來自訂其行為。

以開發人員的身分透過更新系統訊息來套用一些常見的提示工程技術如下:

  • 使用一次拍攝幾次拍攝:提供一或多個範例來協助模型識別所需的模式。 您可以為系統訊息新增一個區段以新增一或多個範例。 包含範例的系統訊息的螢幕擷取畫面。
  • 使用思維鏈:過指示模型思考工作來引導模型逐步推理。 思維鏈推理的螢幕擷取畫面。
  • 新增內容:藉由提供與工作相關的內容或背景資訊來提高模型的準確性。 您可以透過使用者提示中提供的基礎資料或連接您自己的資料來源來提供內容。 新增內容資料的選項的螢幕擷取畫面。

套用模型最佳化策略

身為開發人員,您也可以套用其他最佳化策略來改善模型的效能,而不必要求終端使用者撰寫特定的提示。 除了提示工程之外,您選擇的策略取決於您的需求:

顯示各種將模型效能最佳化策略的圖表。

  • 針對內容進行最佳化:當模型缺少內容知識而您想要最大限度地提高回應準確性時。
  • 最佳化模型:當您想要透過最大限度地提高行為一致性來改進回應格式、風格或言語時。

若要針對內容進行最佳化,您可以套用檢索增強生成 (RAG) 模式。 藉由 RAG,您可以在產生回應之前先從資料來源檢索內容來對您的資料建立基礎。 例如,您希望客戶詢問您在旅遊預訂目錄中所提供旅館的問題。

當您希望模型以特定的樣式或格式回應時,您可以透過在系統訊息中新增指導方針來指示模型這樣做。 當您注意到模型的行為不一致時,您可以藉由微調模型來進一步強制行為一致性。 透過微調,您可以先在資料集上訓練基本語言模型,然後再將其整合到您的應用程式中。

您也可以使用最佳化策略的組合,例如 RAG 微調的模型,來改善您的語言應用程式。