了解語言模型的微調時機
開始微調模型之前,您必須清楚了解何謂微調,以及何時應該使用。
當您想要使用 Azure AI Foundry 開發聊天應用程式時,可以使用提示流程來建立與語言模型整合的聊天應用程式,以產生回應。 若要改善模型所產生的回應品質,您可以嘗試各種策略。 最簡單的策略是套用提示工程。 您可以變更格式化問題的方式,但也可以更新隨提示一起傳送至語言模型的系統訊息。
提示工程是改善模型運作方式,以及模型所需知道內容的快速簡單方式。 當您想要進一步改善模型的品質時,會使用兩種常見的技術:
- 檢索增強生成 (RAG):先從資料來源擷取內容後,再產生回應,以對資料進行建基。
- 微調:將資料集整合至應用程式之前,先在資料集上定型基本語言模型。
當您需要模型回應以實際且以特定資料建基時,最常套用 RAG。 例如,您希望客戶詢問您在旅遊預訂目錄中所提供旅館的問題。 另一方面,當您希望模型以某種方式運作時,微調可協助您達成目標。 您也可以使用最佳化策略的組合,例如 RAG 和微調的模型,來改善您的語言應用程式。
模型的運作方式大多與模型所產生的回應樣式、格式和語調有關。 當您想要讓模型在回應時遵守特定的樣式和格式時,也可以指示模型透過提示工程來執行此動作。 不過,有時候提示工程可能不會導向一致的結果。 模型仍可能會忽略您的指示,並有不同的行為。
在提示工程中,用來「強制」模型以特定格式產生輸出的技術,就是為模型提供所需輸出外觀的各種範例,也稱為單一樣本 (一個範例) 或少量樣本 (幾個範例)。 不過,您的模型不一定會以您指定的樣式和格式產生輸出。
若要將模型行為的一致性最大化,您可以使用自己的定型資料來微調基本模型。