步驟 5 (產生)。 如何偵錯產生品質
此頁面說明如何識別產生問題的根本原因。 當根本原因分析指出根本原因 Improve Generation 時，請使用此頁面。
即使使用最佳擷取，如果 RAG 鏈結的 LLM 元件無法有效地利用擷取的內容來產生準確、一致且相關的回覆，最終輸出品質也會受到影響。 產生品質問題可能出現的一些方式是幻覺、不一致或無法簡潔扼要地解決使用者的查詢。
指示
請遵循下列步驟來解決產生品質問題：
- 開啟 B_quality_iteration/01_root_cause_quality_issues 筆記本。
- 使用查詢來載入具有產生品質問題的記錄的 MLflow 追蹤。
- 針對每個記錄，手動檢查產生的回應，並將它與擷取的內容和基準真相回應進行比較。
- 在產生品質較低的查詢中尋找模式或常見問題。 例如：
- 產生擷取內容中不存在的資訊。
- 產生與擷取內容不一致的諮詢 (幻覺)。
- 無法根據提供的擷取內容，直接處理使用者的查詢。
- 產生過於詳細、難以理解或缺乏邏輯一致性的回覆。
- 根據已識別的問題，假設潛在的根本原因和對應的修正。 如需指導，請參閱產生品質不佳的常見原因。
- 請遵循實作和評估變更中的步驟來實作及評估可能的修正。 這可能涉及修改 RAG 鏈結 (例如，調整提示範本或嘗試不同的 LLM) 或資料管線 (例如，調整區塊策略以提供更多內容)。
- 如果產生品質仍然不盡如人意，請針對下一個最有希望的修正重複步驟 4 和 5，直到實現所需效能為止。
- 重新執行根本原因分析，以判定整體鏈結是否有應解決的任何其他根本原因。
產生品質不佳的常見原因
下表列出偵錯步驟和常見產生問題之可能的修正。 修正會依元件分類：
- 鏈結設定
- 鏈結程式碼
此元件定義了您在實作和評估變更步驟中應遵循的步驟。
重要
Databricks 建議您使用提示工程來反覆運算應用程式輸出的品質。 下列大多數步驟都使用提示工程。
| 產生問題 | 偵錯步驟 | 可能的修正 |
|---|---|---|
| 產生的資訊不存在於擷取內容中 (例如幻覺)。 | - 比較產生的回覆與擷取的內容，以識別幻覺資訊。 - 評定特定的查詢類型或擷取的內容是否更容易發生幻覺。 |
- 鏈結設定 更新提示範本，強調依賴擷取的內容。 - 鏈結設定使用功能更強大的 LLM。 - 鏈結程式碼 實作產生后的事實檢查或驗證步驟。 |
| 無法直接解決使用者的查詢或提供過於泛型的回覆 | - 比較產生的回覆與使用者查詢，以評定相關性和明確性。 - 檢查特定的查詢類型否會導致擷取正確的內容，但 LLM 會產生低品質輸出。 |
- 鏈結設定 改善提示範本，以鼓勵直接、特定的回覆。 - 鏈結設定 藉由改善擷取程序來擷取更多目標內容。 - 鏈結程式碼 重新排名擷取結果以將大部分相關的區塊放在第一位，只將這些區塊提供給 LLM。 - 鏈結設定使用功能更強大的 LLM。 |
| 產生的回覆難以理解或缺乏邏輯流程 | - 評定邏輯流程、文法正確性和可理解性的輸出。 - 分析特定的查詢類型或擷取特定的內容類型時，是否經常發生不一致的情況。 |
- 鏈結設定 變更提示範本，以鼓勵一致且結構良好的回覆。 - 鏈結設定 藉由擷取其他相關區塊，為 LLM 提供更多內容。 - 鏈結設定使用功能更強大的 LLM。 |
| 產生的回覆並非以所需的格式或樣式表示 | - 比較輸出與預期的格式和樣式指導方針。 - 評定特定的查詢類型或擷取的內容是否更可能導致格式或樣式偏離。 |
- 鏈結設定 更新提示範本，以指定所需的輸出格式和樣式。 - 鏈結程式碼 實作後處理步驟，將產生的響應轉換成所需的格式。 - 鏈結程式碼 新增步驟以驗證輸出結構和樣式，並視需要輸出後援回應。 - 鏈結設定 使用微調的 LLM，以特定格式或樣式提供輸出。 |
後續步驟
如果您也識別了擷取品質的問題，請繼續進行步驟 5 (擷取)。如何偵錯擷取品質。
如果您認為您已解決所有已識別的問題，請繼續進行 步驟 6。對 AI 代理程式進行和評估品質修正。