持續監視您的產生的 AI 應用程式
重要
本文中標示為 (預覽) 的項目目前處於公開預覽狀態。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。
Generative AI 的持續進步導致組織建置更複雜的應用程式，以解決各種問題（聊天機器人、RAG 系統、代理系統等）。 這些應用程式正用來推動創新、改善客戶體驗，以及增強決策。 雖然這些模型（例如 GPT-4o）為這些產生式 AI 應用程式提供強大的功能，但持續監視對於確保高品質、安全且可靠的結果從未更加重要。 當觀察應用程式時會考慮多個檢視方塊時，持續監視是有效的。 這些觀點包括令牌使用量和成本、作業計量 – 延遲、要求計數等，以及重要的是持續評估。 若要深入瞭解評估，請參閱 評估產生的 AI 應用程式。
Azure AI 和 Azure 監視器提供工具，可讓您從多個觀點持續監視 Generative AI 應用程式的效能。 透過 Azure AI Online 評估，您可以持續評估應用程式所部署的位置，或其所使用的協調流程架構（例如 LangChain）。 您可以使用各種 內建評估工具 ，以維持與 Azure AI 評估 SDK 的同位，或定義您自己的自定義評估工具。 藉由持續在收集的追蹤數據上執行正確的評估工具，您的小組可以更有效率地識別並降低生產前或生產後的安全性、品質和安全性考慮。 Azure AI Online Evaluation 提供與 Azure 監視器 Application Insights 中提供的完整可觀察性工具套件整合，讓您能夠建置自定義儀錶板、將評估結果可視化，以及設定進階應用程式監視的警示。
總而言之，由於 AI 產業的複雜性和快速發展，監視您的產生 AI 應用程式從未變得更加重要。 Azure AI Online Evaluation 與 Azure 監視器 Application Insights 整合，可讓您持續評估已部署的應用程式，以確保其高效能、安全且可在生產環境中產生高質量的結果。
如何監視您產生的 AI 應用程式
在本節中，瞭解如何使用 Azure AI Foundry 追蹤、在線評估和追蹤視覺效果功能來監視您的再生 AI 應用程式。 然後，瞭解 Azure AI Foundry 如何與 Azure 監視器 Application Insights 整合，以取得完整的可檢視性和視覺效果。
追蹤您的產生的 AI 應用程式
持續監視應用程式的第一個步驟是確保其遙測數據已擷取並儲存以供分析。 若要達成此目的，您必須檢測產生的 AI 應用程式程式代碼，才能使用 Azure AI 追蹤套件 ，將追蹤數據記錄至您選擇的 Azure 監視器 Application Insights 資源。 此套件完全符合 OpenTelemetry 標準，以取得可觀察性。 檢測應用程式的程式代碼之後，追蹤數據會記錄到 Application Insights 資源。
在應用程式程式代碼中包含追蹤之後，您可以在 Azure AI Foundry 或 Azure 監視器 Application Insights 資源中檢視追蹤數據。 若要深入瞭解如何執行這項操作，請參閱 監視您的生成 AI 應用程式。
設定在線評估
設定行用 AI 應用程式的追蹤之後，請使用 Azure AI Foundry SDK 設定在線評估，以在收集追蹤數據時持續評估。 這麼做可讓您在一段時間內監視應用程式在生產中的效能。
注意
如果您有多個 AI 應用程式將追蹤資料記錄至相同的 Azure 監視器 Application Insights 資源，建議您使用服務名稱來區分 Application Insights 中的應用程式數據。 若要瞭解如何設定服務名稱，請參閱 Azure AI 追蹤。 若要瞭解如何查詢在線評估組態內的服務名稱，請參閱 在追蹤數據中使用服務名稱。
使用 Azure 監視器 Application Insights 監視您的衍生式 AI 應用程式
在本節中，您將瞭解 Azure AI 如何與 Azure 監視器 Application Insights 整合，為您提供現成的儀錶板檢視，該檢視是針對您的產生 AI 應用程式所量身打造的深入解析，讓您可以隨時掌握應用程式的最新狀態。
適用於您產生的 AI 應用程式的深入解析
如果您尚未設定此設定，以下是一些快速步驟：
- 在 Azure AI Foundry 中瀏覽至您的專案。
- 選取左側的 [追蹤] 頁面。
- 將 Application Insights 資源連線到您的專案。
如果您已在 Azure AI Foundry 入口網站中設定追蹤，您只需要選取連結來 查看適用於 Generative AI 應用程式的深入解析儀錶板。
將數據串流處理到 Application Insights 資源之後，您會自動看到它已填入此自定義儀錶板。
此檢視是開始使用監視需求的絕佳位置。
- 您可以檢視一段時間的令牌耗用量，以瞭解是否需要增加使用量限制或進行額外的成本分析。
- 您可以將評估計量視為趨勢線，以每天瞭解應用程式的品質。
- 您可以在發生例外狀況時進行偵錯，並使用 Azure 監視器端對端交易詳細數據檢視來鑽研追蹤，以找出發生錯誤的原因。
這是 Azure 活頁簿，會查詢儲存在 Application Insights 資源中的數據。 您可以自定義此活頁簿，並量身打造此活頁簿，以符合您的業務需求。 若要深入瞭解，請參閱 編輯 Azure 活頁簿。
這可讓您新增您可能已記錄的其他自定義評估工具或其他 Markdown 文字，以共用摘要，並用於報告用途。
您也可以與小組共用此活頁簿，讓他們隨時掌握最新資訊！
![Azure 活頁簿的螢幕快照，其中顯示 [共用] 按鈕和 [共用] 索引卷標。](../media/how-to/online-evaluation/share-azure-workbook.png#lightbox)
注意
與小組成員共用此活頁簿時，他們至少必須具有已連線 Application Insights 資源的「讀者」角色，才能檢視顯示的資訊。