你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
持续监视生成式 AI 应用程序
重要
本文中标记了“（预览版）”的项目目前为公共预览版。 此预览版未提供服务级别协议，不建议将其用于生产工作负载。 某些功能可能不受支持或者受限。 有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。
生成式 AI 的持续进步促使组织构建更复杂的应用程序，以解决各种问题（聊天机器人、RAG 系统、代理系统等）。 这些应用程序用于推动创新、改善客户体验和增强决策。 尽管为这些生成式 AI 应用程序提供支持的模型（例如 GPT-4o）非常有能力，但对于确保高质量、安全且可靠的结果，持续监视从未如此重要。 在观察应用程序时考虑多个视角时，持续监视是有效的。 这些视角包括标记使用情况和成本、操作指标（延迟、请求计数等）以及重要的持续评估。 若要了解有关评估的详细信息，请参阅生成式 AI 应用程序的评估。
Azure AI 和 Azure Monitor 提供了相关工具，用于从多个视角持续监视生成式 AI 应用程序的性能。 使用 Azure AI 联机评估时，可以持续评估应用程序，无论其部署在哪里或使用何种业务流程框架（例如 LangChain）。 可以使用各种内置评估程序来维护与 Azure AI 评估 SDK 的奇偶校验，或定义你自己的自定义评估程序。 通过持续对收集的跟踪数据运行合适的评估程序，团队可以更有效地识别和缓解生产前后出现的安全、质量和防护问题。 Azure AI 联机评估提供与 Azure Monitor Application Insights 中可用的综合可观测性工具套件的完全集成，使你能够生成自定义仪表板、可视化评估结果以及配置高级应用程序监视的警报。
总之，由于 AI 行业的复杂性和迅速发展，监视生成式 AI 应用程序从未如此重要。 Azure AI 联机评估与 Azure Monitor Application Insights 集成，使你能够持续评估部署的应用程序，以确保它们在生产环境中具有高性能、安全且产生高质量的结果。
如何监视生成式 AI 应用程序
在本节中，了解如何使用 Azure AI Foundry 跟踪、联机评估和跟踪可视化功能来监视生成式 AI 应用程序。 然后，了解 Azure AI Foundry 如何与 Azure Monitor Application Insights 集成，以实现全面的可观测性和可视化。
跟踪生成式 AI 应用程序
持续监视应用程序的第一步是确保捕获并存储其遥测数据以进行分析。 为此，你需要检测生成式 AI 应用程序的代码，以使用 Azure AI 跟踪包将跟踪数据记录到你所选的 Azure Monitor Application Insights 资源。 此包完全符合 OpenTelemetry 可观测性标准。 检测了应用程序的代码后，跟踪数据将记录到你的 Application Insights 资源。
在应用程序代码中包含跟踪后，可以在 Azure AI Foundry 或 Azure Monitor Application Insights 资源中查看跟踪数据。 若要详细了解如何执行此操作，请参阅监视生成式 AI 应用程序。
设置联机评估
对生成式 AI 应用程序设置跟踪后，使用 Azure AI Foundry SDK 设置联机评估，以在收集跟踪数据时持续评估这些数据。 通过这样做，可监视应用程序随时间推移在生产环境中的性能。
注意
如果你有多个 AI 应用程序将跟踪数据记录到同一 Azure Monitor Application Insights 资源，建议使用服务名称来区分 Application Insights 中的应用程序数据。 若要了解如何设置服务名称，请参阅 Azure AI 跟踪。 若要了解如何在联机评估配置中查询服务名称，请参阅在跟踪数据中使用服务名称。
使用 Azure Monitor Application Insights 监视生成式 AI 应用程序
在本节中，了解 Azure AI 如何与 Azure Monitor Application Insights 集成，以便提供一个现成的仪表板视图，该视图经过定制，可提供关于你的生成式 AI 应用的见解，以便你随时了解应用程序的最新状态。
生成式 AI 应用程序的见解
如果尚未设置此项，下面是一些快速步骤：
- 在 Azure AI Foundry 中导航到你的项目。
- 选择左侧的“跟踪”页。
- 将 Application Insights 资源连接到项目。
如果已在 Azure AI Foundry 门户中设置跟踪，则只需选择“查看生成式 AI 应用程序仪表板的见解”的链接。
将数据流式传输到 Application Insights 资源后，你会看到它自动填充在此自定义仪表板中。
此视图非常适合作为满足你的监视需求的起点。
- 你可以查看随时间推移的标记消耗情况，以了解是否需要提高使用上限或进行额外的成本分析。
- 你可以按趋势线查看评估指标，以了解应用每天的质量。
- 你可以使用“Azure Monitor 端到端事务详细信息视图”调试异常并钻取跟踪，以确定出现的问题。
这是一个 Azure 工作簿，正在查询 Application Insights 资源中存储的数据。 你可以自定义此工作簿，并根据业务需求定制它。 若要了解详细信息，请参阅编辑 Azure 工作簿。
这样，你就可以添加你可能已记录的其他自定义评估程序或其他 markdown 文本来共享摘要，并用于报告目的。
你还可以与你的团队共享此工作簿，以便他们随时了解最新情况！
注意
与团队成员共享此工作簿时，他们必须至少对连接的 Application Insights 资源拥有“读取者”角色以查看显示的信息。