你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
提升生成式人工智能操作 (GenAIOps) 的成熟度
生成式人工智能操作，即 GenAIOps（有时称为 LLMOps），描述了在生产中管理大型语言模型 (LLM) 的操作做法和策略。 本文提供有关如何根据组织的当前成熟度提升 GenAIOps 方面的能力的指导。
使用以下说明查找你的 GenAIOps 成熟度模型排名级别。 这些级别提供对组织的一般理解和实际应用级别。 这些指南提供了一些有用的链接来扩展你的 GenAIOps 知识库。
提示
使用 GenAIOps 成熟度模型评估来确定组织当前的 GenAIOps 成熟度级别。 该调查问卷旨在帮助你了解组织当前的能力并确定需要改进的领域。
你的评估结果对应于某个 GenAIOps 成熟度模型排名级别，它有助于你了解组织的总体情况和实际应用级别。 这些指南提供了一些有用的链接来扩展你的 LLMOps 知识库。
1 级 - 初始
提示
GenAIOps 成熟度模型评估得分：初始 (0-9)。
说明：你的组织处于 GenAIOps 成熟度的初始基础阶段。 你正在探索 LLM 的功能，但尚未开发结构化做法或系统方法。
首先熟悉不同的 LLM API 及其功能。 接下来，开始试验结构化提示设计和基本提示设计。 以查看 Microsoft Learning 文章作为起点。 利用所学知识，了解如何引入 LLM 应用程序性能评估的基本指标。
1 级提升的建议参考
- Azure AI Foundry 模型目录
- 探索 Azure AI Foundry 门户模型目录
- 提示工程简介
- 提示工程技术
- 系统消息框架
- Azure AI Foundry 门户中的提示流
- 使用 Azure AI Foundry 评估 GenAI 应用程序
- 使用 Azure AI Foundry 的 GenAI 评估和监视指标
若要更好地了解 GenAIOps，请考虑利用提供的 MS Learning 课程和研讨会。
2 级 - 了解
提示
GenAIOps 成熟度模型评估得分：正在成熟 (10-14)。
说明： 组织已开始对 LLM 操作进行系统化，重点关注结构化开发和试验。 但是，还有实现更复杂的集成和优化的空间。
若要提高功能和技能，请了解如何开发更复杂的提示，并开始有效地将其集成到应用程序中。 在此旅程中，你需要为 LLM 应用程序部署实现系统方法，从而探索 CI/CD 集成。 了解其核心后，就可以开始采用更高级的评估指标，例如真实性、相关性和相似性。 最终，你需要专注于 LLM 使用中的内容安全和道德注意事项。
2 级提升的建议参考
- 采取我们的分步研讨会以提升你的 GenAIOps 实践
- Azure AI Foundry 门户中的提示流
- 如何使用提示流进行生成
- 将流部署为托管联机终结点以便进行实时推理
- 将提示流与 GenAIOps 集成
- 使用 Azure AI Foundry 进行 GenAI 评估
- GenAI 评估和监视指标
- Azure Content Safety
- 负责任的 AI 工具和做法
3 级- 掌握
提示
GenAIOps 成熟度模型评估得分：正在成熟 (15-19)。
说明： 组织正在使用主动监视和结构化部署策略管理高级 LLM 工作流。 你即将实现卓越运营。
若要扩展知识库，请专注于 LLM 应用程序中的持续改进和创新。 随着你的进展，可以使用预测分析和全面的内容安全措施来增强监视策略。 了解如何根据特定要求优化和微调 LLM 应用程序。 最终，你希望通过高级版本控制和回滚功能加强资产管理策略。
3 级提升的建议参考
4 级 - 优化
提示
GenAIOps 成熟度模型评估得分：已优化 (20-28)。
说明：你的组织在 GenAIOps 方面表现出卓越的运营能力。 你拥有一种复杂的 LLM 应用程序开发、部署和监视方法。
随着 LLM 的发展，你需要通过不断更新最新的 LLM 进步来保持前沿位置。 持续评估 LLM 策略与不断发展的业务目标的一致性。 确保培养团队内创新和持续学习的文化。 最后，与更广泛的社区分享你的知识和最佳做法，以在该领域建立思想领导地位。