数据引入
本文可帮助你了解 FinOps Framework 中的数据引入功能以及如何在 Microsoft Cloud 中实现该功能。
定义
数据引入是指将数据从各种源收集、转换和组织到单个易于访问的存储库的过程。
从云提供商、供应商和本地系统收集成本、利用率、性能和其他业务数据。 收集的数据可能包括:
- 内部 IT 数据。 例如,来自配置管理数据库 (CMDB) 或 IT 资产管理 (ITAM) 系统的数据。
- 特定于业务的数据,例如将云成本映射到业务价值或量化业务价值的组织层次结构和指标。 例如,组织和部门任务报表中定义的收入。
了解数据如何报告和规划数据标准化要求,以支持报告来自多个源的类似数据。
请考虑如何处理来自多个云或帐户类型的成本数据。 首选开放标准,如 FinOps 开放式成本与使用规范(FOCUS)项目,该项目为云成本数据提供一致性和标准化,以及与提供商、供应商和内部工具之间的互操作性。
可能需要通过对数据进行分类或标记,以逻辑方式和有意义的方式组织数据。 这样做可以更轻松地访问、分析和理解。
当拥有与业务价值相关的成本和使用情况信息的全面集合时,组织可以为利益干系人提供支持,并加速实现其他 FinOps 功能的目标。 利益干系人能够做出更明智的决策,从而更有效地使用资源,并有可能显著节省成本。
开始之前
虽然数据引入对于任何 FinOps 实践的长期效率和有效性至关重要,但这不是对初始 FinOps 投资集的阻碍性要求。 如果这是你在 FinOps 生命周期中的第一次迭代,请考虑更轻量的功能,这些功能可以更快地实现投资回报,例如 报告和分析。 数据引入可能需要大量的时间和精力,具体取决于帐户大小和复杂性。 我们建议在对关键利益干系人为支持该工作所做的工作和承诺有适当的了解后,专注于此过程。
在开始采用此功能的第一次迭代期间,请考虑将 FOCUS 用作所有数据源的标准计费数据格式。 若要了解组织为何需要它,以及为什么Microsoft相信 FOCUS,可以查看 Microsoft 提供的 FinOps 工具包上的 FOCUS 文档 。
入门
刚开始管理云中的成本时,可以使用门户中或通过 Power BI 提供的原生工具。 如果需要更多数据,可以下载用于本地分析的数据,或者生成一个小报表或将其与另一个数据集合并。 最终,你需要自动执行此过程,这便是“数据引入”的作用所在。 首先,我们将专注于将成本数据引入通用数据存储。
- 在引入成本数据之前,请考虑报告需求。
- 与利益干系人交谈,以确保你对他们的需求有明确的了解。 尝试了解他们的动机和目标,以确保数据或报告对他们有所帮助。
- 确定是否采用 FOCUS 作为任何新解决方案的标准计费架构。 转换现有仪表板以利用不同的数据集可能会带来挑战。
- Microsoft成本管理支持与 FOCUS 架构一致的成本和使用情况数据导出,从而节省大量时间和精力。
- 确定所需的数据、可从何处获取数据以及可为你授予访问权限的人员。 记下可能需要规范化的任何常见数据集。
- 确定所需的粒度水平以及需要的数据刷新频率。 管理大型帐户的日常成本数据可能是一项挑战。 考虑每月汇总,以降低成本并提高查询性能和可靠性(如果这符合你的报告需求)。
- 考虑使用第三方 FinOps 平台。
- 查看 Azure 市场中提供的第三方解决方案。
- 如果你决定构建自己的解决方案,请考虑从 FinOps 中心开始,这是 Microsoft 提供的开源 FinOps 工具包的一部分。
- FinOps 中心可加速开发,并帮助你专注于构建所需的功能,而不是基础结构。
- 使用组织层次结构和预算补充云成本数据。
- 选择适合你的成本详细信息解决方案。 我们建议定期导出,即每天或每月将成本数据推送到存储帐户。
- 如果使用每日导出,需要注意的是数据每天都会被推送到一个新文件中。 在报告成本时,请确保只选择最近一天。
- 确定是否需要数据集成或工作流技术,以便对数据进行处理。
- 在早期阶段,你可能能够在导出的存储帐户中保留数据,而无需进行其他处理。 对于具有轻量级需求和较少定制的小型帐户,我们建议将数据保存在那里。
- 如果需要将数据引入更高级的数据存储或执行数据清理或规范化,则可能需要实现数据管道。 选择数据管道编排技术。
- 确定数据存储要求。
- 在早期阶段,我们建议使用导出的存储帐户,以简化操作并降低成本。
- 如果需要高级查询引擎,或者预期会达到报告工具中的数据大小限制,则应考虑将数据引入分析数据存储。 选择分析数据存储。
进阶拓展
此时,你有一个数据管道,并且会将数据引入中央数据存储库。 在进行基础操作之外的探索时,请考虑以下几点:
- 将数据规范化为标准架构,以支持对齐和混合来自多个源的数据。
- 对于成本数据,我们建议使用 FinOps 开放式成本与使用情况规范(FOCUS)架构。
- FinOps 中心 包括将数据规范化为 FOCUS 架构的 Power BI 报表,该架构可能是一个很好的起点。
- 使用组织层次结构和预算补充云成本数据。
- 考虑为需求加标签或标记,以将云成本映射到组织层次结构。
- 使用内部 CMDB 或 ITAM 数据扩充云资源和解决方案数据。
- 考虑将云成本映射到业务价值所需的内部业务和收入指标。
- 根据报表需求确定需要哪些其他数据集:
- 成本和定价
- Azure 零售价格:无组织折扣的即用即付费率。
- 价目表:Microsoft 客户协议帐户的组织定价。
- 价目表:Microsoft 企业协议帐户的组织定价。
- 余额摘要:企业协议货币承诺余额。
- 承诺折扣
- 利用率和效率
- Resource Graph:Azure 顾问建议。
- Monitor 指标:资源使用情况。
- 资源详细信息
- Resource Graph:资源详细信息。
- 资源变化:用于列出过去 14 天内的资源变化。
- 订阅:用于列出订阅。
- 应用于资源和资源组的标记的标记 。
- Azure 服务特定 API:较低级别的配置和利用率详细信息。
- 成本和定价
有关详细信息,请前往 FinOps 基金会
此功能是 FinOps 基金会提供的 FinOps 框架的一部分,FinOps 基金会是一个致力于推进云成本管理和优化的非营利性组织。 有关 FinOps 的详细信息,包括有用的 playbook、培训和认证计划等,请参阅 FinOps Framework 文档中的数据引入功能 文章。
还可以在 FinOps Foundation YouTube 频道中找到相关视频:
相关内容
相关的 FinOps 功能:
相关产品:
相关解决方案: