你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

了解 Azure 中的云规模分析的团队和职能

对于云规模分析,我们建议将每层中的引入、处理、分析、使用和可视化等团队从水平孤岛状态的团队转变为敏捷垂直跨域工作的团队。 将数据平台运营和平台运营等平台团队分到一个共用平台组。

Diagram of cloud-scale analytics teams.

平台组

平台组由两个团队组成:

  • 平台运营:平台运营是平台组的一部分。 它运行并拥有云平台。 此团队负责实例化数据管理登陆区域以及数据登陆区域基架,例如云规模分析中的网络、对等互连、核心服务以及监视。

在推出云规模分析之初,他们通常帮助数据平台运营团队为数据登陆区域的角色开发 IT 服务管理接口。 这些接口往往用于对服务发起 REST API 调用,以加入数据产品、设置安全性和向数据登陆区域添加服务。

  • 数据平台运营:数据平台运营组位于平台组内。 数据平台运营为数据登陆区域和产品提供集中监视、编录和可重用策略等服务。 数据平台运营拥有数据管理登陆区域,该团队其他职责包括:

开发基础结构

  • 为数据登陆区域开发基础结构即代码模板;模板必须随时间推移进行更新和维护,它们可以涵盖多个方案。
  • 根据其他团队的反馈周期确定模板的优先级和添加新功能。
  • 在敏捷框架中,怀揣共同目标合作生成标准的基础结构模板。

响应新的数据登陆区域请求

数据平台运营团队必须提供工具和服务来支持他们创建的模板。 ServiceNow 等 IT 服务管理工具可以处理票证请求,该请求由数据平台运营团队审批,用于创建新的数据登陆区域。 获得审批后,会从基本模板创建新的登陆区域以创建新的 DevOps 项目,管道会将模板部署到新环境。

数据平台运营的反馈和增强循环

可通过以下两个选项增强模板:

  • 负责基础结构模板实例的团队可加强其 DevOps 模板和部署。 如果团队发现模板中的问题,数据平台运营可为团队提供支持,将分支中的变更合并回模板中。

  • 其他数据登陆区域团队应能够改进并创建积压工作票证,基于票证的优先级来增强模板。

用于云规模分析的 Azure 策略

云规模分析原则强调自助服务敏捷性和用于保护数据、成本和模式的护栏。 数据平台运营与平台运营合作定义质量,这些团队协作实现特定的数据策略。 数据平台运营应遵循评审流程来更新和维护添加到产品的新功能。

部署和操作数据管理登陆区域

数据平台运营和平台运营合作部署和操作数据管理登陆区域。 数据管理登陆区域为数据登陆区域提供共享服务,因此数据管理登陆区域成为云规模分析的中心部分。

数据登陆区域运营

数据登陆区域运营在响应数据应用程序团队请求时操作和维护其数据登陆区域实例。 他们提供许多与数据平台运营相同的服务,但仅在其数据登陆区域中提供。

他们在创建数据登陆区域时创建的分支存储库中工作。 若要请求策略变更,他们必须向数据平台运营提交票证,以允许这些例外。

支持数据应用程序团队自定义数据产品

数据登陆区域运营团队通过使用拉取请求,将新产品模板提交到各自的数据产品存储库,为数据应用程序团队提供支持。

作为登陆区域的所有者,Azure DevOps 将变更审批路由到数据登陆区域运营:

  • 如果获得审批,模板变更会通过持续集成/持续开发移动到主分支并部署到生产环境,从而更新数据产品平台/基础结构。

  • 如果审批未通过,数据登陆区域运营会与数据应用程序团队合作来修复变更。

响应新的数据产品请求

数据登陆区域运营支持数据应用程序团队创建新的数据产品。 当数据应用程序团队请求协助时,IT 服务管理解决方案(例如自动化逻辑应用)会协调新数据应用程序存储库的审批或部署。 数据登陆区域运营会收到有关新请求及部署批准/拒绝的通知。 获得审批后,会创建新的 DevOps 项目、会为主模板和项目创建分支,并会部署新的数据应用程序。

遵循 Azure 架构良好的框架

数据登陆区域运营负责数据登陆区域,建议该团队熟练掌握 Azure 架构良好的框架,该框架提供有关成本优化、可靠性和安全性的指导。

保证业务如常

数据登陆区域运营负责业务任务,包括收集反馈和功能增强请求。 这些请求会优先处理,并定期与数据平台运营共享。 该团队监视数据登陆区域的事件和运行状况事件。 他们会在严重事件期间与其他运营团队合作,以缓解、还原备份、故障转移和扩展服务。

数据应用程序团队

数据应用程序团队向企业交付新的数据产品。 他们从数据集成的读取数据存储中获取数据,并将其转换为业务解决方案。 通过转换数据以供使用的任何项目都可归类为数据产品。 此团队通常由技术专家和行业专家组成,他们可以帮助业务快速实现价值。 从简单的报表和新数据产品,到包含数据驱动型 Kubernetes Web 应用的自定义安装程序,这些都可以是数据产品。

新的数据产品

产品所有者和业务代表根据需要创建对新数据产品的请求。 数据办公室评估要求,并组建一支具有一系列专业知识的新数据应用程序团队。 该团队确定数据产品所需的数据产品,并请求对数据资产的权限。 如果需要新的数据产品,数据应用程序团队会收到一个用于引入它的票证。 该团队确定新数据产品所需的服务,并通过数据应用程序部署流程请求新的数据产品。 数据应用程序团队从主数据应用程序模板接收分支存储库来部署数据应用程序。

验证数据产品

在自助服务平台中,任何人都可以创建报表、在 Azure Data Lake 开发人员存储帐户中管护数据产品,以及发布数据产品供企业使用。 发生以下情况时,会请求查看数据产品:

  • 业务发起日志票证以认证数据产品。
  • 数据平台运营根据热门程度提名数据产品。

数据应用程序团队可以推动认证流程,该流程由数据平台运营和数字安全定义,其中可能包括:

  • 为验证数据转换和业务逻辑而设计的测试
  • 针对安全性、合规性或性能影响的评估

认证后,请整理项目并将其上传到数据产品存储库,发布文档,并通知数据应用程序团队。

产品支持

用户可以通过 IT 服务管理解决方案提交反馈,或直接在产品内提交反馈,因为票证会路由到数据产品所有者。 该产品所有者会审该请求,并确定是否将其升级到数据应用程序团队以便进行修复,或将反馈输入产品积压工作中并在产品规划周期内查看。

数据科学应用程序团队

尽管数据科学产品团队创建数据产品,但其与众不同之处在于其成员的职能可以主导数据产品。 如此一来,其发布的模型成为供他人使用的数据产品,这种模式遵循与数据登陆区域关联的机器学习运营模型。

数据科学产品团队首先为其用例搜索并查找相关数据产品。 数据治理解决方案可以显示更多详细信息,如数据质量、数据世系或类似数据集或配置文件。 他们研究是否有可用的示例数据集以及数据是否与项目相关。 通过数据目录或 Microsoft Entra 访问包授予数据访问权限后,团队将使用数据登陆区域中的服务来浏览和分析数据。

在处理所有数据之前,该团队使用本地或远程计算来处理和分析示例数据产品。 他们可以使用更大的数据产品优化远程计算目标,通过在 Azure 机器学习中跟踪的运行、输出和模型来训练和开发机器学习模型。

团队开发机器学习模型后,他们开始操作模型。 为此,他们扩大团队,让 DataOps 和机器学习工程师加入其中,协助将模型移到新的数据产品中,如数据应用程序团队角色中所述。

数据科学团队将继续与相关的数据产品所有者合作,通过机器学习运营方法,在生产环境中捕获反馈、提供支持以及解决模型问题并更新模型。

分析师

分析师代表一个庞大的群体,包括业务分析师、超级用户以及组织内任何对优化数据以带来新的业务见解感兴趣的人员。 自助服务支持是一项关键原则,它支持分析师访问分析和数据,无需担心超出 IT 正式预算以及资源的安全。

提示

企业应将分析师创建的见解视为下一个潜在的数据产品集,这些产品经过认证后可供其他人在业务内使用。

查找并请求数据

分析师查阅数据市场/目录以发现相关数据产品。

  • 如果找不到数据资产或不存在数据资产,则分析师通过数据应用程序团队创建支持票证。 数据应用程序团队协助查找数据集,或将请求添加到积压工作以在另一个开发周期内进行评估。

  • 如果数据集存在,分析可以识别目录中列出的资产的 Microsoft Entra 组成员身份,并使用 Azure 访问包门户请求访问 Microsoft Entra 组。

生成新报表

分析师可以使用 Microsoft Power BI 之类的工具将数据产品集成到报表中。 这些报告可供分析师个人使用,也可用于发布经认证的数据产品。 在整个组织中发布报表之前,需要通过数据产品认证流程进行安全性、合规性和性能认证。

运行按需查询

云规模分析具有共享工作区,分析师可以在其中根据相应权限查询数据。 数据产品通常提供专用计算,以便在需要时运行查询。 在这两种情况下,分析师均可以对数据登陆区域中的数据产品运行查询。 它同样受权限限制。 查询结果可存储在 Azure Data Lake 工作区中,可供再次使用。

用户反馈

由于分析师可以充当一个未利用的源(从中可以获得信息和改进措施),因此强烈建议企业为每个数据登陆区域创建用户反馈组。

除了参与这些用户组,分析师还应将数据资产反馈提交给数据应用程序团队,在数据目录或 IT 服务管理解决方案中提交数据目录问题。 他们可以向数据应用程序团队提交数据处理问题,或在 IT 服务管理解决方案内提交数据处理问题。

注意

IT 服务管理应作为提交反馈和上报问题的中心位置。 向各个团队直接提交反馈似乎是更快的解决方案,但这种方法并不能让业务团队了解平台面临的难题。 能够将反馈正确路由到数据应用程序团队的 IT 服务管理解决方案可以帮助业务团队了解整个企业的状况。

责任划分矩阵

  • 负责人:谁完成任务?
  • 责任人:谁对任务做出决策并采取行动?
  • 顾问:谁接收有关决策和任务的通信信息?
  • 知情人:谁在项目过程中获得有关决策和行动的更新信息?
角色 云环境 数据管理登陆区域 数据登陆区域 数据集成 数据产品
服务所有者 被告知的 可计算的 顾问、知情人 顾问、知情人 顾问、知情人
数据登陆区域服务所有者 被告知的 顾问、知情人 可计算的 可计算的 可计算的
云平台运营 负责 被咨询的 被咨询的 被咨询的 被咨询的
数据平台运营 被咨询的 负责 负责 被咨询的 被咨询的
数据登陆区域运营 被告知的 负责 负责 负责 负责
数据应用程序团队 被告知的 被告知的 被告知的 负责

后续步骤

用于数据工作负载的 Azure 架构良好的框架