Общие сведения о командах и функциях для облачной аналитики в Azure
Для анализа данных в облаке крупного масштаба рекомендуется преобразовывать такие команды, как сбор, обработка, анализ, использование и визуализация, от работы в отдельных горизонтальных командах в гибкие вертикальные междоменные команды на каждом уровне. Группы платформ, такие как операции данных платформы и операции платформы, объединяются в общую группу платформ.
Группа платформ
Группа платформ состоит из двух команд:
Операции платформы: Операции платформы являются частью группы платформ. Они работают и имеют облачную платформу. Эта команда отвечает за создание целевой зоны управления данными и структуры целевой зоны данных, включая сеть, пиринг, основные службы и мониторинг в рамках аналитики масштаба облачных вычислений. Они обычно помогают платформам данных разрабатывать интерфейсы управления ИТ-службами для пользователей в целевой зоне данных в начале развертывания облачной аналитики. Эти интерфейсы, как правило, являются вызовами REST API к службе для подключения продуктов данных, настройки безопасности и добавления служб в целевые зоны данных.
операции с платформой данных: группа операций платформы данных размещается в группе платформ. Операции платформы данных предоставляют такие службы, как центральный мониторинг, каталогизация и многократно используемые политики для целевых зон данных и продуктов. Операторы платформы данных владеют зоной управления данными, а другие обязанности команды:
Разработка инфраструктуры
- Разработайте шаблоны инфраструктуры как кода для зон приземления данных. Шаблоны должны обновляться и поддерживаться с течением времени и могут охватывать несколько сценариев.
- Определите приоритеты шаблонов и добавьте новые функции на основе отзывов от других команд.
- Работайте в гибкой платформе с общей целью создания стандартных шаблонов инфраструктуры.
Отвечать на запросы на создание зон приема новых данных
Команда ops платформы данных должна предоставить средства и службы для поддержки созданных шаблонов. Средства управления ИТ-службами, такие как ServiceNow, могут обрабатывать запросы на билеты, утвержденные операционной командой платформы данных для создания новых зон приземления данных. После его утверждения новая посадочная зона будет отклоняться от базового шаблона для создания нового проекта DevOps, а пайплайны будут развёртывать шаблоны в новой среде.
Цикл обратной связи и улучшения операций платформы данных
Для улучшения шаблонов доступны два варианта:
- Команды, отвечающие за экземпляры шаблонов инфраструктуры, могут улучшить свои шаблоны и развертывания DevOps. Если команды обнаруживают проблемы в шаблонах, операционная команда платформы данных может поддерживать команды и вносить изменения из форка обратно в шаблон.
- Другие команды целевой зоны данных должны иметь возможность создавать билеты на улучшение и невыполненные билеты, которые будут улучшать шаблоны на основе приоритета билетов.
Политики Azure для облачной аналитики
Принципы облачной аналитики подчеркивают оперативность самообслуживания и установление ограничений с целью защиты данных, затрат и шаблонов. Операции с платформой данных работают с операциями платформы, чтобы определить стандарты качества, и в сотрудничестве реализуют конкретные политики данных. Операции платформы данных должны следовать процессу проверки, чтобы обновить и поддерживать новые функции, добавленные в продукты.
Развертывание и эксплуатация посадочных зон управления данными
Операции платформы данных и операционные работы платформы работают вместе для развертывания и эксплуатации зон управления данными. Зона управления данными приземления предоставляет общие службы для зон приземления данных, что делает её ключевым элементом облачной масштабной аналитики.
Операции зоны приземления данных
Операционные службы зоны приземления данных управляют и поддерживают свои экземпляры зоны приземления данных, реагируя на запросы команды по приложениям данных. Они предоставляют многие из тех же услуг, что и операции платформы данных, но ограничены своей зоной размещения данных.
Они работают из форкнутого репозитория, созданного когда создаётся зона приземления данных. Чтобы запросить изменения политики, они должны создавать заявки в операциях платформы данных, чтобы разрешить эти исключения.
Поддержка группы приложений данных для настройки продуктов данных
Операционная команда зоны посадки данных поддерживает команду приложений данных, используя пулл-реквесты для отправки новых шаблонов продуктов в соответствующие репозитории данных.
Azure DevOps, как управляющий площадкой приземления, направляет процесс утверждения изменений в операции зоны приземления данных.
- При утверждении изменения шаблона перемещаются в основную ветвь и развертываются в рабочей среде с помощью непрерывной интеграции или непрерывной разработки, что приводит к обновлению платформы или инфраструктуры данных.
- Если отклонено, операционные специалисты зоны приема данных работают с командой приложений данных, чтобы внести исправления.
Реагирование на новые запросы продукта данных
Операционные миссии целевой зоны данных поддерживают команды по применению данных в создании новых продуктов данных. Когда группа приложений данных запрашивает помощь, решение для управления ИТ-службами, например приложение логики автоматизации, управляет утверждением или развертыванием нового репозитория приложений данных. Операции зоны приземления данных уведомляются о новых запросах и утверждают или отклоняют развертывания. После утверждения создается новый проект DevOps, основной шаблон и артефакты развертываются, а новое приложение данных развертывается.
Соблюдение платформы Azure Well-Architected
Операции зоны посадки данных отвечают за зону посадки данных, и рекомендуется, чтобы команда была опытна в использовании Azure Well-Architected Framework, который предоставляет рекомендации по оптимизации затрат, надежности и безопасности.
Бизнес как обычно
Операции целевой зоны данных отвечают за бизнес-задачи, которые включают сбор отзывов и запросов на улучшение. Эти запросы приоритизируются и передаются в операции платформы данных регулярно. Команда отслеживает зону приземления данных на предмет инцидентов и событий, связанных с состоянием системы. Они взаимодействуют с другими операционными командами во время серьезных инцидентов для смягчения последствий, восстановления резервных копий, переключения в случае отказа и масштабирования служб.
Команда приложений данных
Команда приложений данных предоставляет новые продукты данных для бизнеса. Они исходят из хранилищ данных для чтения и преобразования их в бизнес-решения. Все, что преобразует данные для использования, классифицируется как продукт данных. Эта команда часто является сочетанием технических специалистов и экспертов по темам, которые могут помочь бизнесу достичь ценности быстро. Продукты данных могут варьироваться от простых отчетов и новых продуктов данных до пользовательских настроек с веб-приложениями Kubernetes на основе данных.
Новые продукты данных
Владельцы продуктов и представители бизнеса создают запросы на новые продукты данных, когда они необходимы. Офис данных оценивает требования и собирает новую группу приложений данных с различными знаниями. Команда определяет необходимые продукты данных и запрашивает разрешение на доступ к ресурсу данных. Если требуется новый продукт данных, команда по работе с данными получает заявку на обработку. Команда определяет услуги, необходимые для нового продукта данных, и запросит его через процесс развертывания приложения данных . Команда по приложениям данных получает форк репозитория из шаблона главного приложения данных для развертывания приложения данных.
Сертификация продуктов данных
На платформе самообслуживания любой пользователь может создавать отчеты, курировать продукты данных в учетной записи хранения разработчика Azure Data Lake и выпускать продукты данных для бизнеса. Запросы на проверку продукта данных возникают при:
- Бизнес-спонсоры создают тикеты для сертификации продуктов данных.
- Платформа данных номинирует продукты данных на основе популярности.
Команда приложений данных может управлять процессом сертификации, который определён подразделениями по эксплуатации платформы данных и информационной безопасности, что может включать:
- Тесты, разработанные для проверки преобразований данных и бизнес-логики
- Оценки безопасности, соответствия или влияния на производительность
После сертификации артефакты сопоставляются и передаются в репозиторий продуктов данных, публикуется документация, а команда приложений данных уведомляется.
Поддержка продуктов
Пользователи могут отправлять отзывы через систему управления ИТ-услугами или напрямую в продукте, создавая заявку, которая направляется владельцу продукта данных. Этот человек оценивает запрос и решает, следует ли передать его команде по работе с данными для исправления или внести обратную связь в реестр задач продукта и рассмотреть во время циклов планирования продукта.
Команда приложений для обработки и анализа данных
Хотя команда по обработке и анализу данных создает продукты данных, это отличается, так как их функции приводят к продуктам данных. Их работа приводит к тому, что модели публикуются и становятся продуктами данных, доступными для других пользователей, а процесс следует модели операций машинного обучения, связанной с зоной приземления данных.
Команда по работе с данными начинает поиск соответствующих продуктов данных для своего варианта использования. Решения по управлению данными могут выявить дополнительные сведения, такие как качество данных, происхождение или аналогичный набор данных или профиль. Они исследуют, доступен ли набор данных, и являются ли данные актуальными для проекта. После предоставления доступа к данным через каталог данных или пакет доступа Microsoft Entra команда использует службы в целевой зоне данных для изучения и анализа данных.
Перед обработкой всех данных команда использует локальные или удаленные вычисления для обработки и анализа примеров продуктов данных. Они могут оптимизировать удаленные целевые объекты вычислений с более крупными продуктами данных для обучения и разработки моделей машинного обучения с помощью запусков, выходных данных и моделей, отслеживаемых в Машинном обучении Azure.
Когда команда разработала модели машинного обучения, они начинают работать с ними. Для достижения этой цели они расширяют группу, чтобы включить DataOps и инженеров машинного обучения, которые могут помочь с перемещением моделей в новый продукт данных, как описано в роли группы приложений данных.
Команда по обработке и анализу данных продолжает работать с соответствующими владельцами продуктов данных для сбора отзывов, поддержки и обновления моделей в рабочей среде с помощью методологии машинного обучения.
Аналитик
Аналитики представляют собой большую группу, включающую бизнес-аналитиков, опытных пользователей и, как правило, всех пользователей в организации с интересом к оптимизации данных для создания новых бизнес-инсайтов. Возможность самостоятельного доступа — это ключевой принцип, который поддерживает аналитиков в доступе к аналитике и данным без необходимости запрашивать официальный ИТ-бюджет и ресурсы.
Совет
Предприятия должны просматривать аналитические сведения, созданные аналитиками, в качестве следующего набора потенциальных продуктов данных, которые будут сертифицированы для других пользователей, используемых в рамках бизнеса.
Поиск и запрос данных
Аналитики обращаются к marketplaces и каталогам данных для обнаружения соответствующих продуктов данных.
Если ресурс данных не найден или не существует, аналитики открывают запрос в службу поддержки с командой приложений данных. Команда приложений данных помогает найти набор данных или добавить запрос в невыполненную работу, чтобы оценить его в другом цикле разработки.
Если набор данных существует, аналитики могут определить членство в группе Microsoft Entra для ресурсов, перечисленных в каталоге, и использовать портал пакета доступа Azure для запроса доступа к группе Microsoft Entra.
Создание новых отчетов
Аналитики могут использовать такие средства, как Microsoft Power BI, для интеграции продуктов данных в отчеты. Эти отчеты могут быть для их индивидуального использования или публикации сертифицированного продукта данных. Перед публикацией отчета в организации необходимо будет пройти процесс сертификации продуктов данных для обеспечения безопасности, соответствия и производительности.
Выполнение запросов по мере необходимости
Аналитика в масштабе облака имеет общие рабочие области, в которых аналитики могут запрашивать данные, подчиняться разрешениям. Обычно продукты данных предоставляют выделенные вычислительные ресурсы для выполнения запросов по мере необходимости. В обоих случаях аналитики могут выполнять запросы к продуктам данных в целевых зонах данных с учетом разрешений. Результаты запросов можно хранить в рабочих областях Azure Data Lake, которые будут использоваться снова.
Отзывы пользователей
Поскольку аналитики могут служить неиспользованным источником информации и улучшений, предприятиям настоятельно рекомендуется создавать группы отзывов пользователей для каждой целевой зоны данных.
Аналитики, помимо участия в этих группах пользователей, должны предоставлять отзывы о ресурсах данных команде приложений данных и сообщать о проблемах в каталоге данных через сам каталог данных или решение по управлению ИТ-службами. Они могут сообщать о проблемах с процессом обработки данных команде приложений данных или через решение для управления ИТ-службами.
Заметка
Решение управления ИТ-службами должно служить центральным местом для отправки отзывов и эскалации проблем. Отправка прямых отзывов отдельным командам может оказаться более быстрым решением, но этот подход не дает бизнес-представления о проблемах на платформе. Решение для управления ИТ-услугами с правильной маршрутизацией в команды, работающие с приложениями данных, может предоставить бизнесу единое представление обо всей организации.
Матрица назначения ответственности
- ответственный: Кто выполняет задачу?
- Ответственный: Кто принимает решения и осуществляет действия по задаче?
- консультации: Кто получает сообщения о решениях и задачах?
- Осведомлённость: Кто получает информацию о решениях и действиях во время проекта?
| Роль | Облачная среда | Зона первоначальной настройки управления данными | Зона посадки данных | Интеграция данных | Продукты данных |
|---|---|---|---|---|---|
| Владелец службы | Информированный | Ответственный | Информированный консультант | Проконсультировались и получили информацию | Информирован после консультации |
| Владелец сервиса зоны размещения данных | Информированный | Информированный консультант | Ответственный | Ответственный | Ответственный |
| Операции облачных платформ | Ответственный | Консультации | Проконсультировались | Консультации | Консультации |
| Операции с платформой данных | Консультировались | Ответственный | Ответственный | Проконсультировались | Консультации |
| Операции посадочной зоны данных | Информированный | Ответственный | Ответственный | Ответственный | Ответственный |
| Команда приложений данных | Информированный | Информированный | Информированный | Ответственный |