Роли и обязанности
После определения стратегии облачной аналитики необходимо организовать команды для успешной реализации этой стратегии. В этой статье описаны некоторые роли и обязанности, которые следует учитывать для аналитики в облаке. Эти роли и обязанности можно сопоставить с различными командами, которые мы обсуждали в предыдущих статьях.
Важный
В этой статье рассматриваются потенциальные роли и обязанности, но это не полный список. Учтите рекомендации этой статьи, а затем адаптируйте их под то, что подходит для вашей организации. Если вы небольшая организация, вы можете не использовать эти роли, но это не должно препятствовать развертыванию облачной платформы аналитики. Если вы являетесь крупной организацией, вы можете решить упростить и объединить роли.
Роли
Развертывание аналитики в облаке включает несколько ролей. В следующей таблице описываются каждая роль, должность и обязанности.
| Роль | Название другого задания | Обязанности | Навыки | Применимо к: |
|---|---|---|---|---|
| Архитектор решений | Архитектор платформы, архитектор решений | Проектирование и надзор облачных технологий для удовлетворения потребностей бизнеса и клиентов | Эксперты по вопросам облачных технологий, разработка шаблонов архитектуры | Команды приложений данных, группа платформ |
| Платформа Ops | Инженер по облачным технологиям, инженер инфраструктуры, инженер систем | Помощь в разработке облачных технологий, реализации и включении облачных служб и возможностей, а также управлении облачными ресурсами | Эксперты по вопросам облачных технологий, программирование, DevOps | Операции зоны посадки данных, группа платформ |
| Архитектор безопасности | Стандарты безопасности и разработка политик, стандарты безопасности и надзор за политикой, решения средств безопасности, оценки безопасности и аудиты, а также шаблоны и процессы безопасности | Эксперты по вопросам технологий безопасности, регулирование, соответствие требованиям и юридические средства контроля, принятие решений, защита от угроз и управление уязвимостями | Группа платформ | |
| Инженер по безопасности | Операции безопасности | Политика безопасности, стандарты и реализация инструментов, а также помощь в оценке безопасности и (или) аудите | Опыт работы с технологиями безопасности, регулирование, соответствие требованиям и юридические средства контроля, обнаружение угроз, управление уязвимостями и процессы SOC | Платформенная группа |
| Инженер DataOps | Операции с платформой данных | Оркестрация аналитического конвейера, выведение функций в рабочую среду и автоматизация качества | Гибкая разработка, DevOps, статистический элемент управления процессами | Команды приложений данных |
| Архитектор моделирования данных | Модель данных | Моделирование данных, сопоставление данных и шаблоны данных | Отраслевые стандарты данных, возможности инструментов обработки данных, шаблоны баз данных озера и управление данными | Команды приложений данных |
| Архитектор решений для обработки данных | Архитектор решений для обработки данных | Рекомендации по лучшим практикам использования платформы данных, применение для издателей данных и руководство для владельца продукта данных, а также шаблоны работы с данными. | Отраслевые стандарты данных, возможности инструментов обработки данных, шаблоны баз данных озера и управление данными | Команды приложений данных, группа платформ |
| Инженер данных | Инженер по обработке данных, инженер ETL | Шаблоны баз данных Lake, озера данных, хранилища, реализация, перемещение данных и преобразование данных | Базы данных, программирование и скрипты, простое хранилище и API данных | Команды приложений данных |
| Владелец данных | Владелец исходных данных, технический издатель | Доступ к утверждениям, качеству данных, определению бизнес-терминов, определению правил использования и спецификации данных в файле управления для подключения источника данных | Эксперты по предмету домена и деловые отношения | Команды приложений данных |
| Владелец продукта данных | Диспетчер специалистов по обработке и анализу данных, диспетчер аналитиков данных | Видение продуктов данных, использования продуктов данных и определений метрик | Эксперт по бизнес-вопросам, деловые отношения, концепции аналитики, проектирование пользовательского интерфейса и управление продуктами | Команды приложений данных |
| Аналитик данных | Визуализация данных, дизайнер, аналитик бизнес-данных, разработчик BI, инженер BI, аналитик по отчетности | Визуализация, диаграммы, графики, панели мониторинга, таблицы, отчеты и исследовательский анализ данных | Программирование и скрипты/SQL, статистика, очистка данных и визуализация данных | Потребители, команды приложений данных |
| Специалист по обработке и анализу данных | Исследователь машинного обучения, инженер машинного обучения, количественный аналитик, программист ИИ | Алгоритмы, модели, курирование продуктов данных, исследовательский анализ данных, измерение и улучшение результатов, а также обмен информацией о результатах | Эксперт по бизнес-темам, расширенная математика, машинное обучение, средства интеллектуального анализа данных, программирование/скрипты/SQL, статистика и визуализация данных | Команды приложений данных |
| Диспетчер управления данными | Ведущий руководитель по управлению данными, спонсор управления данными | Контроль программы управления данными, стандарты управления данными, политики и правила и утверждение средств для поддержки возможностей управления | Правила управления и платформы контроля, деловые отношения и согласование бизнес-стратегий с целями | Группа платформ, управление |
| Специалист по управлению данными | Доверенное лицо по данным | Значение данных, качество данных, соответствие данным, пригодность активов данных, знания о продуктах данных и их использовании, взаимодействие команды данных, владение концептуальной предметной областью, лидерство в предметной области с техническим владельцем данных и кураторство данных в предметной области. | Опыт предметной области, качество данных, правила управления и платформы контроля управления | Команды приложений данных, управление |
Обязанности
Развертывание аналитики в облаке включает в себя несколько областей ответственности. В следующих таблицах приведены общие сведения о каждой из этих областей.
Вычислять
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | специалист по управлению данными | Архитектор решений | Платформа Ops | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Управление пользовательским интерфейсом для запроса вычислений | A | R | ||||||||||||
| Укажите, какие средства используются для переноса вычислений в инфраструктуру платформы данных в качестве шаблона кода (IaC) | A | Р | ||||||||||||
| Настройка и мониторинг вычислений, обращаюющихся к платформе данных | A | R | R | R | R | R | ||||||||
| Предоставление поддержки производителя вычислений, обращаюющихся к платформе данных | A | R | R | |||||||||||
| Понимание, мониторинг и выполнение бизнес-правил & очистки с целью курирования данных | А | R | R | R | Р |
Жизненный цикл данных
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Куратор данных | Архитектор решений | Операции платформы | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Ответственность за архитектуру модели данных для зон на платформе данных | R | R | A | R | R | |||||||||
| Утверждение архитектуры диска для обеспечения общей непрерывности платформы данных | R | А | R | |||||||||||
| Собственные исходные данные, загруженные на платформу данных | А | R | ||||||||||||
| Управление исходными данными, загруженными на платформу данных | A | R | R | |||||||||||
| Управление службой приема данных на платформе данных | A | |||||||||||||
| Управление службой рукопожатия на платформе данных | A | |||||||||||||
| Управление архивными данными в необработанной зоне (политики хранения и архивации) | R | A | R | |||||||||||
| Подготовка данных для передачи или загрузки в другие области | A | |||||||||||||
| Управление изменениями — изменения существующих источников данных | A | Р | ||||||||||||
| Выполняйте сквозное тестирование и сообщайте о результатах | R | R | A | Р | R | R | ||||||||
| Выполняет исправления ошибок после тестирования | R | R | А | R | R | R |
Продукты и операции с данными
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Специалист по управлению данными | Архитектор решений | Операции платформы | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Управление резервным копированием и восстановлением | A | R | ||||||||||||
| Управление производительностью и доступностью базы данных | A | R | R | R | ||||||||||
| Управление процессами ITSM для платформы данных (инциденты, проблемы, изменения, запрос и т. д.) | R | R | R | R | R | R | R | R | R | R | R | R | ||
| Контроль соглашений об уровне обслуживания для служб платформы данных | A | R | ||||||||||||
| Поддержка и управление подписками Azure | A | R | ||||||||||||
| Поймите отношения между организациями, подписками, лицензиями, учетными записями пользователей и арендаторами, чтобы установить модель подписки. | A | R | ||||||||||||
| Просмотрите ежемесячный счет Azure и ознакомьтесь с сведениями об использовании и расходах | R | R | A | |||||||||||
| Управление затратами и создание отчетов распределения и взыскания затрат | R | A | ||||||||||||
| Управление затратами — создание модели затрат, способной определять отчеты и расходы. | R | A | ||||||||||||
| Управление затратами. Использование отчетов о затратах для роста тенденций и использования | R | A | ||||||||||||
| Проверка кода для обеспечения надежной целостности | R | R | A | R | ||||||||||
| Сборка & архитектуры утвержденных решений для обработки данных | R | R | Р | R |
Зона высадки
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Администратор данных | Архитектор решений | Операции платформы | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Управление интерфейсом пользователя для конфигурации Drop Zone. | A | Р | ||||||||||||
| Запрос зоны сброса | A | R | R | |||||||||||
| Утверждение обеспечения зоны сброса | A | R | ||||||||||||
| Управление выполнением конфигурирования зоны загрузки | A | R |
Общее
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Ответственный за данные | Архитектор решений | Платформенные операции | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Управление коммуникацией с заинтересованными лицами после утверждения архитектуры | A | |||||||||||||
| Оцените возможность повторного использования для будущих проектов | R | R | R | R | R | A | R | R | ||||||
| Обучение бизнес-команд | ||||||||||||||
| Поддержка группы инфраструктуры | R | Р | R | Р | R | R | A | R | R | Р | ||||
| Управление инцидентами — проблемы, связанные с платформой данных | R | A | ||||||||||||
| Определять, коммуницировать и обеспечивать выполнение стратегии данных и стратегии управления данными. | А |
Управление
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Управляющий данными | Архитектор решений | Операции платформы | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Руководит партнерством между владельцем продукта данных и владельцем данных, чтобы обеспечить соблюдение лучших практик. | R | R | A | R | ||||||||||
| Основное взаимодействие с EA, облачными службами и безопасностью по документированным стандартам, касающимся платформы данных. | R | R | A | R | ||||||||||
| Сотрудничать с владельцем продукта данных или владельцем данных для обеспечения целостности данных | R | R | A | R | ||||||||||
| Управление всеми данными на платформе для данных | Р | R | A | R | ||||||||||
| Определение стандартов управления метаданными, связанных с платформой данных (политиками и правилами создания метаданных и обслуживания). | R | R | A | R | R | |||||||||
| Обеспечение качества данных и стандартов управления данными на платформе данных | R | R | R | R | A | R | Р | R | ||||||
| Обеспечение безопасности и соответствия данным на платформе данных | R | R | A | R | Р | R | R | |||||||
| Мониторинг и проверка качества данных на платформе данных | R | R | R | R | A | R | R | R | ||||||
| Измеряйте и сообщайте о качестве данных на платформе данных менеджменту. | R | R | A | R |
Шаблоны баз данных Lake
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Ответственный за данные | Архитектор решений | Платформенные операции | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Управление сопоставлением шаблонов баз данных озера для приема данных на платформу данных | R | А | R | R | ||||||||||
| Собственные шаблоны баз данных lake на платформе данных | R | R | A | R | R |
Подключение
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Куратор данных | Архитектор решений | Платформа Ops | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Собственные запросы процесса использования данных | R | R | A | |||||||||||
| Определение владельцев данных для вариантов использования данных | A | Р | R | |||||||||||
| Сбор требований к использованию данных от владельцев данных и владельцев продуктов данных | R | R | A | |||||||||||
| Утверждение новых вариантов использования данных | R | R | A | |||||||||||
| Определение классификации вариантов использования данных и домена данных | Р | R | A | |||||||||||
| Определение других метаданных варианта использования данных для каталога данных (описание ресурса, контакты, структура папок и т. д.) | R | R | A | R | R | R | R | |||||||
| Определение требований к доступу к данным для вариантов использования данных | Р | R | A | R | R | R | R | |||||||
| Упрощение утверждения финансирования для вариантов использования данных | R | R | A | R | R | |||||||||
| Упрощение оценки конфиденциальности для подключения конфиденциальных данных | R | R | A | R | R | Р | ||||||||
| Получение утверждения шаблона архитектуры для вариантов использования данных | R | R | A | R | R | |||||||||
| Совместная работа с инженерами данных для вариантов использования данных | Р | R | A | R | ||||||||||
| Обеспечение соответствия и выравнивания существующих стандартов модели данных | A | |||||||||||||
| Убедитесь, что соблюдаются рекомендации по управлению и рискам | A | |||||||||||||
| Создание документа сопоставлений "От источника к целевому" и управление обновлениями | R | R | A | R | ||||||||||
| Утвердить документ сопоставления «Источник с целью» | R | R | A | R |
Сфера
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Управляющий данными | Архитектор решений | Платформа Ops | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Доступ для чтения к глоссарию данных | R | R | A | |||||||||||
| Управление глоссарием данных создание, обновление, удаление | R | R | A | R | ||||||||||
| Утверждение изменений глоссария данных | R | R | A | |||||||||||
| Доступ для чтения к каталогу данных | R | R | А | |||||||||||
| Управление созданием, обновлением, удалением каталога данных | R | R | A | R | ||||||||||
| Утверждение изменений каталога данных | R | R | A | |||||||||||
| Регистрация источника данных в Purview | R | A | R | R | R | R | ||||||||
| Управление сканированием ADLS Purview | A | R | R | |||||||||||
| Управление разрешениями Purview | A | R | R | |||||||||||
| Управление политиками Purview (доступ к набору данных) | A | R | ||||||||||||
| Утверждение политик purview (доступ к набору данных) | R | R | A | |||||||||||
| Мониторинг отчетов Purview Insights | R | Р | A | R | ||||||||||
| Управление коллекциями Purview | A | R | R |
Безопасность
| Области ответственности | Владелец данных | Владелец продукта данных | Аналитик данных | Специалист по обработке и анализу данных | Диспетчер управления данными | Управляющий данными | Архитектор решений | Операции платформы | Архитектор безопасности | Инженер по безопасности | Инженер DataOps | Архитектор решений для обработки данных | Архитектор моделирования данных | Инженер данных |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Управление криптографическими службами & для платформы данных | R | A | R | Р | R | |||||||||
| Утверждение запросов доступа к данным для структурированной зоны | R | R | R | R | ||||||||||
| Утверждение запросов доступа к данным для золотой зоны | R | R | A | |||||||||||
| Утверждение запросов доступа к данным для необработанной зоны | R | R | R | R | ||||||||||
| Мониторинг и аудит доступа к платформе данных | R | R | A | R |
Следующий шаг
Согласование групп в площадках управления данными и площадках данных: