Funções e responsabilidades
Depois de definir sua estratégia de análise em escala de nuvem, você precisará organizar equipes para entregá-la com sucesso. Este artigo descreve algumas das funções e responsabilidades que você deve considerar para a análise em escala de nuvem. Você pode mapear essas funções e esses repositórios para as várias equipes que discutimos em artigos anteriores.
Importante
Este artigo destaca as funções e as responsabilidades potenciais, mas não é uma lista completa. Considere as diretrizes deste artigo e altere-as para o que funciona na sua organização. Se você é uma organização pequena, talvez não tenha recursos dessas funções, mas isso não deve impedir você de implantar uma plataforma de análise em escala de nuvem. Se você é uma organização de grande porte, pode optar por simplificar e consolidar as funções.
Funções
Uma implantação de análise em escala de nuvem envolve várias funções. A tabela a seguir descreve cada função, cargo e as responsabilidades.
| Função | Outro cargo | Responsibilities | Habilidades | Aplica-se a: |
|---|---|---|---|---|
| Arquiteto de solução | Arquiteto de plataforma, Arquiteto de soluções | Design e supervisão de tecnologias de nuvem para atender às necessidades de negócios/clientes | Especialistas no assunto de tecnologia de nuvem, desenvolvimento de padrões de arquitetura | Equipes de aplicativos de dados, grupo de plataformas |
| Ops da plataforma | Engenheiro de nuvem, engenheiro de infraestrutura, engenheiro de sistemas | Auxilia no design de tecnologia de nuvem, implementando e habilitando funcionalidades e serviços de nuvem e gerenciando os recursos de nuvem | Especialistas no assunto de tecnologia de nuvem, programação, DevOps | Operações da zona de destino de dados, grupo de plataformas |
| Arquiteto de segurança | Padrões de segurança e design de política, padrões de segurança e supervisão de políticas, decisões de ferramenta de segurança, avaliações e auditorias de segurança e padrões e processos de segurança | Especialistas no assunto de tecnologia de segurança, regulamentação, conformidade e controles legais, tomada de decisão, proteção contra ameaças e gerenciamento de vulnerabilidades | Grupo de plataforma | |
| Engenheiro de segurança da informação | Operações de Segurança | Política de segurança, padrões e implementação de ferramentas e auxiliar nas avaliações de segurança e/ou auditorias | Conhecimento no assunto de tecnologia de segurança, regulamentação, conformidade e controles legais, detecção de ameaças, gerenciamento de vulnerabilidades e processos de SOC | Grupo de plataforma |
| Engenheiro de DataOps | Ops da plataforma de dados | Orquestração do pipeline analítico, promoção de recursos para produção e automação da qualidade | Desenvolvimento Agile, DevOps, controle estatístico de processos | Equipes do aplicativo de dados |
| Arquiteto de modelagem de dados | Modelador de dados | Modelagem de dados, mapeamento de dados e padrões de dados | Padrões de dados do setor, funcionalidades de ferramentas de dados, modelos de banco de dados lake e governança de dados | Equipes do aplicativo de dados |
| Arquiteto da solução de dados | Arquiteto da solução de dados | Aplicativo de melhores práticas da plataforma de dados, editores de dados/diretrizes do proprietário do produto de dados e padrões de dados | Padrões de dados do setor, funcionalidades de ferramentas de dados, modelos de banco de dados lake e governança de dados | Equipes de aplicativos de dados, grupo de plataformas |
| Engenheiro de dados | Engenheiro de QA de dados, Engenheiro de ETL | Modelos de banco de dados lake/data lakes/warehouses/implementação de marts, movimentação de dados e transformação de dados | Bancos de dados, programação/script, armazenamento simples e APIs de dados | Equipes do aplicativo de dados |
| Proprietário de dados | Proprietário de dados de origem, editor técnico | Aprovações de acesso, qualidade dos dados, definição de termos de negócios, definição de regra de uso e especificação de dados no arquivo de controle para integração da fonte de dados | Especialista no assunto de domínio e relações comerciais | Equipes do aplicativo de dados |
| Proprietário do produto de dados | Gerente de cientista de dados, gerente de analista de dados | Visão do produto de dados, uso do produto de dados e definições de métrica | Especialista em assuntos corporativos, relações comerciais, conceitos de análise, design de experiência do usuário e gerenciamento de produtos | Equipes do aplicativo de dados |
| Analista de Dados | Visualização de dados, designer, analista de dados de negócios, desenvolvedor de BI, engenheiro de BI, analista de relatórios | Visualização, gráficos, grafos, dashboards, tabelas, relatórios e análise exploratória de dados | Programação/script/SQL, estatísticas, limpeza de dados e visualização de dados | Consumidores, equipes de aplicativos de dados |
| Cientista de Dados | Pesquisador de machine learning, engenheiro de machine learning, analista quantitativo, programador de IA | Algoritmos, modelos, curadoria de produtos de dados, análise exploratória de dados, medição e aprimoramento de resultados e comunicação de descobertas | Especialista em assuntos corporativos, matemática avançada, machine learning, ferramentas de mineração de dados, programação/script/SQL, estatísticas e visualização de dados | Equipes do aplicativo de dados |
| Gerente de governança de dados | Líder de governança de dados, patrocinador de governança de dados | Supervisão do programa de governança de dados, padrões de governança de dados, políticas e regras e aprovação de ferramentas para dar suporte a funcionalidades de governança | Regulamentos de governança e estruturas de controle, relações comerciais e alinhamento da estratégia de negócios aos objetivos | Grupo de plataformas, governança |
| Administrador de dados | Administrador de dados | Significado dos dados, qualidade dos dados, conformidade dos dados, adequação dos ativos de dados, conhecimento de produtos de dados e uso deles, atendimento à equipe de dados, propriedade da área do assunto conceitual, liderança da área do assunto com o proprietário de dados técnicos e administração da área do assunto de dados | Conhecimento no assunto de domínio, qualidade dos dados, regulamentos de governança e estruturas de controle de governança | Equipes de aplicativos de dados, governança |
Responsibilities
Uma implantação de análise em escala de nuvem envolve várias áreas de responsabilidade. As tabelas a seguir fornecem uma visão geral de cada uma dessas áreas.
Computação
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerenciar a interface do usuário para solicitar a computação | Um | R | ||||||||||||
| Especificar quais ferramentas são usadas para trazer computação para a infraestrutura da plataforma de dados como modelo de código (IaC) | Um | R | ||||||||||||
| Configurar e monitorar a computação que acessa a plataforma de dados | Um | R | R | R | R | R | ||||||||
| Fornecer suporte ao Produtor para a computação que acessa a plataforma de dados | Um | R | R | |||||||||||
| Entender, monitorar e executar regras de negócios e limpeza para curadoria de dados | Um | R | R | R | R |
Ciclo de vida dos dados
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Responsável pela arquitetura do modelo de dados das zonas na plataforma de dados | R | R | Um | R | R | |||||||||
| Gerar a aprovação de arquitetura para a continuidade geral da plataforma de dados | R | Um | R | |||||||||||
| É o proprietário dos dados de origem carregados na plataforma de dados | Um | R | ||||||||||||
| Gerenciar os dados de origem carregados na plataforma de dados | Um | R | R | |||||||||||
| Gerenciar o serviço de ingestão na plataforma de dados | Um | |||||||||||||
| Gerenciar o serviço de handshake na plataforma de dados | Um | |||||||||||||
| Gerenciar os dados de arquivos na zona bruta (políticas de retenção e arquivamento) | R | Um | R | |||||||||||
| Preparar os dados para ingestão para soltá-los ou aterrissá-los em outras zonas | Um | |||||||||||||
| Gerenciamento de alterações – Alterações nas fontes de dados existentes | Um | R | ||||||||||||
| Executar os resultados de testes e relatórios de ponta a ponta | R | R | Um | R | R | R | ||||||||
| Executar as correções de bug pós-teste | R | R | Um | R | R | R |
Produtos de dados e operações
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerenciar o backup e a recuperação | Um | R | ||||||||||||
| Gerenciar o desempenho e a disponibilidade do banco de dados | Um | R | R | R | ||||||||||
| Gerenciar os processos de ITSM da plataforma de dados (incidente, problema, alteração, solicitação etc.) | R | R | R | R | R | R | R | R | R | R | R | R | ||
| Supervisionar os contratos de nível de serviço para os serviços da plataforma de dados | Um | R | ||||||||||||
| Dar suporte às assinaturas do Azure e gerenciá-las | Um | R | ||||||||||||
| Entender as relações entre organizações, assinaturas, licenças, contas de usuário e locatários para definir um modelo de assinatura | Um | R | ||||||||||||
| Analisar a fatura mensal do Azure e entender o uso e os custos | R | R | Um | |||||||||||
| Gerenciar os custos e criar relatórios de showback e de estorno | R | Um | ||||||||||||
| Gerenciamento de custos – Tornar o modelo de custo capaz de definir relatórios e custos. | R | Um | ||||||||||||
| Gerenciamento de custos – Usar os relatórios de custos para crescimento de uso e tendências | R | Um | ||||||||||||
| Executar a revisão de código para garantir uma integridade robusta | R | R | Um | R | ||||||||||
| Construir e entregar arquitetura de soluções de dados aprovada | R | R | R | R |
Zona de despejo
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerenciar a interface do usuário para o provisionamento da zona de consumo | Um | R | ||||||||||||
| Solicitar uma zona de consumo | Um | R | R | |||||||||||
| Aprovar o provisionamento de zona de consumo | Um | R | ||||||||||||
| Gerenciar a execução de provisionamento da zona de consumo | Um | R |
Geral
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerenciar as mensagens de stakeholders depois que a arquitetura é aprovada | Um | |||||||||||||
| Medir a capacidade de reutilização para projetos futuros | R | R | R | R | R | Um | R | R | ||||||
| Treinamento da equipe de negócios | ||||||||||||||
| Suporte à equipe de infraestrutura | R | R | R | R | R | R | Um | R | R | R | ||||
| Gerenciamento de incidentes – Problemas relacionados à plataforma de dados | R | Um | ||||||||||||
| Definir, comunicar e promover a execução da estratégia de dados e da estratégia de governança de dados | Um |
Governança
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Está em uma parceria entre proprietário de dados/proprietário do produto de dados para garantir as melhores práticas | R | R | Um | R | ||||||||||
| Principal contato com o EA, a nuvem e a segurança em padrões documentados relacionados à plataforma de dados | R | R | Um | R | ||||||||||
| Parceria com o proprietário de dados/proprietário do produto de dados para esforços de integridade de dados | R | R | Um | R | ||||||||||
| Cuidar de todos os dados na plataforma de dados | R | R | Um | R | ||||||||||
| Definir os padrões de gerenciamento de metadados relacionados à plataforma de dados (políticas e regras sobre a criação e a manutenção de metadados) | R | R | Um | R | R | |||||||||
| Garantir a qualidade dos dados e os padrões de gerenciamento de dados na plataforma de dados | R | R | R | R | Um | R | R | R | ||||||
| Garantir a segurança e a conformidade dos dados na plataforma de dados | R | R | Um | R | R | R | R | |||||||
| Monitorar e analisar a qualidade dos dados na plataforma de dados | R | R | R | R | Um | R | R | R | ||||||
| Medir e relatar a qualidade dos dados na plataforma de dados para gerenciamento | R | R | Um | R |
Modelos de base de dados Lake
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerenciar o mapeamento de modelos de banco de dados lake para ingerir dados na plataforma de dados | R | Um | R | R | ||||||||||
| É o proprietário dos modelos de banco de dados lake na plataforma de dados | R | R | Um | R | R |
Integração
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| É o proprietário das novas solicitações de processo de caso de uso de dados | R | R | Um | |||||||||||
| Identificar os proprietários de dados para casos de uso de dados | Um | R | R | |||||||||||
| Coletar os requisitos de casos de uso de dados dos proprietários de dados e dos proprietários do produto de dados | R | R | Um | |||||||||||
| Aprovar os novos casos de uso de dados | R | R | Um | |||||||||||
| Determinar a classificação de casos de uso de dados e o domínio de dados | R | R | Um | |||||||||||
| Definir outros metadados de caso de uso de dados para o Catálogo de Dados (descrição do ativo, contatos, estrutura de pastas etc.) | R | R | Um | R | R | R | R | |||||||
| Identificar os requisitos de acesso a dados para os casos de uso de dados | R | R | Um | R | R | R | R | |||||||
| Facilitar a aprovação de financiamento para casos de uso de dados | R | R | Um | R | R | |||||||||
| Facilitar a avaliação de privacidade para integração de dados confidenciais | R | R | Um | R | R | R | ||||||||
| Obter a aprovação de padrão de arquitetura para casos de uso de dados | R | R | Um | R | R | |||||||||
| Colaborar com engenheiros de dados para casos de uso de dados | R | R | Um | R | ||||||||||
| Garantir que os padrões de modelo de dados existentes sejam atendidos e alinhados | Um | |||||||||||||
| Garantir que as diretrizes de governança e de risco sejam seguidas | Um | |||||||||||||
| Criar o documento de mapeamento "Origem para Destino" e ser o proprietário das atualizações | R | R | Um | R | ||||||||||
| Aprovar o documento de mapeamento "Origem para Destino" | R | R | Um | R |
Purview
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Acesso de leitura no Glossário de Dados | R | R | Um | |||||||||||
| Gerenciar a criação, a atualização, a exclusão do Glossário de Dados | R | R | Um | R | ||||||||||
| Aprovar alterações no Glossário de Dados | R | R | Um | |||||||||||
| Acesso de leitura no Catálogo de Dados | R | R | Um | |||||||||||
| Gerenciar a criação, a atualização e a exclusão do Catálogo de Dados | R | R | Um | R | ||||||||||
| Aprovar as alterações do Catálogo de Dados | R | R | Um | |||||||||||
| Registrar uma fonte de dados no Purview | R | Um | R | R | R | R | ||||||||
| Gerenciar a verificação do ADLS do Purview | Um | R | R | |||||||||||
| Gerenciar as permissões do Purview | Um | R | R | |||||||||||
| Gerenciar as políticas do Purview (acesso ao conjunto de dados) | Um | R | ||||||||||||
| Aprovar as políticas do Purview (acesso ao conjunto de dados) | R | R | Um | |||||||||||
| Monitorar os relatórios de insights do Purview | R | R | Um | R | ||||||||||
| Gerenciar as coleções do Purview | Um | R | R |
Segurança
| Áreas de Responsabilidade | Proprietário de dados | Proprietário do produto de dados | Analista de Dados | Cientista de Dados | Gerente de governança de dados | Administrador de dados | Arquiteto de solução | Ops da plataforma | Arquiteto de segurança | Engenheiro de segurança da informação | Engenheiro de DataOps | Arquiteto da solução de dados | Arquiteto de modelagem de dados | Engenheiro de dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerenciar serviços de criptografia e criptografia para a plataforma de dados | R | Um | R | R | R | |||||||||
| Aprovar as solicitações de acesso a dados para a zona estruturada | R | R | R | R | ||||||||||
| Aprovar as solicitações de acesso a dados para a Zona Ouro | R | R | Um | |||||||||||
| Aprovar as solicitações de acesso a dados para a Zona Bruta | R | R | R | R | ||||||||||
| Monitorar e auditar o acesso à plataforma de dados | R | R | Um | R |
Próxima etapa
Saiba mais sobre o alinhamento do grupo dentro das zonas de destino de gerenciamento de dados e das zonas de destino de dados: