Funções e Responsabilidades
Depois de definir sua estratégia de análise em escala de nuvem, você precisa organizar as equipes para entregá-la com sucesso. Este artigo descreve algumas das funções e responsabilidades que você deve considerar para análises em escala de nuvem. Você pode mapear essas funções e responsabilidades para as várias equipes que discutimos nos artigos anteriores.
Importante
Este artigo destaca possíveis funções e responsabilidades, mas não é uma lista completa. Considere a orientação deste artigo e, em seguida, altere-a para o que funciona na sua organização. Se você for uma organização pequena, talvez não recorra a essas funções, mas isso não deve impedi-lo de implantar uma plataforma de análise em escala de nuvem. Se você for uma grande organização, poderá decidir simplificar e consolidar funções.
Funções
Uma implantação de análise em escala de nuvem envolve várias funções. A tabela a seguir descreve cada função, cargo e responsabilidades.
| Funções | Outro Cargo | Competências | Competências | Aplica-se a: |
|---|---|---|---|---|
| Arquiteto de Soluções | Arquiteto de Plataformas, Arquiteto de Soluções | Design e supervisão de tecnologias de nuvem para atender às necessidades de negócios/clientes | Especialistas no assunto de tecnologia de nuvem, desenvolvimento de padrões de arquitetura | Equipas de aplicação de dados, grupo de plataformas |
| Operações de Plataforma | Engenheiro de Cloud, Engenheiro de Infraestrutura, Engenheiro de Sistemas | Assistência no projeto de tecnologia de nuvem, implementação e habilitação de serviços e recursos de nuvem e gerenciamento de recursos de nuvem | Especialistas no assunto de tecnologia de nuvem, programação, DevOps | Operações de zona de aterrissagem de dados, grupo de plataformas |
| Arquiteto de Segurança | Padrões de segurança e design de políticas, padrões de segurança e supervisão de políticas, decisões de ferramentas de segurança, avaliações e auditorias de segurança e padrões e processos de segurança | Especialistas em tecnologia de segurança, regulamentação, conformidade e controles legais, tomada de decisões, proteção contra ameaças e gerenciamento de vulnerabilidades | Grupo da plataforma | |
| Engenheiro de Segurança | Operações de Segurança | Implementação de políticas, padrões e ferramentas de segurança e assistência em avaliações e/ou auditorias de segurança | Experiência no assunto de tecnologia de segurança, regulamentação, conformidade e controles legais, deteção de ameaças, gerenciamento de vulnerabilidades e processos SOC | Grupo da plataforma |
| Engenheiro DataOps | Operações da plataforma de dados | Orquestrando o pipeline analítico, promovendo funcionalidades para a produção e automatizando o controle de qualidade. | Desenvolvimento Ágil, DevOps, Controle Estatístico de Processos | Equipas de aplicação de dados |
| Arquiteto de Modelagem de Dados | Modelador de Dados | Modelagem de dados, mapeamento de dados e padrões de dados | Padrões de dados do setor, recursos de ferramentas de dados, modelos de banco de dados de lago e governança de dados | Equipas de aplicação de dados |
| Arquiteto de Soluções de Dados | Arquiteto de Soluções de Dados | Aplicativo de práticas recomendadas da plataforma de dados, orientação para editores de dados/proprietários de produtos de dados e padrões de dados | Padrões de dados do setor, recursos de ferramentas de dados, modelos de banco de dados de lago e governança de dados | Equipas de aplicação de dados, grupo de plataformas |
| Engenheiro de Dados | Engenheiro de QA de Dados, Engenheiro de ETL | Modelos de bases de dados de lago/data lakes/armazéns de dados/data marts, implementação, movimentação de dados e transformação de dados. | Bancos de dados, programação/scripting, armazenamento simples e APIs de dados | Equipas de aplicação de dados |
| Proprietário dos dados | Proprietário dos dados de origem, Editor Técnico | Aprovações de acesso, qualidade dos dados, definição de termos de negócio, definição de regras de utilização e especificação de dados em arquivo de controlo para integração de fonte de dados. | Especialista no assunto do domínio e relações comerciais | Equipas de aplicação de dados |
| Proprietário do Produto de Dados | Gestor de Cientistas de Dados, Gestor de Analistas de Dados | Visão do produto de dados, uso do produto de dados e definições de métricas | Especialista em assuntos de negócios, relacionamentos comerciais, conceitos de análise, design de experiência do usuário e gerenciamento de produtos | Equipas de aplicação de dados |
| Analista de Dados | Visualização de Dados, Designer, Analista de Dados Empresariais, Desenvolvedor de BI, Engenheiro de BI, Analista de Relatórios | Visualização, gráficos, diagramas, painéis de controle, tabelas, relatórios e Análise Exploratória de Dados | Programação/scripting/SQL, estatísticas, limpeza de dados e visualização de dados | Consumidores, equipas de aplicação de dados |
| Cientista de Dados | Pesquisador de Machine Learning, Engenheiro de Machine Learning, Analista Quantitativo, Programador de IA | Algoritmos, modelos, curadoria de produtos de dados, análise exploratória de dados, medição e melhoria de resultados e comunicação de resultados | Especialista em assuntos de negócios, matemática avançada, aprendizado de máquina, ferramentas de mineração de dados, programação/scripting/SQL, estatísticas e visualização de dados | Equipas de aplicação de dados |
| Gerente de Governança de Dados | Líder de Governança de Dados, Patrocinador de Governança de Dados | Supervisão do programa de governança de dados, padrões, políticas e regras de governança de dados e aprovação de ferramentas para dar suporte aos recursos de governança | Regulamentos de governança e estruturas de controle, relacionamentos comerciais e alinhamento da estratégia de negócios aos objetivos | Grupo de plataformas, governação |
| Administrador de Dados | Administrador de Dados | Significado dos dados, qualidade dos dados, conformidade dos dados, adequação dos ativos de dados, conhecimento dos produtos de dados e seu uso, alcance da equipe de dados, propriedade conceitual da área temática, liderança da área temática com o proprietário técnico dos dados e administração da área do assunto | Experiência no assunto, qualidade de dados, regulamentos de governança e estruturas de controle de governança | Equipes de aplicação de dados, governança |
Competências
Uma implantação de análise em escala de nuvem envolve várias áreas de responsabilidade. As tabelas a seguir fornecem visões gerais para cada uma dessas áreas.
Computação
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações de Plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerir a interface do utilizador para solicitar recursos de computação | Um | R | ||||||||||||
| Especificar quais ferramentas são usadas para trazer computação para a infraestrutura da plataforma de dados como modelo de código (IaC) | Um | R | ||||||||||||
| Configurar e monitorar a computação que acessa a plataforma de dados | A | R | R | R | R | R | ||||||||
| Fornecer suporte ao produtor para computação que acessa a plataforma de dados | Um | R | R | |||||||||||
| Compreenda, monitore e execute regras de negócios & limpeza para curadoria de dados | Um | R | R | R | R |
Ciclo de vida dos dados
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações da plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Responsável pela arquitetura do modelo de dados para zonas na plataforma de dados | R | R | A | R | R | |||||||||
| Impulsione a aprovação de arquitetura para a continuidade geral da plataforma de dados | R | Um | R | |||||||||||
| Dados de origem próprios carregados na plataforma de dados | Um | R | ||||||||||||
| Gerencie os dados de origem carregados na plataforma de dados | Um | R | R | |||||||||||
| Gerir o serviço de ingestão na plataforma de dados | Um | |||||||||||||
| Gerir o serviço de handshake na plataforma de dados | Um | |||||||||||||
| Gerir dados de arquivamento na zona Raw (políticas de retenção e arquivamento) | R | Um | R | |||||||||||
| Preparar os dados para a ingestão, transferência ou transição para outras zonas | Um | |||||||||||||
| Gerenciamento de alterações - alterações em fontes de dados existentes | Um | R | ||||||||||||
| Realizar testes de ponta a ponta e relatar resultados | R | R | Um | R | R | R | ||||||||
| Executa correções de bugs pós-teste | R | R | Um | R | R | R |
Produtos e operações de dados
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações da plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerencie backup e recuperação | Um | R | ||||||||||||
| Gerencie o desempenho e a disponibilidade do banco de dados | Um | R | R | R | ||||||||||
| Gerenciar processos de ITSM para a plataforma de dados (Incidente, Problema, Alteração, Solicitação etc.) | R | R | R | R | R | R | R | R | R | R | R | R | ||
| Supervisionar contratos de nível de serviço para serviços de plataforma de dados | Um | R | ||||||||||||
| Suporte e gerenciamento de assinaturas do Azure | Um | R | ||||||||||||
| Compreender as relações entre organizações, subscrições, licenças, contas de utilizador e inquilinos para definir um modelo de subscrição | Um | R | ||||||||||||
| Rever a fatura mensal do Azure e compreender a utilização e os encargos | R | R | A | |||||||||||
| Gerencie custos e crie relatórios de showback e chargeback | R | Um | ||||||||||||
| Gestão de custos - tornar o modelo de custeio capaz de definir relatórios e encargos. | R | Um | ||||||||||||
| Gerenciamento de custos - Use relatórios de custos para tendências e crescimento de uso | R | Um | ||||||||||||
| Execute a revisão de código para garantir uma integridade robusta | R | R | Um | R | ||||||||||
| Compilar & e entregar a arquitetura de soluções de dados aprovada | R | R | R | R |
Zona de salto
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações da plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerenciar a interface do usuário para provisionamento de zona de descarte | Um | R | ||||||||||||
| Solicite uma zona de descarte | Um | R | R | |||||||||||
| Aprovar o provisionamento da zona de descarte | Um | R | ||||||||||||
| Gerencie a execução do provisionamento da zona de descarte | Um | R |
Geral
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações de Plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerencie as comunicações das partes interessadas após a aprovação da arquitetura | Um | |||||||||||||
| Reutilização de medidores para projetos futuros | R | R | R | R | R | Um | R | R | ||||||
| Formação da equipa empresarial | ||||||||||||||
| Suporte à equipe de infraestrutura | R | R | R | R | R | R | Um | R | R | R | ||||
| Gestão de incidentes - Problemas relacionados com a plataforma de dados | R | Um | ||||||||||||
| Defina, comunique e impulsione a execução da estratégia de dados e da estratégia de governança de dados | Um |
Governação
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações de Plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Possui parceria entre proprietário do produto de dados/proprietário dos dados para garantir as melhores práticas | R | R | Um | R | ||||||||||
| Principal ligação com EA, nuvem e segurança em padrões documentados relacionados à plataforma de dados | R | R | Um | R | ||||||||||
| Associe-se ao proprietário do produto de dados/proprietário dos dados para os esforços de integridade dos dados | R | R | Um | R | ||||||||||
| Cuidar de todos os dados na plataforma de dados | R | R | Um | R | ||||||||||
| Definir padrões de gerenciamento de metadados relacionados à plataforma de dados (políticas e regras sobre criação e manutenção de metadados) | R | R | Um | R | R | |||||||||
| Garantir a qualidade dos dados e os padrões de gestão de dados na plataforma de dados | R | R | R | R | Um | R | R | R | ||||||
| Garantir a segurança e conformidade dos dados na plataforma de dados | R | R | Um | R | R | R | R | |||||||
| Monitorizar e rever a qualidade dos dados na plataforma de dados | R | R | R | R | Um | R | R | R | ||||||
| Meça e reporte a qualidade dos dados na plataforma de dados para a gerência | R | R | Um | R |
Modelos de banco de dados Lake
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações da plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerir o mapeamento dos modelos dos bancos de dados do lago para a ingestão de dados na plataforma de dados | R | Um | R | R | ||||||||||
| Modelos próprios de banco de dados de lago na plataforma de dados | R | R | Um | R | R |
Integração
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações de Plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerir novas solicitações de casos de uso de dados | R | R | Um | |||||||||||
| Identificando os proprietários de dados para casos de uso de dados | Um | R | R | |||||||||||
| Coletar requisitos de caso de uso de dados de proprietários de dados e proprietários de produtos de dados | R | R | Um | |||||||||||
| Aprovar novos casos de uso de dados | R | R | Um | |||||||||||
| Determinar a classificação de casos de uso de dados e o domínio de dados | R | R | Um | |||||||||||
| Definir outros metadados de caso de uso de dados para o Catálogo de Dados (descrição de ativos, contatos, estrutura de pastas, etc.) | R | R | Um | R | R | R | R | |||||||
| Identificar requisitos de acesso a dados para casos de uso de dados | R | R | Um | R | R | R | R | |||||||
| Facilitar a aprovação de financiamento para casos de uso de dados | R | R | Um | R | R | |||||||||
| Facilitar a avaliação de privacidade para integração de dados confidenciais | R | R | Um | R | R | R | ||||||||
| Obter aprovação de padrão de arquitetura para casos de uso de dados | R | R | Um | R | R | |||||||||
| Colabore com engenheiros de dados para casos de uso de dados | R | R | Um | R | ||||||||||
| Garantir que os padrões de modelo de dados existentes sejam atendidos e alinhados | Um | |||||||||||||
| Garantir que as diretrizes de governança e risco sejam seguidas | A | |||||||||||||
| Crie um documento de mapeamento "Source to Target" e gerencie as atualizações. | R | R | Um | R | ||||||||||
| Aprovar documento de mapeamento "Origem para destino" | R | R | Um | R |
Âmbito
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações de Plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Acesso de leitura ao Glossário de Dados | R | R | A | |||||||||||
| Gerenciar glossário de dados Criar, atualizar, excluir | R | R | Um | R | ||||||||||
| Aprovar alterações no Glossário de Dados | R | R | Um | |||||||||||
| Acesso de leitura ao Catálogo de Dados | R | R | A | |||||||||||
| Gerenciar catálogo de dados Criar, atualizar, excluir | R | R | Um | R | ||||||||||
| Aprovar alterações no Catálogo de Dados | R | R | Um | |||||||||||
| Registrar uma fonte de dados no Purview | R | Um | R | R | R | R | ||||||||
| Gerencie a varredura ADLS do Purview | Um | R | R | |||||||||||
| Gerenciar permissões do Purview | Um | R | R | |||||||||||
| Gerenciar políticas do Purview (acesso ao conjunto de dados) | Um | R | ||||||||||||
| Aprovar políticas de escopo (acesso ao conjunto de dados) | R | R | Um | |||||||||||
| Monitore os relatórios do Purview Insight | R | R | Um | R | ||||||||||
| Gerenciar coleções Purview | Um | R | R |
Segurança
| Áreas de Responsabilidade | Proprietário dos dados | Proprietário do Produto de Dados | Analista de Dados | Cientista de Dados | Gerente de Governança de Dados | Administrador de Dados | Arquiteto de Soluções | Operações de Plataforma | Arquiteto de Segurança | Engenheiro de Segurança | Engenheiro DataOps | Arquiteto de Soluções de Dados | Arquiteto de Modelagem de Dados | Engenheiro de Dados |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gerir serviços de criptografia & na plataforma de dados | R | Um | R | R | R | |||||||||
| Aprovar solicitações de acesso a dados para a zona Estruturada | R | R | R | R | ||||||||||
| Aprovar solicitações de acesso a dados para a Zona Ouro | R | R | Um | |||||||||||
| Aprovar solicitações de acesso a dados para a Zona Bruta | R | R | R | R | ||||||||||
| Monitorar e auditar o acesso à plataforma de dados | R | R | Um | R |
Próximo passo
Saiba mais sobre o alinhamento de grupos em zonas de aterragem de gestão de dados e zonas de aterragem de dados: