Compreender equipas e funções para análise à escala da nuvem no Azure

Para análises em escala de nuvem, recomendamos mover equipes como ingestão, processamento, análise, consumo e visualização do trabalho em equipes isoladas horizontalmente para equipes verticais ágeis entre domínios em cada camada. As equipes de plataforma, como operações de plataforma de dados e operações de plataforma, são agrupadas em um grupo de plataforma comum.

Grupo da plataforma

O grupo da plataforma é composto por duas equipas:

• Operações da plataforma: Operações da plataforma fazem parte do grupo da plataforma. Eles operam e possuem a plataforma de nuvem. Essa equipe é responsável por instanciar a zona de aterrissagem de gerenciamento de dados e o andaime da zona de aterrissagem de dados, como rede, emparelhamento, serviços principais e monitoramento em análises em escala de nuvem. Eles geralmente ajudam as operações da plataforma de dados a desenvolver interfaces de gestão de serviços de TI para usuários na zona de receção de dados no início da implementação de análises em escala de nuvem. Essas interfaces tendem a ser chamadas de API REST para um serviço que visa integrar produtos de dados, definir a segurança e adicionar serviços a áreas de receção de dados.

• Operações da plataforma de dados: O grupo de operações da plataforma de dados está alojado dentro do grupo da plataforma. As operações da plataforma de dados fornecem serviços, tais como monitorização central, catalogação e políticas reutilizáveis para zonas de receção de dados e produtos. As operações da plataforma de dados gerem a zona de aterragem de gestão de dados, e as outras responsabilidades da equipa são:

Desenvolver infraestruturas

• Desenvolver modelos de infraestrutura como código para zonas de aterrissagem de dados; Os modelos devem ser atualizados e mantidos ao longo do tempo, e podem abranger vários cenários.
• Priorize modelos e adicione novas funcionalidades com base no feedback de outras equipes.
• Trabalhe em uma estrutura ágil com o objetivo comum de produzir modelos de infraestrutura padrão.

Responder a novas solicitações de zona de aterrissagem de dados

A equipe de operações da plataforma de dados deve fornecer as ferramentas e os serviços para dar suporte aos modelos criados. Ferramentas de gerenciamento de serviços de TI como o ServiceNow podem lidar com solicitações de tíquetes aprovadas pela equipe de operações da plataforma de dados para criar novas zonas de aterrissagem de dados. Após sua aprovação, uma nova zona de aterrissagem seria bifurcada do modelo base para criar um novo projeto de DevOps e os pipelines implantariam modelos em um novo ambiente.

A plataforma de dados, feedback de operações e ciclo de melhoria

Duas opções estão disponíveis para aprimorar os modelos:

• As equipes responsáveis pelas instâncias de modelo de infraestrutura podem aprimorar seus modelos e implantações de DevOps. Se as equipes descobrirem problemas nos modelos, as operações da plataforma de dados poderão dar suporte às equipes e mesclar as alterações de volta de sua bifurcação no modelo.
• Outras equipas da zona de aterragem de dados devem ser capazes de criar bilhetes de melhoria e backlog que aperfeiçoariam os modelos com base na priorização dos bilhetes.

Políticas do Azure para análise em escala de nuvem

Os princípios de análise em escala de nuvem enfatizam a agilidade de autoatendimento e as proteções para proteger dados, custos e padrões. As operações da plataforma de dados trabalham com as operações da plataforma para definir a qualidade, e essas equipes colaboram para implementar políticas de dados específicas. As operações da plataforma de dados devem seguir um processo de revisão para atualizar e manter novos recursos que são adicionados aos produtos.

Implantar e operar zonas de aterrissagem de gerenciamento de dados

As operações da plataforma de dados e as operações da plataforma trabalham juntas para implantar e operar zonas de aterrissagem de gerenciamento de dados. Uma zona de aterrissagem de gerenciamento de dados fornece serviços compartilhados para zonas de aterrissagem de dados, tornando-se uma peça central da análise em escala de nuvem.

Operações da zona de aterragem de dados

As operações da zona de aterrissagem de dados operam e mantêm a sua instância da zona de aterrissagem de dados enquanto respondem às solicitações da equipa de aplicações de dados. Eles fornecem muitos dos mesmos serviços que as operações da plataforma de dados, mas estão limitados à sua zona de recepção de dados.

Eles funcionam a partir do repositório bifurcado que é criado quando uma zona de aterrissagem de dados é estabelecida. Para solicitar mudanças na política, eles precisam levantar tíquetes para operações da plataforma de dados para permitir essas exceções.

Suporte à equipe de aplicativos de dados para personalizar produtos de dados

A equipe de operações da zona de aterrissagem de dados dá suporte à equipe de aplicativos de dados usando solicitações pull para enviar novos modelos de produto para seus respetivos repositórios de produtos de dados.

Como proprietário da zona de aterrissagem, o Azure DevOps roteia a aprovação para alterações nas operações da zona de aterrissagem de dados:

• Se aprovadas, as alterações de modelo são movidas para a ramificação principal e implantadas na produção por meio de integração contínua/desenvolvimento contínuo, fazendo com que a plataforma/infraestrutura do produto de dados seja atualizada.
• Se negado, a equipa de operações da zona de aterrissagem de dados trabalha com a equipa da aplicação de dados para corrigir as alterações.

Responder a novas solicitações de produtos de dados

As operações de zona de aterrissagem de dados dão suporte às equipes de aplicativos de dados na criação de novos produtos de dados. Quando uma equipe de aplicativos de dados solicita assistência, uma solução de gerenciamento de serviços de TI, como um aplicativo lógico de automação, orquestra a aprovação ou a implantação de um novo repositório de aplicativos de dados. As operações da zona de aterrissagem de dados são notificadas de novas solicitações e aprovam ou recusam implantações. Depois de aprovado, um novo projeto de DevOps é criado, o modelo principal e os artefatos são bifurcados e um novo aplicativo de dados é implantado.

Aderir ao Azure Well-Architected Framework

As operações da zona de aterrissagem de dados são responsáveis pela zona de aterrissagem de dados e é recomendável que a equipe seja proficiente no Azure Well-Architected Framework, que fornece orientação sobre otimização de custos, confiabilidade e segurança.

Normalidade dos Negócios

As operações da zona de aterrissagem de dados são responsáveis por tarefas de negócios que incluem a coleta de feedback e solicitações de aprimoramento. Essas solicitações são priorizadas e compartilhadas com as operações da plataforma de dados regularmente. A equipa vigia a zona de receção de dados em busca de incidentes e eventos de saúde. Eles envolvem outras equipes operacionais durante incidentes graves para mitigar, restaurar backups, failover e dimensionar serviços.

Equipa de aplicação de dados

A equipe de aplicativos de dados fornece novos produtos de dados para a empresa. Eles se originam de armazenamentos de dados lidos de integrações de dados e os transformam em soluções de negócios. Qualquer coisa que transforme dados para uso é classificada como um produto de dados . Esta equipa é muitas vezes uma mistura de especialistas técnicos e especialistas no assunto que podem ajudar a empresa a obter valor rapidamente. Os produtos de dados podem variar de relatórios simples e novos produtos de dados a configurações personalizadas com aplicativos Web Kubernetes orientados por dados.

Novos produtos de dados

Proprietários de produtos e representantes de empresas criam solicitações para novos produtos de dados quando são necessários. O escritório de dados avalia os requisitos e monta uma nova equipe de aplicação de dados com uma gama de conhecimentos. A equipe identifica os produtos de dados necessários e solicita permissão para acessar o ativo de dados. Se for necessário um novo produto de dados, a equipa de desenvolvimento de dados receberá um ticket para integrá-lo. A equipe identifica os serviços necessários para o novo produto de dados e solicita um novo produto de dados por meio do processo de implantação do aplicativo de dados . A equipe de aplicativo de dados recebe um repositório bifurcado do modelo de aplicativo de dados mestre para implantar o aplicativo de dados.

Certificar produtos de dados

Em uma plataforma de autoatendimento, qualquer pessoa pode criar relatórios, selecionar produtos de dados em uma conta de armazenamento de desenvolvedor do Azure Data Lake e liberar produtos de dados para a empresa usar. As solicitações de revisão de produtos de dados ocorrem quando:

• Os patrocinadores empresariais registram tíquetes para certificar produtos de dados.
• As operações da plataforma de dados nomeiam produtos de dados com base na popularidade.

Uma equipe de aplicativos de dados pode conduzir um processo de certificação, definido por operações de plataforma de dados e segurança digital, que pode incluir:

• Testes criados para validar transformações de dados e lógica de negócios
• Avaliações de segurança, conformidade ou impacto no desempenho

Após a certificação, os artefatos são agrupados e carregados em um repositório de produtos de dados, a documentação é publicada e a equipe de aplicação de dados é notificada.

Suporte ao produto

Os utilizadores podem enviar feedback utilizando uma solução de gestão de serviços de TI ou diretamente no produto como um pedido dirigido ao responsável pelo produto de dados. Esse indivíduo faz a triagem da solicitação e determina se deve encaminhá-la para a equipe de aplicativos de dados para corrigir ou inserir comentários em uma lista de pendências de produtos e revisá-la durante os ciclos de planejamento do produto.

Equipa de aplicações de ciência de dados

Embora a equipe de produtos de ciência de dados crie produtos de dados, ela é distinta porque suas funções levam a produtos de dados. Seu trabalho resulta em modelos publicados que se tornam produtos de dados para outros usarem, e o padrão segue um modelo de operações de Machine Learning associado à zona de aterrissagem de dados.

A equipe de produtos de ciência de dados começa pesquisando e encontrando produtos de dados relevantes para seu caso de uso. As soluções de governança de dados podem revelar mais detalhes, como qualidade de dados, linhagem ou um conjunto de dados ou perfil semelhante. Eles pesquisam se um conjunto de dados de amostra está disponível e se os dados são relevantes para o projeto. Depois que o acesso aos dados é concedido por meio de um catálogo de dados ou um pacote de acesso do Microsoft Entra, a equipe usa os serviços na zona de aterrissagem de dados para explorar e analisar os dados.

Antes de processar todos os dados, a equipe usa computação local ou remota para processar e analisar produtos de dados de amostra. Eles podem otimizar destinos de computação remota com produtos de dados maiores para treinar e desenvolver modelos de aprendizado de máquina com execuções, saídas e modelos rastreados dentro do Azure Machine Learning.

Quando a equipa desenvolve modelos de aprendizagem automática, começa a operacionalizá-los. Para alcançar esse objetivo, eles expandem a equipe para incluir DataOps e engenheiros de aprendizado de máquina que podem ajudar a mover os modelos para um novo produto de dados, conforme descrito em uma função de equipe de aplicativo de dados.

A equipe de ciência de dados continua a trabalhar com os proprietários de produtos de dados associados para capturar feedback, suporte e atualizar modelos em produção usando uma metodologia de operações de aprendizado de máquina .

Analista

Os analistas representam um grande grupo que inclui analistas de negócios, usuários avançados e, geralmente, qualquer pessoa na organização com interesse em otimizar dados para criar novos insights de negócios. A habilitação de autosserviço é um princípio-chave que oferece suporte aos analistas no acesso a análises e dados sem a necessidade de garantir um orçamento e recursos formais de TI.

Dica

As empresas devem ver os insights criados pelos analistas como o próximo conjunto de potenciais produtos de dados a serem certificados para outros usarem dentro do negócio.

Localizar e solicitar dados

Os analistas consultam mercados/catálogos de dados para descobrir produtos de dados relevantes.

• Se o ativo de dados não puder ser encontrado ou não existir, os analistas abrirão um pedido de suporte com a equipa responsável pela aplicação de dados. A equipe do aplicativo de dados ajuda a localizar o conjunto de dados ou adiciona a solicitação à sua lista de pendências para avaliá-la em outro ciclo de desenvolvimento.

• Se o conjunto de dados existir, os analistas poderão identificar a associação ao grupo Microsoft Entra para ativos listados no catálogo e usar o portal do pacote de acesso do Azure para solicitar acesso ao grupo Microsoft Entra.

Crie novos relatórios

Os analistas podem usar ferramentas como o Microsoft Power BI para integrar produtos de dados em relatórios. Esses relatórios podem ser para uso individual ou para publicação de um produto de dados certificado. Antes de publicar o relatório em toda a organização, ele precisaria ser certificado com um processo de certificação de produto de dados para segurança, conformidade e desempenho.

Executar consultas quando necessário

A análise em escala de nuvem tem espaços de trabalho compartilhados onde os analistas podem consultar dados, sujeitos a permissões. É comum que os produtos de dados forneçam computação dedicada para executar consultas conforme necessário. Em ambos os casos, os analistas podem executar consultas em produtos de dados nas zonas de aterrissagem de dados, sujeitas a permissões. Os resultados das consultas podem ser armazenados nos espaços de trabalho do Azure Data Lake para serem usados novamente.

Feedback do utilizador

Como os analistas podem servir como uma fonte inexplorada de informações e melhorias, as empresas são altamente incentivadas a criar grupos de feedback dos usuários para cada zona de aterrissagem de dados.

Além de participar desses grupos de usuários, os analistas devem enviar comentários sobre ativos de dados para a equipe de aplicativos de dados e problemas de catálogo de dados dentro do catálogo de dados ou da solução de gerenciamento de serviços de TI. Eles podem enviar problemas de processo de dados para a equipe de aplicativos de dados ou dentro de uma solução de gerenciamento de serviços de TI.

Observação

Uma solução de gerenciamento de serviços de TI deve servir como um local central para enviar comentários e escalar problemas. Enviar feedback direto para equipes individuais pode parecer uma solução mais rápida, mas essa abordagem não dá à empresa visibilidade dos desafios na plataforma. Uma solução de gerenciamento de serviços de TI com roteamento correto para as equipes de aplicativos de dados pode dar aos negócios uma visão única em toda a empresa.

Matriz de atribuição de responsabilidades

• Responsável: Quem está completando a tarefa?
• Responsável: Quem está tomando decisões e agindo sobre a tarefa?
• Consultado: Quem recebe comunicações sobre decisões e tarefas?
• Informado: Quem está atualizado sobre as decisões e ações durante o projeto?

Funções	Ambiente na nuvem	Zona de aterrissagem de gerenciamento de dados	Zona de aterragem de dados	Integração de dados	Produtos de dados
Proprietário do serviço	Informado	Responsável	Consultou-se bem informado	Consulta informada	Consulta informada
Proprietário do serviço da zona de aterragem de dados	Informado	Informado após consulta	Responsável	Responsável	Responsável
Operações da plataforma na nuvem	Responsável	Consultado	Consultado	Consultado	Consultado
Operações da plataforma de dados	Consultado	Responsável	Responsável	Consultado	Consultado
Operações da zona de aterragem de dados	Informado	Responsável	Responsável	Responsável	Responsável
Equipa de aplicação de dados		Informado	Informado	Informado	Responsável

Próximos passos

O Azure Well-Architected Framework para cargas de trabalho de dados