Metodologia de sucesso da implementação do Azure Synapse: avaliar o conjunto de habilidades da equipe

Observação

Este artigo faz parte da série de artigos Sucesso por design da implementação do Azure Synapse. Para obter uma visão geral da série, confira Sucesso da implementação do Azure Synapse no design.

O desenvolvimento de soluções requer uma equipe composta por indivíduos com muitas habilidades diferentes. Para o sucesso da solução, é importante que a equipe tenha as habilidades necessárias para concluir com êxito as tarefas atribuídas. Essa avaliação lança um olhar honesto e crítico sobre o nível de habilidade dos recursos do projeto e fornece uma lista de funções que geralmente são necessárias durante a implementação de uma solução do Azure Synapse. A equipe precisa ter experiência e habilidades relevantes para concluir as tarefas do projeto atribuídas dentro do período de tempo esperado.

Definições de nível de aprendizagem da Microsoft

Este artigo usa as definições de nível padrão da Microsoft para descrever os níveis de aprendizagem.

Nível	Descrição
100	Pressupõe pouca ou nenhuma experiência com o tópico e aborda conceitos, funções, recursos e benefícios do tópico.
200	Pressupõe conhecimento de nível 100 e fornece detalhes específicos sobre o tópico.
300	Material avançado. Pressupõe conhecimento nível 200, compreensão detalhada dos recursos em um ambiente real e habilidades sólidas de codificação. Fornece uma visão geral técnica detalhada de um subconjunto de recursos de produto/tecnologia, abrangendo arquitetura, desempenho, migração, implantação e desenvolvimento.
400	Material de especialista. Pressupõe um nível profundo de conhecimento técnico e experiência e uma compreensão detalhada e completa do tópico. Fornece interação entre especialistas e cobertura de tópicos especializados.

Funções, recursos e preparação

O êxito da entrega de uma solução do Azure Synapse envolve muitas funções e conjuntos de habilidades diferentes. Este tópico descreve as funções normalmente necessárias para implementar um projeto bem-sucedido. Nem todas essas funções serão necessárias para todos os projetos nem durante todo o período do projeto. No entanto, essas funções serão necessárias para concluir algumas tarefas críticas do projeto. Você deve avaliar o nível de habilidade dos indivíduos que executam as tarefas para garantir o sucesso da conclusão dos respectivos trabalhos.

Consulte o plano de projeto e verifique se esses recursos e funções foram identificados. Além disso, verifique se o plano de projeto identifica outros recursos e funções. Em muitos casos, você pode descobrir que os indivíduos pertencem a mais de uma função. Por exemplo, o administrador do Azure também pode ser o administrador de rede do Azure. Também é possível que uma função na organização seja dividida entre vários indivíduos. Por exemplo, o administrador do Azure Synapse não se envolve na segurança do SQL do Synapse. Nesse caso, ajuste a avaliação corretamente.

Avalie os pontos a seguir.

• Identifique as funções que serão exigidas pela implementação da solução.
• Identifique os indivíduos específicos no projeto que cumprirão cada função.
• Identifique as tarefas do projeto específicas que cada indivíduo executará.
• Atribua um nível de aprendizagem a cada indivíduo em relação a tarefas e funções.

Normalmente, uma implementação bem-sucedida exige que cada indivíduo tenha pelo menos a proficiência de nível 300 para as tarefas que executará. É altamente recomendável que indivíduos no nível 200 (ou abaixo) recebam diretrizes e instrução para elevar o nível de compreensão antes que iniciem as respectivas tarefas do projeto. Nesse caso, envolva um indivíduo de nível 300 (ou superior) para orientar e supervisioná-los. É recomendável que você ajuste a linha do tempo do plano de projeto e as estimativas de esforço considerando a aprendizagem de novas habilidades.

Observação

Recomendamos que você alinhe suas funções com as funções internas. Há dois conjuntos de funções internas: funções RBAC do Azure Synapse e funções RBAC internas do Azure. Esses dois conjuntos de funções internas e permissões são independentes.

Administrador do Azure

O administrador do Azure gerencia os aspectos administrativos do Azure. Ele é responsável por assinaturas, identificação de região, grupos de recursos, monitoramento e acesso ao portal. Ele também provisiona recursos, como grupos de recursos, contas de armazenamento, ADF (Azure Data Factory), Microsoft Purview e muito mais.

Administrador de segurança

O administrador de segurança precisa ter conhecimento local do cenário e dos requisitos de segurança existentes. Essa função colabora com o administrador do Azure Synapse, o administrador de banco de dados do Synapse, o administrador do Spark do Azure Synapse e outras funções para estabelecer os requisitos de segurança. O administrador de segurança pode também ser um administrador do Microsoft Entra.

Administrador de rede

O administrador de rede precisa ter conhecimento local do cenário e dos requisitos de rede existentes. Essa função requer habilidades de rede do Azure e habilidades de rede do Azure Synapse.

Administrador do Azure Synapse

O administrador do Azure Synapse é responsável pela administração do ambiente geral do Azure Synapse. Essa função é responsável por: disponibilidade e o dimensionamento de recursos do workspace, administração do data lake, runtimes de análise e administração e monitoramento do workspace. Essa função funciona em estreita colaboração com todas as outras funções para garantir o acesso ao Azure Synapse, a disponibilidade dos serviços de análise e uma escala suficiente. Outras responsabilidades incluem:

• Provisionar workspaces do Azure Synapse.
• Estabelecer os requisitos de rede e de segurança do Azure Synapse.
• Monitorar a atividade do workspace do Azure Synapse.

Administrador de banco de dados do Azure Synapse

O administrador de banco de dados do Azure Synapse é responsável por: design, implementação, manutenção e aspectos operacionais dos pools de SQL (sem servidor e dedicados). Essa função é responsável por: disponibilidade geral, desempenho consistente e otimizações dos pools de SQL. Essa função também é responsável por gerenciar a segurança dos dados nos bancos de dados, conceder privilégios sobre os dados, além de permitir ou negar acesso aos usuários. Outras responsabilidades incluem:

• Executar várias funções de administração de pool de SQL dedicado, como provisionamento, escala, pausas, retomadas, restaurações, gerenciamento de carga de trabalho, monitoramento e outras.
• Executar várias funções de administração de pool de SQL dedicado, como proteção, monitoramento e outras.
• Configurar a segurança do banco de dados do pool de SQL.
• Ajuste de desempenho e solução de problemas.

Administrador do Spark do Azure Synapse

O administrador do Spark do Azure Synapse é responsável por: design, implementação, manutenção e aspectos operacionais dos pools do Spark. Essa função é responsável por: disponibilidade geral, desempenho consistente e otimizações dos pools do Spark. Essa função também é responsável por gerenciar a segurança dos dados, conceder privilégios sobre os dados, além de permitir ou negar acesso aos usuários. Outras responsabilidades incluem:

• Executar várias funções de administração do Pool do Spark dedicado, como provisionamento, monitoramento e outras.
• Configurar a segurança de dados do Pool do Spark.
• Solução de problemas e desempenho do notebook.
• Solução de problemas e desempenho de execução do Pipeline Spark.

Desenvolvedor de banco de dados do pool de SQL do Synapse

O desenvolvedor do banco de dados do pool do Azure Synapse é responsável pelo design e o desenvolvimento do banco de dados. Para pools de SQL dedicados, as responsabilidades incluem estrutura e indexação de tabelas, desenvolvimento de objetos de banco de dados e design de esquema. Para pools de SQL sem servidor, as responsabilidades incluem tabelas externas, exibições e design de esquema. Outras responsabilidades incluem:

• Design de banco de dados lógico e físico.
• Design de tabela, incluindo distribuição, indexação e particionamento.
• Programação de design e desenvolvimento de objetos, incluindo procedimentos armazenados e funções.
• Design e desenvolvimento de outras otimizações de desempenho, incluindo exibições materializadas, gerenciamento de carga de trabalho e muito mais.
• Design e implementação de proteção de dados, incluindo criptografia de dados.
• Design e implementação do controle de acesso, incluindo segurança no nível do objeto, segurança em nível de linha, segurança em nível de coluna, máscara dinâmica de dados e controle de acesso baseado em função do Azure Synapse.
• Monitoramento, auditoria, ajuste de desempenho e solução de problemas.

Desenvolvedor do Spark

O desenvolvedor do Spark é responsável por criar notebooks e executar o processamento do Spark usando pools do Spark.

Administrador de integração de dados

O administrador de integração de dados é responsável por configurar e proteger a integração de dados usando pipelines do Azure Synapse, o ADF ou ferramentas de integração de terceiros e por executar todas as funções de configuração e segurança para dar suporte às ferramentas de integração de dados.

Para os pipelines do Azure Synapse e o ADF, outras responsabilidades incluem a configuração do IR (integration runtime), do SHIR (runtime de integração auto-hospedada) e/ou do SSIS-IR (SSIS Integration Runtime). Conhecimento sobre o provisionamento de máquinas virtuais (no ambiente local ou no Azure) pode ser necessário.

Desenvolvedor de integração de dados

O desenvolvedor de integração de dados é responsável pelo desenvolvimento de ETL/ELT e outros processos de integração de dados usando as ferramentas de integração de dados selecionadas da solução.

Administrador de ferramentas de consumo de dados

O administrador das ferramentas de consumo de dados é responsável pelas ferramentas de consumo de dados. As ferramentas podem incluir o Microsoft Power BI, o Microsoft Excel, o Tableau e outros. O administrador de cada ferramenta precisará configurar permissões para permitir acesso aos dados no Azure Synapse.

Engenheiro de dados

A função Engenheiro de dados é responsável por implementar artefatos relacionados a dados, incluindo pipelines de ingestão de dados, atividades de limpeza e transformação e armazenamentos de dados para cargas de trabalho analíticas. Isso envolve o uso de uma ampla variedade de tecnologias de plataforma de dados, incluindo bancos de dados relacionais e não relacionais, repositórios de arquivos e fluxos de dados.

Os engenheiros de dados também são responsáveis por garantir que a privacidade dos dados seja mantida dentro da nuvem, abrangendo armazenamentos de dados locais e na nuvem. Eles também deverão gerenciar e monitorar armazenamentos de dados e pipelines de dados para garantir que as cargas de dados sejam executadas conforme o esperado.

Cientista de dados

O cientista de dados extrai valor e insights dos dados. Os cientistas de dados encontram maneiras inovadoras de trabalhar com os dados e de ajudar as equipes a acelerar o ROI (retorno sobre o investimento) dos esforços de análise. Eles trabalham com a coleta de dados e algoritmos avançados de pesquisa, correspondência e recomendação. Os cientistas de dados precisam de acesso aos dados da mais alta qualidade e a quantidades significativas de recursos de computação para extrair insights profundos.

Analista de dados

O analista de dados permite que as empresas maximizem o valor dos ativos de dados. Ele transforma dados brutos em insights relevantes com base nos requisitos empresariais identificados. Os analistas de dados são responsáveis por projetar e criar modelos de dados escalonáveis, limpar e transformar dados e apresentar análise avançada em relatórios e visualizações.

Engenheiro do Azure DevOps

O engenheiro do Azure DevOps é responsável por projetar e implementar estratégias de colaboração, código, infraestrutura, controle do código-fonte, segurança, conformidade, integração contínua, teste, entrega e monitoramento de um projeto do Azure Synapse.

Recursos de aprendizagem e certificações

Se você quiser saber mais sobre as Certificações da Microsoft que podem ajudar a avaliar a preparação da equipe, confira as certificações disponíveis para o Azure Synapse Analytics.

Para concluir o treinamento online individual, confira os roteiros de aprendizagem e os módulos disponíveis para o Azure Synapse Analytics.

Próximas etapas

No próximo artigo da série Sucesso do Azure Synapse no design, saiba como executar uma análise de preparação operacional para avaliar a solução para essa preparação e fornecer serviços ideais aos usuários.