Integre análises em escala de nuvem em sua estratégia de adoção de nuvem
Crie uma estratégia de adoção de nuvem única e centralizada para sua organização usando a metodologia Strategy noCloud Adoption Framework do Azure. Se você ainda não registrou sua estratégia de adoção de nuvem, use a estratégia e o modelo de plano para fazer isso.
Este artigo contém considerações para cenários de análise em escala de nuvem que afetam sua estratégia mais ampla.
Antes de implementar análises em escala de nuvem, tenha um plano para sua estratégia de dados. Você pode começar pequeno com um único caso de uso ou pode ter um conjunto maior de casos de uso que exigem priorização. Ter uma estratégia ajuda você a estabelecer seus processos e desencadear conversas iniciais sobre pilares nos quais você precisa se concentrar.
Priorize os resultados de negócios para sua estratégia de dados
Ter uma estratégia de dados bem-sucedida lhe dá uma vantagem competitiva. Você deve sempre alinhar sua estratégia de dados com os resultados de negócios desejados. A maioria dos resultados de negócios pode ser classificada em uma das seguintes quatro categorias:
Capacite seus funcionários: Forneça à sua força de trabalho conhecimento em tempo real de clientes, dispositivos e máquinas. Esse conhecimento os ajuda a colaborar de forma eficiente para atender às necessidades do cliente ou do negócio com agilidade.
Interaja com os clientes: Ofereça uma experiência rica, personalizada e conectada inspirada na sua marca. Aproveite o poder dos dados e insights para fidelizar o cliente em cada etapa da jornada do cliente.
Otimize as operações: Aumente o fluxo de informações em toda a organização. Sincronize seus processos de negócios e use uma abordagem orientada por dados para tornar cada interação valiosa.
Transforme seus produtos e ciclo de vida de desenvolvimento: Reúna dados de telemetria sobre seus serviços e ofertas. Use os dados de telemetria para priorizar uma versão ou criar um novo recurso e para avaliar a eficácia e a adoção continuamente.
Depois de priorizar os resultados do seu negócio, examine seus projetos atuais e iniciativas estratégicas de longo prazo e classifique-os de acordo. Considere combinar as quatro categorias de resultados de negócios em um formato matricial baseado na complexidade e no impacto. Além disso, considere adicionar pilares arquitetônicos para ajudá-lo a se aprofundar em seu cenário.
Desbloqueie valor estratégico
A construção de uma cultura orientada por dados que impulsione os negócios de forma consistente, voltada para o futuro, ágil e informada tem algumas complexidades inerentes e realidades básicas. Antes de entrar na fase de implantação, concentre esforços na formação de uma estratégia de dados coerente que possa ajudá-lo a alcançar os resultados de negócios desejados.
As análises em escala de nuvem estão alinhadas com motivações focadas na inovação. Os seguintes drivers comuns motivam os clientes a integrar esse cenário em sua estratégia de adoção de nuvem:
- Uma estrutura de análise escalável, que permite criar uma plataforma de dados corporativos
- Autosserviço, que capacita os usuários na exploração de dados, criação de ativos de dados e desenvolvimento de produtos
- Uma cultura orientada por dados com ativos de dados reutilizáveis, comunidades de dados, intercâmbio seguro de terceiros e compartilhamento in-loco
- Partilhar dados com confiança, utilizar políticas, identidade comum, confidencialidade e encriptação
- Melhores experiências e compromissos com os clientes
- Transformação de produtos ou serviços
- Perturbação do mercado com novos produtos ou serviços
O diagrama a seguir contém temas-chave que ajudam você a perceber essas motivações em sua própria estratégia. Analise cuidadosamente esses temas e como eles contribuem para uma estratégia de dados coerente. Além disso, considere como eles podem desbloquear o valor estratégico de seus dados e permitir um crescimento consistente dos negócios.
"Uma estratégia de dados é a base para usar os dados como um ativo e impulsionar os negócios. Não é uma solução temporária para problemas de dados. É um plano orientador de longo prazo que define as pessoas, os processos e a tecnologia a serem implementados para resolver os desafios de dados."
Criar a sua estratégia é um passo. Executar sua estratégia em escala empresarial representa um grande desafio para a cultura, as pessoas, os processos e as escolhas tecnológicas existentes da sua organização. A execução requer compromisso e propriedade clara em todos os níveis da sua organização.
Aumentar a eficiência
A agilidade da nuvem exige que as organizações se adaptem rapidamente e tragam eficiências para todas as áreas de negócios. De acordo com o relatório sobre riscos emergentes da Gartner, apesar de as organizações continuarem a concentrar-se e a investir em iniciativas digitais, dois terços destas organizações demonstram fraquezas empresariais e não cumprem as expectativas, apesar de continuarem a concentrar-se e a investir em iniciativas digitais.
Operacionalizar a gestão de dados
Muitas organizações têm descentralizado lentamente a TI central para permitir agilidade. As organizações querem inovar rapidamente, e ter acesso a dados unificados em toda a empresa de forma autossuficiente as ajuda a atender aos requisitos de negócios desafiadores.
Há muitas razões pelas quais as empresas não aproveitam todo o potencial dos seus dados. Pode ser porque as funções de negócios funcionam em silos, onde cada equipe está usando diferentes ferramentas e padrões para análise de dados. Ou pode ser devido a uma falha em vincular indicadores-chave de desempenho às metas gerais de negócios.
A democratização de dados ajuda você a entregar valor de volta aos negócios e alcançar metas desafiadoras de crescimento de negócios.
- Compreenda e priorize suas necessidades de LOBs.
- Distribua seus dados entre domínios para permitir a propriedade e aproximar os dados dos usuários.
- Implante produtos de dados de autoatendimento para gerar insights e valor comercial.
Para a governança de dados, você deve encontrar um equilíbrio adequado no mundo descentralizado da democratização de dados. Se aplicarmos a governação de forma demasiado rigorosa, podemos sufocar a inovação. No entanto, se você não tiver pelo menos alguns princípios e processos fundamentais em vigor, é provável que acabe com silos de dados. Esses silos podem prejudicar a reputação e as receitas potenciais da sua organização. Uma abordagem holística de governança de dados é fundamental para que você desbloqueie o valor estratégico de seus dados de maneira consistente.
A ausência de uma estratégia de dados bem pensada leva a uma necessidade de apenas "começar" e rapidamente começar a fornecer valor à sua organização. Abordar os problemas atuais do negócio, agindo sobre os temas-chave mencionados anteriormente ou usando-os como princípios estratégicos dentro de uma estrutura. O uso desses temas-chave também pode ajudá-lo a criar uma estratégia de dados holística que seja iterativa com validação, mas ainda forneça resultados oportunos. Os líderes de negócios e tecnologia devem desenvolver as estratégias e a mentalidade necessárias para gerar valor a partir dos dados e escalar rapidamente de forma simplificada e estruturada.
Para obter mais informações, consulte O que é governança de dados?.
Desenvolver uma cultura orientada por dados
Para criar uma estratégia de dados bem-sucedida, você precisa de uma cultura orientada por dados. Desenvolver uma cultura que promova consistentemente a participação aberta e colaborativa. Nesse tipo de cultura, toda a sua força de trabalho pode aprender, se comunicar e melhorar os resultados de negócios da organização. O desenvolvimento de uma cultura orientada por dados também melhora a capacidade de cada funcionário de gerar impacto ou influência apoiada por dados.
O ponto de partida da sua jornada depende da sua organização, do seu setor e da sua localização atual ao longo da curva de maturidade. O diagrama a seguir mostra um exemplo de modelo de maturidade que descreve os níveis de maturidade do uso de IA de uma organização:
Nível 0
Os dados não são explorados de forma programática e consistente. O foco de dados da organização é de uma perspetiva de desenvolvimento de aplicativos.
No Nível 0, a organização geralmente tem projetos de análise não planejados. Cada aplicativo é altamente especializado para dados exclusivos e necessidades das partes interessadas. Cada aplicativo também tem bases de código e equipes de engenharia significativas, com muitas projetadas fora da TI. A ativação e a análise de casos de uso são isoladas.
Nível 1
No Nível 1, as equipes estão sendo formadas e a estratégia está sendo criada, mas a análise permanece departamentalizada. A organização tende a ser boa em captura e análise de dados tradicionais. Ele pode ter algum nível de compromisso com uma abordagem em escala de nuvem. Por exemplo, ele já pode acessar dados da nuvem.
Nível 2
A plataforma de inovação da organização está quase pronta. Os fluxos de trabalho estão em vigor para lidar com a qualidade dos dados. A organização pode responder a algumas perguntas do "porquê".
No Nível 2, a organização está procurando ativamente uma estratégia de dados de ponta a ponta que use armazenamentos de data lake controlados centralmente para controlar a expansão do armazenamento de dados e melhorar a capacidade de descoberta de dados. A organização está pronta para aplicações inteligentes que fazem computação em lakes de dados com governança central. Esses aplicativos inteligentes reduzem os riscos de privacidade, os custos de computação e a necessidade de cópias federadas de dados importantes.
Neste nível, a organização também está pronta para usar serviços de dados compartilhados multilocatário, hospedados centralmente para tarefas comuns de computação de dados. Esses serviços de dados compartilhados permitem insights rápidos de serviços de inteligência orientados pela ciência de dados.
Nível 3
A organização usa uma abordagem holística de dados. Os projetos relacionados com os dados são integrados nos resultados do negócio. A organização usa plataformas de análise para fazer previsões.
No Nível 3, a organização desbloqueia a inovação digital do ponto de vista do patrimônio de dados e do desenvolvimento de aplicativos. Existem serviços de dados fundamentais, incluindo data lakes e serviços de dados partilhados.
Várias equipes em toda a organização entregam com sucesso cargas de trabalho críticas de negócios, principais casos de uso de negócios e resultados mensuráveis. Os novos serviços de dados partilhados são identificados através da telemetria. A TI é um consultor confiável para equipes em toda a empresa, usando uma estratégia de dados de ponta a ponta confiável e conectada para ajudar a melhorar os processos de negócios críticos.
Nível 4
No Nível 4, toda a organização usa estruturas, padrões, empresa e uma cultura orientada por dados. Automação, ciclos de feedback orientados por dados e centros de excelência em torno de análises ou automação podem ser observados em ação.
Desenvolver objetivos alinhados aos negócios
Identificar prioridades alinhadas com a visão do negócio e manter uma ideologia de "pensar grande, começar pequeno e agir rápido" são chaves para o sucesso. Escolher o caso de uso certo nem sempre precisa ser um processo de verificação difícil e de longo curso. Pode ser um problema contínuo em qualquer unidade de negócios onde haja dados suficientes para validar o seu retorno sobre o investimento, maior interesse e adesão fácil. As coisas podem avançar rapidamente, e é nesse momento que grande parte da organização pode estar a enfrentar dificuldades para começar.
Compreender os atributos de dados
Para construir uma estratégia de dados forte, você precisa entender como os dados funcionam. Conhecer as principais características dos dados ajuda a construir uma prática baseada em princípios para lidar com dados.
Os dados viajam rapidamente, mas sua velocidade não pode desafiar as leis da física. Os dados devem estar em conformidade com as leis da terra e da indústria que os criou.
Os dados não mudam por si só, mas são propensos a alterações e perdas acidentais, a menos que você implemente medidas para mitigar esses desafios. Coloque medidas anticorrupção para controles, bancos de dados e armazenamento para que você possa lidar com alterações imprevistas. Além disso, certifique-se de configurar monitorização, auditorias, alertas e processos subsequentes.
Por si só, os dados não produzem informações ou geram qualquer valor. Para obter insights ou extrair valor, você deve colocar a maioria ou todos os seus dados através de quatro etapas discretas:
- Ingestão
- Armazenamento
- Processamento
- Análise de Dados
Cada uma dessas quatro etapas tem seus próprios princípios, processos, ferramentas e tecnologias.
Reter seus ativos de dados e insights relacionados pode afetar decisões socioeconômicas, políticas, de pesquisa e de investimento. É fundamental que sua organização seja capaz de fornecer insights de forma segura e responsável. Todos os dados gerados ou adquiridos devem passar por um exercício de classificação de dados, salvo indicação explícita em contrário. A criptografia é o padrão-ouro para lidar com dados confidenciais em repouso e em trânsito.
Dados, aplicativos e serviços têm suas próprias forças gravitacionais, mas a atração de dados é a maior. Ao contrário da lendária maçã de Sir Isaac Newton, os dados não têm massa física que afete os objetos ao redor. Em vez disso, ele tem latência e taxa de transferência, que atuam como aceleradores para seu processo de análise. A latência, a taxa de transferência e a facilidade de acesso geralmente exigem que você duplique dados, mesmo quando isso não é desejável. Configure suas pessoas, processos, ferramentas e tecnologias adequadamente para que você possa equilibrar esses requisitos com as políticas de dados da sua organização.
As construções arquitetônicas controlam a velocidade com que você pode processar dados. As construções são facilitadas através de inovações em software, hardware e rede. Algumas considerações arquitetônicas são:
- Configurando a distribuição de dados
- Particionamento
- Tecnologias de cache
- Processamento em lote versus fluxo
- Equilibrando o back-end e o processamento do lado do cliente
Defina a sua estratégia de dados
Usar os dados como uma vantagem competitiva para construir melhores produtos e serviços de maior valor não é um conceito novo. No entanto, o volume, a velocidade e a variedade de dados possibilitados pela computação em nuvem não têm precedentes.
O design de uma plataforma moderna de análise de dados na nuvem consiste em segurança, governança, monitoramento, escalonamento sob demanda, operações de dados e autosserviço. Entender a interação entre essas facetas é o que distingue uma ótima estratégia de dados de uma boa. Use ferramentas como o Cloud Adoption Framework para garantir a coesão arquitetônica, a integridade e as práticas recomendadas.
Para ser eficaz, sua estratégia de dados deve conter provisões para governança de dados. O diagrama a seguir mostra os principais estágios de um ciclo de vida de dados, com foco na governança de dados:
As seções a seguir descrevem as considerações que você deve usar ao decidir sobre os princípios de design para as camadas da sua estratégia de dados. Concentre-se em fornecer resultados de negócios e valor a partir de seus dados.
Ingestão de dados
Uma consideração fundamental para a ingestão de dados é sua capacidade de criar um pipeline de dados rapidamente de forma segura e em conformidade, desde os requisitos até a produção. Os elementos importantes incluem tecnologias orientadas por metadados, de autosserviço e de baixo código, que hidratam o seu data lake.
Ao criar pipelines, considere tanto o design quanto a sua capacidade de manipular dados, distribuir dados e dimensionar a capacidade de computação. Você também deve garantir que tenha o suporte de DevOps certo para a integração e entrega contínuas do seu pipeline.
Ferramentas como o Azure Data Factory dão suporte a uma infinidade de fontes de dados locais, fontes de dados SaaS (software como serviço) e outras fontes de dados de outras nuvens públicas.
Armazenamento
Marque e organize seus dados em camadas físicas e lógicas. Os data lakes fazem parte de todas as arquiteturas modernas de análise de dados. Sua organização deve aplicar requisitos apropriados de privacidade, segurança e conformidade de dados que atendam a todos os requisitos de classificação de dados e conformidade do setor sob os quais você opera. A catalogação e o autoatendimento facilitam a democratização dos dados a nível organizacional, o que impulsiona a sua inovação enquanto é orientada por um controle de acesso apropriado.
Escolha o armazenamento certo para sua carga de trabalho. Mesmo que você não obtenha o armazenamento exatamente correto na primeira vez, a nuvem permite que você faça failover rapidamente e reinicie sua jornada. Use seus requisitos de aplicativo para escolher o melhor banco de dados. Certifique-se de considerar sua capacidade de processar dados em lote e streaming ao escolher sua plataforma de análise.
Tratamento de dados
As suas necessidades de processamento de dados variam com cada carga de trabalho. A maioria do processamento de dados em grande escala contém elementos de processamento em tempo real e em lote. A maioria das empresas também tem elementos de requisitos de processamento de séries temporais e uma necessidade de processar texto de forma livre para recursos de pesquisa empresarial.
O processamento de transações on-line (OLTP) fornece os requisitos de processamento organizacional mais populares. Algumas cargas de trabalho precisam de processamento especializado, como computação de alto desempenho (HPC), às vezes chamada de "computação grande". Essas cargas de trabalho resolvem tarefas matemáticas complexas usando muitos computadores baseados em CPU ou GPU.
Para determinadas cargas de trabalho especializadas, os clientes podem proteger ambientes de execução como a computação confidencial do Azure, que ajuda os usuários a proteger os dados enquanto os dados estão em uso em plataformas de nuvem pública. Este estado é necessário para um processamento eficiente. Os dados são protegidos dentro de um ambiente de execução confiável (TEE), também conhecido como enclave. Um TEE protege o código e os dados contra qualquer visualização e modificação externa. Os TEEs permitem treinar modelos de IA sem sacrificar a confidencialidade dos dados, mesmo quando você usa fontes de dados de diferentes organizações.
Processamento analítico
A construção de extrair, transformar, carregar (ETL) está relacionada ao processamento analítico on-line (OLAP) e às necessidades de armazenamento de dados. Um modelo de dados alinhado aos negócios e um modelo semântico que permite às organizações implementar regras de negócios e indicadores-chave de desempenho (KPIs) são frequentemente implementados como parte do processo analítico. Um recurso útil é a deteção automática de desvio de esquema.
Resumo da estratégia de dados
Adotar uma abordagem baseada em princípios para outras considerações, como governança de dados e IA responsável, paga dividendos mais tarde.
Na Microsoft, seguimos quatro princípios fundamentais: equidade, confiabilidade e segurança, privacidade e segurança e inclusão. Os dois princípios fundamentais da transparência e da responsabilização estão subjacentes aos quatro princípios fundamentais.
Colocamos em prática os nossos princípios e uma IA responsável através do desenvolvimento de recursos e de um sistema de governação. Algumas de nossas diretrizes abordam interação humana/IA, IA conversacional, design inclusivo, uma lista de verificação de equidade de IA e uma folha de dados para conjuntos de dados.
Também desenvolvemos um conjunto de ferramentas para ajudar outras pessoas a compreender, proteger e controlar a IA em todas as fases da inovação. Essas ferramentas são resultado de esforços de colaboração multidisciplinar para fortalecer e acelerar a IA responsável. A colaboração abrangeu engenharia e desenvolvimento de software, ciências sociais, pesquisa de usuários, direito e política.
Para melhorar a colaboração, abrimos muitas ferramentas como InterpretML e Fairlearn. Outros podem contribuir e desenvolver essas ferramentas de código aberto. Também democratizamos as ferramentas através do Azure Machine Learning.
O ato de tornar-se uma organização orientada por dados é fundamental para oferecer vantagem competitiva nesta nova normalidade. Queremos ajudar nossos clientes a mudar de uma abordagem somente de aplicativo para uma abordagem baseada em aplicativos e dados. Uma abordagem focada em aplicativos e dados ajuda a criar uma estratégia de dados de ponta a ponta que garante repetibilidade e escalabilidade em casos de uso atuais e futuros que afetam os resultados de negócios.
Promova o comprometimento, a comunicação e o engajamento
Todas as principais funções envolvidas em tornar sua estratégia de dados um sucesso devem entender claramente sua abordagem adotada e objetivos de negócios comuns. Suas principais funções podem incluir uma equipe de liderança (C-level), unidades de negócios, equipes de TI, operações e entrega.
A comunicação é uma das partes mais importantes deste quadro. Sua organização deve conceber um processo para uma comunicação eficaz entre funções. A comunicação ajuda-o a apresentar resultados de forma eficaz no contexto do seu projeto atual. Também estabelece um fórum que ajuda todos os envolvidos a permanecerem alinhados, atualizados e focados no objetivo geral de construir uma estratégia de dados holística para o seu futuro.
O envolvimento é essencial entre os dois grupos seguintes:
- Membros da equipe que projetam e implementam a estratégia de dados
- Membros da equipe que contribuem, consomem e exploram os dados (como unidades de negócios que tomam decisões e criam resultados com base nos dados)
Dito de outra forma, as estratégias de dados e as plataformas de dados associadas que são construídas sem o envolvimento do usuário arriscam desafios em relevância e adoção.
Dois processos estratégicos ajudam você a entregar com sucesso nessa estrutura:
- Formação de um centro de excelência
- Adoção de um método de entrega ágil
Para obter mais informações, consulte Desenvolver um plano para análise em escala de nuvem.
Entregue valor
Quando você entrega produtos de dados de acordo com os critérios de sucesso de forma padronizada e estruturada, essa entrega valida sua estrutura iterativa. Além disso, usar seu aprendizado para inovar continuamente ajuda você a construir confiança nos negócios e ampliar as metas de estratégia de dados. Esse processo proporciona uma adoção mais clara e rápida em toda a sua organização.
O mesmo se aplica à sua plataforma de dados. Quando você tem uma configuração onde várias equipes operam de forma bastante autônoma, você deve dirigir em direção a uma malha. Chegar lá é um processo iterativo. Em muitos casos, requer mudanças significativas na configuração, prontidão e alinhamento de negócios da organização.
Próximos passos
Leia os seguintes artigos para encontrar orientações para sua jornada de adoção de nuvem e tornar seu cenário de adoção de nuvem bem-sucedido: