Editar

Compartilhar via

DR para o Azure Data Platform – Arquitetura

Azure Synapse Analytics
Azure Machine Learning
Azure Cosmos DB
Azure Data Lake
Hubs de eventos do Azure

Definição de caso de uso

Para dar suporte a este exemplo trabalhado, a empresa fictícia "Contoso" será usada com a Plataforma de Dados do Azure baseada em Arquiteturas de Referência da Microsoft.

Serviço de Dados – Exibição do Componente

A Contoso implementou a seguinte arquitetura básica do Azure, que é um subconjunto do design da Zona de Destino Corporativa. Diagrama que mostra um exemplo de zona de destino do Enterprise Azure.

Os números nas descrições a seguir correspondem ao diagrama anterior.

Azure Foundations da Contoso – Workflow

  1. Registro corporativo – o principal registro corporativo pai da Contoso no Azure, refletindo seu contrato comercial com a Microsoft, sua estrutura de conta organizacional e assinaturas disponíveis do Azure. Ele fornece a base de cobrança para assinaturas e como a propriedade digital é administrada.
  2. Gerenciamento de identidade e acesso – os componentes necessários para fornecer serviços de identidade, autenticação, acesso a recursos e autorização em todo o estado do Azure da Contoso.
  3. Grupo de gerenciamento e organização de assinatura – uma hierarquia de grupo escalonável alinhada aos principais recursos da plataforma de dados, permitindo a operacionalização em escala usando segurança e governança gerenciadas centralmente, onde as cargas de trabalho têm uma separação clara. Os grupos de gerenciamento fornecem um nível de escopo de governança acima das assinaturas.
  4. Assinatura de gerenciamento – uma assinatura dedicada para as várias funções de nível de gerenciamento necessárias para dar suporte à plataforma de dados.
  5. Assinatura de conectividade – uma assinatura dedicada para as funções de conectividade da plataforma de dados que permite identificar serviços nomeados, determinar roteamento seguro e comunicação entre serviços internos e externos.
  6. Assinatura da zona de destino – assinaturas de um para muitos para aplicativos nativos do Azure, online, cargas de trabalho e recursos internos e externos
  7. Plataforma DevOps – a plataforma DevOps que dá suporte a todo o estado do Azure. Essa plataforma contém o repositório de controle do código-fonte da base de código e pipelines de CI/CD que permitem implantações automatizadas de infraestrutura como código (IaC).

Observação

Muitos clientes ainda mantêm uma grande área de cobertura de IaaS (infraestrutura como serviço). Para fornecer recursos de recuperação em IaaS, o componente principal a ser adicionado é a Recuperação de site do Azure. O Site Recovery orquestra e automatiza a replicação de máquinas virtuais do Azure entre regiões, máquinas virtuais locais e servidores físicos para o Azure e computadores locais em um datacenter secundário.

Nessa estrutura fundamental, a Contoso implementou os seguintes elementos para dar suporte às suas necessidades de business intelligence empresarial, alinhadas às diretrizes em Análise de ponta a ponta com o Azure Synapse.

Diagrama que mostra a arquitetura de uma plataforma de dados moderna usando os serviços de dados do Azure.Plataforma de dados da Contoso

Plataforma de Dados da Contoso – Workflow

O fluxo de trabalho é lido da esquerda para a direita, seguindo o fluxo de dados:

  • Fontes de dados – as fontes ou tipos de dados dos quais a plataforma de dados pode consumir.
  • Ingestão: a capacidade da Plataforma de ingerir dados de várias fontes de estrutura e velocidade variadas. Esse design reflete uma arquitetura Lambda.
  • Armazenar – a capacidade de armazenar com segurança dados em escala que foram ingeridos na plataforma.
  • Processo – a capacidade da Plataforma de processar dados, tornando-a adequada para a finalidade de processos downstream, como limpeza, padronização e modelagem. O pré-processamento de dados normalmente garante que eles estejam em uma "posição e condição, prontos para uso".
  • Enriquecer – a capacidade de aprimorar os dados processados na plataforma por meio de estatísticas, aprendizado de máquina ou outras técnicas de modelagem ou serviços de IA do Azure predefinidos.
  • Servir - A capacidade da plataforma de moldar e apresentar dados para consumo downstream.
  • Consumidores de dados - Os indivíduos, aplicativos ou processos downstream que consomem dados dos vários pontos de contato de serviço das plataformas.
  • Descobrir e governar - Os recursos da Plataforma para controlar os dados que ela contém e garantir que sejam indexados, detectáveis/pesquisáveis, bem descritos, com linhagem completa e transparentes para seus usuários finais e processos de consumo.
  • Plataforma – a base sobre a qual a plataforma é criada, ou seja, as bases do Azure da Contoso, conforme descrito acima.

Observação

Para muitos clientes, o nível conceitual da arquitetura de referência da Plataforma de Dados usada será alinhado, mas a implementação física pode variar. Por exemplo, processos ELT (extração, carregamento, transformação) podem ser executados por meio do Azure Data Factory e modelagem de dados pelo SQL Server do Azure. Para resolver essa preocupação, a seção Componentes com estado versus sem estado abaixo fornecerá diretrizes.

Para a Plataforma de Dados, a Contoso selecionou as camadas de serviço de produção recomendadas mais baixas para todos os componentes e optou por adotar uma estratégia de DR (recuperação de desastre) "Reimplantar em caso de desastre" com base em uma abordagem de minimização de custo operacional.

As seções a seguir fornecerão uma compreensão da linha de base do processo de DR e alavancas disponíveis aos clientes para elevar essa postura.

Exibição de componente e serviço do Azure

As tabelas a seguir apresentam uma divisão de cada serviço e componente do Azure usados na plataforma de dados da Contoso, com opções de elevação de DR.

Observação

As seções abaixo são organizadas por serviços com estado versus sem estado.

Componentes fundamentais com estado

  • O Microsoft Entra ID, incluindo direitos de função

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Premium P1
    • Opções de aumento de DR: a resiliência do Microsoft Entra faz parte de sua oferta de SaaS (software como serviço).
    • Notas

  • Azure Key Vault

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de aumento de DR: N/A, Coberto como parte do serviço do Azure.

  • Cofre dos Serviços de Recuperação

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: padrão (GRS (armazenamento com redundância geográfica))
    • Opções de aumento de DR: habilitar a restauração entre regiões cria a restauração de dados na região secundária emparelhada.
    • Notas
      • Embora o LRS (armazenamento com redundância local) e o ZRS (armazenamento com redundância de zona) estejam disponíveis, ele requer atividades de configuração da configuração padrão.

  • Azure DevOps

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: DevOps Services
    • Opções de aumento de DR: o serviço DevOps e a resiliência de dados fazem parte de sua oferta de SaaS.
    • Notas
      • O DevOps Server como a oferta local continuará sendo responsabilidade do cliente pela recuperação de desastres.
      • Se serviços de terceiros (SonarCloud, Jfrog Artifactory, servidores de compilação Jenkins, por exemplo) forem usados, eles permanecerão sob a responsabilidade do cliente pela recuperação de um desastre.
      • Se as VMs de IaaS forem usadas na cadeia de ferramentas de DevOps, elas permanecerão como responsabilidade do cliente pela recuperação de um desastre.

Componentes fundamentais sem estado

  • Assinaturas

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de aumento de DR: N/A, Coberto como parte do serviço do Azure.

  • Grupos de Gerenciamento

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de aumento de DR: N/A, Coberto como parte do serviço do Azure.

  • Azure Monitor

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de aumento de DR: N/A, Coberto como parte do serviço do Azure.

  • Gerenciamento de custos

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de aumento de DR: N/A, Coberto como parte do serviço do Azure.

  • Microsoft Defender para Nuvem

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de aumento de DR: N/A, Coberto como parte do serviço do Azure.

  • DNS do Azure

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Zona Única – Público
    • Opções de elevação de DR: N/A, DNS é altamente disponível por design.

  • Observador de Rede

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de aumento de DR: N/A, Coberto como parte do serviço do Azure.

  • Redes virtuais, incluindo sub-redes, UDR (rota definida pelo usuário) e NSG (grupos de segurança de rede)

  • Firewall do Azure

    • Responsabilidade de recuperação de componente: Contoso
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de aumento de DR: o Firewall do Azure é altamente disponível por design e pode ser criado com Zonas de Disponibilidade para aumentar a disponibilidade.

  • Azure DDoS

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Proteção de Rede contra DDoS
    • Opções de aumento de DR: N/A, Coberto como parte do serviço do Azure.

  • Circuito do ExpressRoute

    • Responsabilidade de recuperação de componentes: Contoso, parceiro de conectividade e Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: parceiro de conectividade e Microsoft
    • Seleção de SKU da Contoso: Standard
    • Opções de elevação de DR:
      • O ExpressRoute pode ser elevado para usar o emparelhamento privado, fornecendo um serviço com redundância geográfica.
      • O ExpressRoute também tem designs de alta disponibilidade (HA) disponíveis.
      • A conexão VPN site a site pode ser usada como backup para o ExpressRoute.
    • Notas
      • O ExpressRoute tem redundância embutida, com cada circuito consistindo em duas conexões com dois MSEEs (roteadores de borda do Microsoft Enterprise) em um local do ExpressRoute da borda de rede do provedor de conectividade/cliente.
      • O circuito premium do ExpressRoute permitirá o acesso a todas as regiões do Azure globalmente.

  • Gateway de VPN

    • Responsabilidade de recuperação de componente: Contoso
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Zona Única – VpnGw1
    • Opções de upgrade de DR: um gateway de VPN pode ser implantado em uma zona de disponibilidade com os SKUs VpnGw#AZ para fornecer um serviço com redundância de zona.

  • Azure Load Balancer

    • Responsabilidade de recuperação de componente: Contoso
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de elevação de DR:
    • Notas
      • O Gerenciador de Tráfego do Azure é um balanceador de carga de tráfego baseado em DNS. Esse serviço dá suporte à distribuição de tráfego para aplicativos voltados ao público nas regiões globais do Azure. Essa solução fornecerá proteção contra uma interrupção regional em um design de alta disponibilidade.

Serviços específicos da plataforma de dados com estado

  • Conta de Armazenamento: Azure Data Lake Gen2

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: LRS
    • Opções de aumento de DR: as contas de armazenamento têm uma ampla variedade de opções de redundância de dados, desde redundância de região primária até redundância de região secundária.
    • Notas
      • O GRS é recomendado para aumentar a redundância, fornecendo uma cópia dos dados na região emparelhada.

  • Hubs de eventos do Azure

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de aumento de DR: um namespace do hub de eventos pode ser criado com zonas de disponibilidade habilitadas. Essa resiliência pode ser estendida para cobrir uma interrupção de região completa com a recuperação de desastre geográfico.
    • Notas
      • Por design, a recuperação de desastre geográfico dos Hubs de Eventos não replica dados, portanto, há várias considerações a serem lembradas para failover e fallback.

  • Hubs IoT do Azure

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de elevação de DR:
    • Notas
      • O Hub IoT fornece failover iniciado pela Microsoft e failover manual e failover manual, replicando dados para a região emparelhada para cada hub IoT.
      • O Hub IoT fornece HA intrarregional e usará automaticamente uma zona de disponibilidade se criada em um conjunto predefinido de regiões do Azure.

  • Azure Stream Analytics

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Standard
    • Opções de aumento de DR: embora o Azure Stream Analytics seja uma oferta de PaaS (plataforma como serviço) totalmente gerenciada, ele não fornece failover geográfico automático. A redundância geográfica pode ser obtida implantando trabalhos idênticos do Stream Analytics em várias regiões do Azure.

  • Azure Machine Learning

    • Responsabilidade de recuperação de componentes: Contoso e Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Uso Geral, Instâncias da Série D
    • Opções de elevação de DR:
      • O Azure Machine Learning depende de vários serviços do Azure, e alguns são provisionados na assinatura do cliente. Dessa forma, o cliente permanece responsável pela configuração de alta disponibilidade desses serviços.
      • A resiliência pode ser aprimorada por meio de uma implantação multirregional.
    • Observações:

  • Power BI

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Power BI Pro
    • Opções de aumento de DR: N/A, a resiliência do Power BI faz parte de sua oferta de SaaS.
    • Notas

  • Azure Cosmos DB

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Gravação de Região Única com backup periódico
    • Opções de elevação de DR:
      • Contas de uma única região poderão perder disponibilidade após uma indisponibilidade regional. A resiliência pode ser elevada para uma única região de gravação e pelo menos uma segunda região (leitura) e habilitar o failover gerenciado pelo serviço.
      • É recomendável que as contas do Azure Cosmos DB sejam usadas para cargas de trabalho de produção para habilitar o failover automático. Na ausência dessa configuração, a conta passará por perda de disponibilidade de gravação durante toda a interrupção da região de gravação, pois o failover manual não funcionará devido à falta de conectividade da região.
    • Notas

  • Azure Data Share

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: N/A
    • Opções de aumento de DR: a resiliência do Azure Data Share pode ser aumentada pela implantação de HA em uma região secundária.

  • Microsoft Purview

Serviços específicos da plataforma de dados sem estado

  • Azure Synapse: Pipelines

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Computação Otimizada Gen2
    • Opções de aumento de DR: N/A, a resiliência do Synapse faz parte de sua oferta de SaaS usando o recurso de failover automático.
    • Notas
      • Se os pipelines de dados auto-hospedados forem usados, eles continuarão sendo responsabilidade do cliente pela recuperação de um desastre.

  • Azure Synapse: Pools do Data Explorer

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Computação Otimizada, Pequena (4 cores)
    • Opções de elevação de DR: N/A, a resiliência do Synapse faz parte de sua oferta de SaaS.
    • Notas
      • As Zonas de Disponibilidade são habilitadas por padrão para o Synapse Data Explorer, quando disponível.

  • Azure Synapse: Pools do Spark

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Computação Otimizada, Pequena (4 cores)
    • Opções de elevação de DR: N/A, a resiliência do Synapse faz parte de sua oferta de SaaS.
    • Notas

  • Azure Synapse: Pools de SQL Dedicados e Sem Servidor

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Contoso
    • Seleção de SKU da Contoso: Computação Otimizada Gen2
    • Opções de elevação de DR: N/A, a resiliência do Synapse faz parte de sua oferta de SaaS.
    • Notas
      • O Azure Synapse Analytics tira instantâneos automaticamente ao longo do dia para criar pontos de restauração que ficam disponíveis por sete dias.
      • O Azure Synapse Analytics executa um backup geográfico padrão uma vez por dia para um datacenter emparelhado. O RPO (objetivo de ponto de recuperação) para uma restauração geográfica é de 24 horas.
      • Se os pipelines de dados auto-hospedados forem usados, eles continuarão sendo a recuperação de responsabilidade do cliente de um desastre.

  • Serviços de IA do Azure (anteriormente Serviços Cognitivos)

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Pré-pago
    • Opções de aumento de DR: N/A, as APIs para serviços de IA são hospedadas por data centers gerenciados pela Microsoft.
    • Notas
      • Se os serviços de IA tiverem sido implantados por meio de contêineres do Docker implantados pelo cliente, a recuperação continuará sendo de responsabilidade do cliente.

  • Azure AI Search (anteriormente Cognitive Search)

    • Responsabilidade de recuperação de componentes: Microsoft
    • Responsabilidade de recuperação de carga de trabalho/configuração: Microsoft
    • Seleção de SKU da Contoso: Standard S1
    • Opções de elevação de DR:
    • Notas
      • No AI Search, a continuidade dos negócios (e recuperação de desastre) é alcançada por meio de vários serviços de AI Search.
      • não existe mecanismo integrado para recuperação de desastres. Se o serviço contínuo for necessário durante uma falha catastrófica, a recomendação é ter um segundo serviço em uma região diferente e implementar uma estratégia de replicação geográfica para garantir que os índices sejam totalmente redundantes em todos os serviços.

Componentes com estado versus sem estado

A velocidade de inovação no conjunto de produtos da Microsoft e no Azure, em particular, significa que o conjunto de componentes que usamos para este exemplo trabalhado evoluirá rapidamente. Para maior durabilidade no futuro do fornecimento de diretrizes obsoletas e para estender essa orientação a componentes não explicitamente abordados neste documento, a seção a seguir fornece algumas instruções com base na classificação de alta granularidade do estado.

Um componente/serviço pode ser descrito como com estado se for projetado para lembrar eventos anteriores ou interações do usuário. Sem estado significa que não há registro de interações anteriores e cada solicitação de interação deve ser tratada com base inteiramente nas informações que a acompanham.

Para um cenário de DR que exige a reimplantação:

  • Componentes/serviços que são "sem estado", como Azure Functions e pipelines do Azure Data Factory, podem ser reimplantados do controle do código-fonte com pelo menos um teste de fumaça para validar a disponibilidade antes de serem introduzidos no sistema mais amplo.
  • Componentes/serviços com "estado", como Banco de Dados SQL do Azure e contas de armazenamento, exigem mais atenção.
    • Ao obter o componente, uma decisão chave selecionará o recurso de redundância de dados. Essa decisão normalmente se concentra em uma compensação entre disponibilidade e durabilidade com custos operacionais.
  • Os armazenamentos de dados também precisarão de uma estratégia de backup de dados. A funcionalidade de redundância de dados do armazenamento subjacente reduz esse risco para alguns designs, enquanto outros, como bancos de dados SQL, precisarão de um processo de backup separado.
    • Se necessário, o componente pode ser reimplantado a partir do controle do código-fonte com uma configuração validada por meio de um teste de fumaça.
    • Um armazenamento de dados reimplantado deve ter seu conjunto de dados reidratado. A reidratação pode ser realizada por meio da redundância de dados (quando disponível) ou de um conjunto de dados de backup. Quando a reidratação for concluída, ela deve ser validada quanto à precisão e integridade.
      • Dependendo da natureza do processo de backup, os conjuntos de dados de backup podem exigir validação antes de serem aplicados. A corrupção ou erros do processo de backup podem resultar no uso de um backup anterior no lugar da versão mais recente disponível.
    • Qualquer delta entre a data/carimbo de data/hora do componente e a data atual deve ser resolvido reexecutando ou repetindo os processos de assimilação de dados desse ponto em diante.
    • Depois que o conjunto de dados do componente estiver atualizado, ele poderá ser introduzido no sistema mais amplo.

Outros serviços principais

Esta seção contém diretrizes de alta disponibilidade (HA) e DR para outros componentes e serviços de dados importantes do Azure.

  • Azure Databricks – As diretrizes de DR podem ser encontradas na documentação do produto.
  • As diretrizes do Azure Analysis Services – HA podem ser encontradas na documentação do produto.
  • Banco de Dados do Azure para MySQL
    • As diretrizes de HA do Servidor Flexível podem ser encontradas na documentação do produto.
    • As diretrizes de HA de servidor único podem ser encontradas na documentação do produto.
  • SQL
    • As diretrizes do SQL em VMs do Azure podem ser encontradas na documentação do produto.
    • As diretrizes do SQL do Azure e da Instância Gerenciada de SQL do Azure podem ser encontradas na documentação do produto.

Próximas etapas

Agora que você aprendeu sobre a arquitetura do cenário, pode aprender sobre os detalhes do cenário.