Produtos de dados analíticos em escala de nuvem no Azure
Produtos de Dados são dados disponibilizados como produtos e processados, armazenados e fornecidos por serviços de persistência poliglota, os quais podem ser exigidos por determinados casos de uso. O processo de criação e entrega de um produto de dados pode exigir serviços e tecnologias que não estão incluídos nos serviços principais da zona de receção de dados . Um exemplo disso seria a elaboração de relatórios com requisitos de nicho, como conformidade e relatórios fiscais.
Considerações de design
Uma zona de aterrissagem de dados pode servir vários produtos de dados criados pela ingestão de dados de dentro da mesma zona de aterrissagem de dados ou de várias zonas de aterrissagem de dados. Isso é mostrado no diagrama a seguir.
O exemplo acima mostra:
- Consumo de dados intrazona:
- O produto de dados B consome dados do produto de dados A e outros dados ou produtos de dados existentes no data lake dentro de sua própria zona de pouso.
- Os produtos de dados C e D só consomem dados de dentro de suas respetivas zonas de aterrissagem de dados.
- Consumo de dados entre zonas:
- O produto de dados B também consome dados do produto de dados C e os dados no data lake da zona de aterrissagem 3.
Importante
No caso do consumo de dados entre zonas, uma vez que o produto de dados B é criado ao ler a zona de aterragem de dados 3, este acesso de leitura requer a aprovação das equipas de operações da zona de aterragem de dados e de integração da zona de aterragem de dados 3.
Importante
O produto de dados B consome dados dos produtos de dados A e C. Antes que isso possa acontecer, o produto de dados B deve registrar seu consumo de produtos de dados por meio de acordos de compartilhamento de dados. Este acordo de partilha de dados deve atualizar a linhagem do produto de dados A para o produto de dados B e do produto de dados C para o produto de dados B.
O grupo de recursos para um produto de dados inclui todos os serviços necessários para criá-lo e mantê-lo. Podemos chamar esse grupo de recursos de aplicativo de dados. Exemplos de serviços que podem fazer parte de um aplicativo de dados incluem Azure Functions, Serviço de Aplicativo do Azure, Aplicativos Lógicos, Azure Analysis Services, Serviços Cognitivos do Azure, Azure Machine Learning, Banco de Dados SQL do Azure, Banco de Dados do Azure para MySQL e Azure Cosmos DB.
Os produtos de dados têm dados de READ fontes de dados que tiveram algumas transformações de dados aplicadas. Exemplos podem ser um conjunto de dados recém-selecionado ou um relatório de BI.
Recomendações de design
Crie produtos de dados dentro da sua zona de acolhimento de dados seguindo os princípios de design que permitem escalar com a governança de dados. As seções a seguir fornecem recomendações de design para ajudar a planejar seu ecossistema de aplicativos de dados.
Implantar vários grupos de recursos
Cada aplicativo de dados é um grupo de recursos. Como os aplicativos de dados são serviços de computação, serviços de persistência poliglota ou ambos, eles só podem ser necessários dependendo de certos casos de uso. Como tal, eles são considerados um componente opcional da zona de aterrissagem de dados. Nos casos em que você precisa de aplicativos de dados, crie vários grupos de recursos por aplicativo de dados, como mostra o diagrama a seguir.
Definir limites
A Política do Azure orienta a configuração padrão de serviços dentro de uma zona de aterrissagem de dados. Pense na análise operacional como vários grupos de recursos que sua equipe de produtos de dados pode solicitar de um catálogo de serviços padrão. Usando a Política do Azure, você pode configurar o limite de segurança e o conjunto de recursos necessários.
Importante
Para gerar consistência, configure uma Política do Azure para cada aplicativo de dados.
Consumir dados de várias procedências
Os aplicativos de dados gerenciam, organizam e dão sentido aos dados de vários ativos de dados e apresentam todos os insights obtidos. Um produto de dados é o resultado de dados de um ou vários aplicativos de dados dentro de zonas de aterrissagem de dados. Permita que seus aplicativos de dados acessem dados de várias e várias fontes quando necessário.
Dimensione conforme necessário
Os serviços que compõem aplicativos de dados são implantações incrementais na zona de aterrissagem de dados. Dimensione seus aplicativos de dados conforme necessário.
Habilitar a descoberta de dados
Registre automaticamente seus produtos de dados em um catálogo de dados, como Microsoft Purview para permitir a verificação de dados.
Identificar os seus produtos de dados
Ao começar a planejar uma zona de aterrissagem de dados, identifique quantos produtos de dados (e os aplicativos de dados que os produzem e mantêm) forem necessários para ajudar a impulsionar a arquitetura do aplicativo do produto de dados. A conformidade com a governança da plataforma implementada deve desempenhar o maior papel em suas decisões.
Concentre-se em como seus aplicativos de dados são produtores de dados e consumidores para outros. Por exemplo, suponha que você identificou um conjunto de produtos de dados (A, B, C e D) que são dados produzidos e consumidos. Você precisa dos produtos de dados A e D como fontes para os dados no Aplicativo de Dados B para o produto de dados B. O produto de dados B é criado a partir dos dados que o Aplicativo de Dados B consome dos produtos de dados A e D. O Aplicativo de Dados B atua como um produtor de dados e também produz dados para o produto de dados C.
Controle seu ambiente de aplicativo de dados com infraestrutura como código
A governança e a infraestrutura como código devem controlar o ambiente de aplicativos de dados em todo o ecossistema de produtos de dados, conforme mostrado no diagrama anterior.
Publicar modelos de dados
Suas equipes de produtos de dados devem publicar seus modelos de dados em um repositório de modelagem.
Definir expectativas para usuários de produtos de dados
Atualize seus contratos de compartilhamento de dados com contratos de nível de serviço e certificações para seus produtos de dados para que você possa transmitir expectativas precisas aos usuários em potencial do produto de dados.
Rastrear linhagem
Se o produto de dados B for criado a partir de dados provenientes de produtos de dados A e D, a linhagem deverá ser capturada de A e D para B. Outras linhagens também devem ser capturadas para o produto de dados C, uma vez que ele é criado usando dados do produto de dados B. A linhagem atualizada deve ser capturada em um aplicativo de linhagem de dados antes de cada lançamento do seu produto de dados.
Observação
O uso do Azure Pipelines permite criar portas de aprovação e invocar funções que podem garantir que metadados, linhagem e SLAs sejam registrados no serviço de governança correto.
Definir arquitetura de aplicativo de dados
Você deve criar uma arquitetura detalhada para cada produto de dados que defina totalmente seu relacionamento com outros produtos de dados, suas dependências e seus requisitos de acesso.