Mercado de dados
Os marketplaces de dados têm uma relação forte com metadados. Um marketplace de dados oferece aos consumidores de dados uma experiência intuitiva, segura, centralizada e padronizada de compra de dados. Eles aproximam os dados de cientistas e analistas de dados utilizando os metadados subjacentes. Ele também rastreia todos os seus produtos de dados, que geralmente são armazenados em uma variedade de domínios de dados.
Para democratizar dados por meio de sua arquitetura de malha de dados, concentre-se em várias áreas importantes:
Plano de Experiência do Produto de Dados: permite que provedores de dados e consumidores de dados trabalhem juntos em quais dados podem ser disponibilizados. As interfaces devem fornecer amplos recursos de pesquisa que permitem que os usuários pesquisem usando palavras-chave, termos de negócios e linguagem natural. A colaboração na democratização de dados geralmente está vinculada a catálogos de dados ou serviços de gerenciamento de metadados totalmente gerenciados que permitem a pesquisa e a descoberta de metadados. Microsoft Purview é uma abordagem comprovada para um portal de autoatendimento para colaboração. Ele oferece suporte à descoberta de dados , incluindo glossários e classificações . A descoberta de dados permite que os consumidores de dados encontrem dados facilmente. O Microsoft Purview também dá suporte a políticas de acesso do proprietário de dados para que você possa permitir acesso a dados autônomo.
Plano de infraestrutura de dados (utilitário): ajuda na automatização da implantação e do provisionamento de padrões de consumo comuns e reutilizáveis. Os padrões de consumo podem incluir contas de armazenamento, bancos de dados, computação, gerenciamento de identidade e assim por diante. As práticas recomendadas para permitir que seus usuários configurem e iniciem seus próprios serviços de dados podem ser encontradas em Organizar membros da equipe de operações de dados para análise em escala de nuvem no Azure, serviços de implantação e gerenciamentoe serviços de desenvolvimento .
Plano de experiência da malha de dados: ajuda a acompanhar o status de integridade de todas as interfaces, pipelines de dados, contratos de dados, componentes provisionados, ferramentas centrais e assim por diante. O Azure Monitor ajuda a maximizar a disponibilidade e o desempenho de seus aplicativos e serviços e oferece monitoramento e insights. Para a observabilidade de dados, crie um guarda-chuva sobre seu portal de colaboração de autoatendimento e outros serviços de metadados. Considere projetar seu próprio metadata lake usando serviços como o Azure Cosmos DB e os Hubs de Eventos do Azure.
Um marketplace de dados normalmente é uma camada de orquestração fina com uma aparência atraente, que oferece experiências exclusivas do usuário. Os marketplaces de dados utilizam repositórios de metadados subjacentes, que podem ser uma combinação de repositórios e serviços de metadados, como o Microsoft Purview. Você pode estender seu marketplace de dados com recursos analíticos extras, como Serviços Cognitivos e Aprendizado de Máquina. Para obter mais informações sobre como adotar IA/ML na malha de dados, consulte Operacionalizar a malha de dados para IA/ML.
A criação de um marketplace de dados envolve estrutura, cultura e pessoas. Isso exige que você confie nos usuários, treine as pessoas e trabalhe na conscientização. Não subestime essas atividades. Seus usuários são recursos valiosos; eles possuem ou usam partes específicas do cenário de dados. Fazer melhor uso de seus usuários aumenta a eficiência do seu conhecimento e uso de dados.
Em alguns casos, talvez você precise de um marketplace de dados externo. Os marketplaces de dados externos permitem o compartilhamento de seus produtos de dados com parceiros externos. Você pode usar do Azure Data Share como um componente.