Azure Cosmos DB: casos de uso da análise sem ETL
APLICA-SE AO: 
NoSQL MongoDB Gremlin
O Azure Cosmos DB oferece várias opções de análise sem ETL quase em tempo real nos dados operacionais. Você pode habilitar a análise nos dados do Azure Cosmos DB usando as seguintes opções:
- Espelhamento do Azure Cosmos DB no Microsoft Fabric
- Link do Azure Synapse para Azure Cosmos DB
Para saber mais sobre essas opções, confira “Análise e BI nos seus dados do Azure Cosmos DB”.
Importante
O espelhamento do Azure Cosmos DB no Microsoft Fabric já está disponível em versão prévia para a API do NoSql. Esse recurso fornece todos os recursos do Link do Azure Synapse com melhor desempenho analítico, capacidade de unificar seu patrimônio de dados com o Fabric OneLake e abrir o acesso aos seus dados no OneLake com o formato Delta Parquet. Se estiver a considerar o Link do Azure Synapse, recomendamos que tente espelhar para avaliar a adequação geral à sua organização. Para começar a usar o espelhamento, clique aqui.
A análise sem ETL quase em tempo real pode abrir várias possibilidades para seus negócios. Aqui estão três exemplos de cenários:
- Análise de cadeia de fornecedores, previsão e relatórios
- Personalização em tempo real
- Manutenção preditiva, detecção de anomalias em cenários de IoT
Análise de cadeia de fornecedores, previsão e relatórios
Pesquisas mostram que a inserção de análises de Big Data em operações de cadeia de suprimentos leva a melhorias nos tempos de entrega desde o pedido até o ciclo e na eficiência da cadeia de fornecedores.
Os fabricantes estão passando a usar a tecnologias nativas de nuvem para acabar com as restrições dos sistemas de ERP (planejamento de recursos empresariais) e de SCM (gerenciamento da cadeia de fornecedores) herdados. Com cadeias de fornecimento gerando volumes cada vez maiores de dados operacionais a cada minuto (pedido, envio, dados de transação), os fabricantes precisam de um banco de dado operacional. Esse banco de dados operacional deve ser dimensionado para lidar com os volumes de dados, bem como uma plataforma analítica para chegar a um nível de inteligência contextual em tempo real para ficar à frente da curva.
A seguinte arquitetura mostra o poder do uso do Azure Cosmos DB como o banco de dados operacional nativo de nuvem e a análise da cadeia de fornecedores:
Com base na arquitetura anterior, você pode obter os seguintes casos de uso:
- Preparar e treinar o pipeline preditivo: gerar insights sobre os dados operacionais em toda a cadeia de suprimentos usando as traduções de machine learning. Dessa forma, você pode diminuir o inventário, os custos operacionais e reduzir o tempo entre o pedido e a entrega para os clientes.
O espelhamento e o Link do Synapse permitem que você analise os dados operacionais variáveis no Azure Cosmos DB sem nenhum processo de ETL manual. Com essas ofertas, você evita custos adicionais, latência e complexidade operacional. Elas permitem que engenheiros e cientistas de dados criem pipelines preditivos robustos:
Consulte dados operacionais por meio do Azure Cosmos DB usando a integração nativa aos pools do Apache Spark no Microsoft Fabric ou no Azure Synapse Analytics. Você pode consultar os dados em um notebook interativo ou em trabalhos remotos agendados sem uma engenharia de dados complexa.
Crie modelos de ML (Machine Learning) com algoritmos do Spark ML e integração do AML (Azure Machine Learning) no Microsoft Fabric ou no Azure Synapse Analytics.
Faça write-back dos resultados após a inferência de modelo no Azure Cosmos DB para a pontuação operacional quase em tempo real.
Relatórios operacionais: as equipes da cadeia de fornecedores precisam de relatórios flexíveis e personalizados em dados operacionais precisos e em tempo real. Esses relatórios são necessários para a obtenção de uma exibição de instantâneo da eficácia, lucratividade e produtividade da cadeia de fornecedores. Isso permite que analistas de dados e outros stakeholders importantes reavaliem constantemente os negócios e identifiquem as áreas a serem ajustadas para reduzir os custos operacionais.
O espelhamento e o Link do Synapse para Azure Cosmos DB possibilitam a criação de cenários sofisticados de BI (business intelligence)/geração de relatórios:
Consulte dados operacionais por meio do Azure Cosmos DB usando a integração nativa com expressividade total da linguagem T-SQL.
Modele e publique painéis de BI de atualização automática no Azure Cosmos DB por meio do Power BI integrado ao Microsoft Fabric ou ao Azure Synapse Analytics.
A seguir, há algumas diretrizes para a integração de dados do lote e de dados de streaming ao Azure Cosmos DB:
Integração e orquestração de dados em lote: com as cadeias de suprimentos ficando mais complexas, as plataformas de dados da cadeia de suprimentos precisam ser integradas com uma variedade de fontes de dados e formatos. O Microsoft Fabric e o Azure Synapse são fornecidos de maneira integrada com o mesmo mecanismo de integração de dados e experiências do Azure Data Factory. Essa integração permite que engenheiros de dados criem pipelines de dados avançados sem um mecanismo de orquestração separado:
Mova dados de mais de 85 fontes de dados com suporte para o Azure Cosmos DB com Azure Data Factory.
Escreva pipelines de ETL sem código para o Azure Cosmos DB incluindo mapeamentos relacionais a hierárquicos e hierárquicos a hierárquicos com fluxos de dados de mapeamento.
Integração e processamento de dados de streaming: com o crescimento da IoT industrial (ativos de acompanhamento de sensores da “produção para comercialização”, frotas de logística conectadas etc.), há uma explosão de dados em tempo real que são gerados em forma de streaming que precisa ser integrada a dados de movimentação lenta tradicionais para gerar insights. O Azure Stream Analytics é um serviço recomendado para o streaming de ETL e o processamento no Azure com uma ampla variedade de cenários. O Azure Stream Analytics oferece suporte ao Azure Cosmos DB como um de coletor de dados nativo.
Personalização em tempo real
Atualmente, os varejistas precisam criar soluções de comércio eletrônico seguras e escalonáveis que atendam às demandas empresariais e dos clientes. Essas soluções de comércio eletrônico precisam envolver os clientes por meio de ofertas e produtos personalizados, processe transações de maneira rápida e segura e concentre-se na entrega e no atendimento ao cliente. O Azure Cosmos DB, junto com o Link do Synapse mais recente para Azure Cosmos DB, permite que os varejistas gerem recomendações personalizadas para clientes em tempo real. Eles usam configurações de consistência ajustáveis e de baixa latência para insights imediatas, conforme mostrado na seguinte arquitetura:
- Preparar e treinar um pipeline preditivo: você pode gerar insights sobre os dados operacionais nas suas unidades de negócios ou segmentos de clientes usando os modelos de machine learning e o Fabric ou o Synapse Spark. Isso se traduz na entrega personalizada que se destina a segmentos de clientes, experiências de usuário final preditivas e marketing direcionado para atender aos seus requisitos de usuário final. )
Manutenção preditiva da IoT
As inovações na IoT industrial reduziram drasticamente o tempo de inatividade de máquinas e aumentaram a eficiência geral em todos os campos da indústria. Uma dessas inovações é a análise de manutenção preditiva de máquinas na borda da nuvem.
Esta é uma arquitetura que usa as funcionalidades de HTAP nativas de nuvem na manutenção preditiva de IoT:
Preparar e treinar pipeline preditivo: os dados operacionais históricos dos sensores do dispositivo de IoT poderiam ser usados para treinar modelos preditivos, como detectores de anomalias. Esses detectores de anomalias seriam então reimplantados na borda para a realização do monitoramento em tempo real. Esse loop virtuoso permite o retreinamento contínuo dos modelos preditivos.
Relatórios operacionais: Com o crescimento de iniciativas de gêmeos digitais, as empresas estão coletando grandes quantidades de dados operacionais de um grande número de sensores para criar uma cópia digital de cada computador. Esses dados habilitam as necessidades de BI a compreender as tendências em relação aos dados históricos, além dos dados de acesso frequente recentes.