Fluxos de trabalho de pesquisa e indexação do Gerenciador de Dados de Energia do Azure
Todos os dados e metadados associados ingeridos na plataforma são indexados para habilitar a pesquisa. Os metadados são acessíveis para garantir a conscientização mesmo quando os dados não estão disponíveis.
Serviço Indexador
O Indexer Service fornece um mecanismo para indexar documentos que contêm dados estruturados e não estruturados.
Observação
Esse serviço não é um serviço público e só deve ser chamado internamente por outros serviços principais de plataforma.
Fluxo de trabalho de indexação
O diagrama abaixo ilustra o fluxo de trabalho de indexação:
Quando um cliente carrega dados na plataforma, os metadados associados são ingeridos usando o Storage service. O Storage service fornece um conjunto de APIs para gerenciar todo o ciclo de vida dos metadados, como ingestão (persistência), modificação, exclusão, controle de versão, recuperação e gerenciamento de esquema de dados. Cada registro de metadados de armazenamento criado pelo Storage service contém um parâmetro de tipo que se refere a um esquema subjacente. Esse esquema determina os atributos que serão indexados pelo Indexer service.
Quando o Storage service cria um registro de metadados, ele gera um evento recordChangedMessages que é coletado no Barramento de Serviço do Azure (fila de mensagens). O serviço Indexer queue extrai a mensagem do Barramento de Serviço do Azure, executa a validação básica e a envia para o Indexer service. Se houver falhas ao enviar as mensagens para o Indexer service, o serviço Indexer queue tentará enviar a mensagem novamente até uma contagem máxima permitida de repetições configurável. Se as tentativas de repetição falharem, uma confirmação negativa será enviada ao Barramento de Serviço do Azure, que então arquiva a mensagem.
Quando o evento recordChangedMessages é recebido pelo Indexer Service, ele busca os esquemas necessários no cache de esquema ou por meio das APIs Schema service. Em seguida, Indexer Service cria um novo índice no Elasticsearch (se ainda não estiver presente) e envia uma consulta em massa para criar ou atualizar os registros conforme necessário. Se a resposta do Elasticsearch for uma resposta de falha do serviço de tipo indisponível ou solicitação atingiu o tempo limite, o Indexer Service criará recordChangedMessages para essas IDs de registro com falha e colocará a mensagem no Barramento de Serviço do Azure. Essas mensagens serão puxadas novamente pelo serviço Indexer Queue e seguirão o mesmo fluxo de antes.
Para obter mais informações, veja A documentação do serviço indexador OSDU® fornece informações sobre o serviço indexador
Fluxo de trabalho de pesquisa
Search service fornece um mecanismo para descobrir documentos de metadados indexados. A API de Pesquisa dá suporte à pesquisa de texto completo em campos de cadeia de caracteres, consultas de intervalo no campo de data, numérico ou de cadeia de caracteres, etc. juntamente com pesquisas geoespaciais.
Quando os registros de metadados são carregados na Plataforma usando Storage service, podemos configurar permissões para visualizadores e proprietários dos registros de metadados no campo acl. Os visualizadores e proprietários são atribuídos por meio de grupos conforme definido no Entitlement service. Ao executar uma pesquisa como usuário, os registros de metadados correspondentes só serão exibidos para os usuários atribuídos ao Grupo.
Para obter um tutorial detalhado sobre Search service, consulte a documentação do Search service OSDU®
Fluxo de trabalho de reindexação
A API de Reindexação que os usuários reindexem um tipo sem ingerir novamente os registros por meio da API de armazenamento. Para obter informações detalhadas, consulte Documentação do Reindex OSDU®
OSDU® é uma marca registrada do The Open Group.