Azure Data Manager für Energieindizierung und Suchworkflows
Alle auf der Plattform erfassten Daten und zugeordneten Metadaten werden indiziert, um eine Suche zu ermöglichen. Die Metadaten sind auch dann zugänglich, wenn die Daten nicht verfügbar sind, um das entsprechende Bewusstsein sicherzustellen.
Indexer-Dienst
Der Indexer Service bietet einen Mechanismus zur Indizierung von Dokumenten, die strukturierte und unstrukturierte Daten enthalten.
Hinweis
Dieser Dienst ist kein öffentlicher Dienst und nur dafür vorgesehen, intern von anderen zentralen Plattformdiensten aufgerufen zu werden.
Indizierungsworkflow
Das folgende Diagramm veranschaulicht den Indizierungsworkflow:
Wenn ein Kunde Daten auf die Plattform lädt, werden die zugeordneten Metadaten mithilfe des Storage service erfasst. Der Storage service bietet eine Reihe von APIs zur Verwaltung des gesamten Lebenszyklus von Metadaten wie Erfassung (Persistenz), Änderung, Löschung, Versionsverwaltung, Abruf und Datenschemaverwaltung. Jeder vom Storage service erstellte Speichermetadatensatz enthält einen kind-Parameter, der auf ein zugrunde liegendes Schema verweist. Dieses Schema bestimmt die Attribute, die vom Indexer service indiziert werden.
Wenn der Storage service einen Metadatensatz erstellt, löst er ein recordChangedMessages-Ereignis aus, das in Azure Service Bus (Nachrichtenwarteschlange) erfasst wird. Der Indexer queue-Dienst pullt die Nachricht aus Azure Service Bus, führt eine grundlegende Überprüfung durch und sendet sie an den Indexer service. Wenn beim Versand der Nachrichten an den Indexer service ein Fehler auftritt, versucht der Indexer queue-Dienst, die Nachricht bis zu einer konfigurierbaren Höchstzahl von Wiederholungen zu senden. Wenn die Wiederholungsversuche nicht erfolgreich sind, wird eine negative Bestätigung an die Azure Service Bus-Instanz gesendet, die die Nachricht dann archiviert.
Wenn das recordChangedMessages-Ereignis vom Indexer Service empfangen wird, ruft er die erforderlichen Schemas aus dem Schemacache oder über die Schema service-APIs ab. Der Indexer Service erstellt dann einen neuen Index in Elasticsearch (falls nicht bereits vorhanden) und sendet dann eine Massenabfrage, um die Datensätze nach Bedarf zu erstellen oder zu aktualisieren. Wenn es sich bei der Antwort von Elasticsearch um eine Fehlermeldung des Typs Dienst nicht verfügbar oder Timeout für Anforderung handelt, erstellt der Indexer Service entsprechend recordChangedMessages für diese fehlerhaften Datensatz-IDs und stellt die Nachricht in die Azure Service Bus-Instanz. Diese Nachrichten werden wieder vom Indexer Queue-Dienst gepullt und folgen demselben Flow wie zuvor.
Weitere Informationen zum Indexer-Dienst finden Sie in der OSDU®-Dokumentation zum Indexer-Dienst.
Workflow für die Suche
Der Search service bietet einen Mechanismus für die Ermittlung indizierter Metadatendokumente. Die Such-API unterstützt die Volltextsuche in Zeichenfolgen, Bereichsabfragen in Datums-, numerischen oder Zeichenfolgenfeldern usw. sowie geografisch-räumliche Suchvorgänge.
Wenn Metadatendatensätze mithilfe von Storage service in die Plattform geladen werden, können wir Berechtigungen für Viewer und Besitzer der Metadatendatensätze unter dem ACL-Feld konfigurieren. Die Viewer und Besitzer werden über Gruppen zugewiesen, wie in Entitlement service festgelegt. Beim Ausführen einer Suche als Benutzer werden die übereinstimmenden Metadateneinträge nur für Benutzer angezeigt, die der Gruppe zugewiesen sind.
Ein ausführliches Tutorial zu Search service finden Sie in der OSDU®-Dokumentation zum Suchdienst.
Workflow zur Neuindizierung
Die API für die Neuindizierung ermöglicht es Benutzern, eine Art neu zu indizieren, ohne die Datensätze über die Speicher-API erneut zu erfassen. Ausführliche Informationen finden Sie in der OSDU®-Dokumentation zur Neuindizierung.
OSDU® ist eine Marke von The Open Group.