Azure Data Manager pro pracovní postupy indexování a vyhledávání energie
Všechna data a přidružená metadata ingestovaná do platformy se indexují, aby bylo možné vyhledávání povolit. Metadata jsou přístupná, aby byla zajištěna informovanost, i když data nejsou k dispozici.
Služba indexeru
Poskytuje Indexer Service mechanismus indexování dokumentů, které obsahují strukturovaná a nestrukturovaná data.
Poznámka:
Tato služba není veřejná a předpokládá se, že ji budou interně volat jen jiné služby základní platformy.
Pracovní postup indexování
Následující diagram znázorňuje pracovní postup indexování:
Když zákazník načte data do platformy, související metadata se ingestují pomocí nástroje Storage service. Poskytuje Storage service sadu rozhraní API pro správu celého životního cyklu metadat, jako je příjem dat (trvalost), úprava, odstranění, správa verzí, načítání a správa schémat dat. Každý záznam metadat úložiště vytvořený objektem Storage service obsahuje druh parametru, který odkazuje na základní schéma. Toto schéma určuje atributy, které budou indexovány objektem Indexer service.
Když vytvoří Storage service záznam metadat, vyvolá událost RecordChangedMessages , která se shromažďuje ve službě Azure Service Bus (fronta zpráv). Služba Indexer queue načítá zprávu ze služby Azure Service Bus, provede základní ověření a odešle ji do služby Indexer service. Pokud při odesílání zpráv do služby Indexer servicedojde k nějakým chybám, Indexer queue služba odešle zprávu až do maximálního povoleného počtu opakovaných pokusů. Pokud pokusy o opakování selžou, odešle se do služby Azure Service Bus negativní potvrzení, které pak zprávu archivuje.
Při přijetí Indexer Serviceudálosti recordChangedMessages , načte požadovaná schémata z mezipaměti schématu nebo prostřednictvím Schema service rozhraní API. Potom Indexer Service vytvoří nový index v elasticsearch (pokud ještě není k dispozici) a pak odešle hromadný dotaz, který podle potřeby vytvoří nebo aktualizuje záznamy. Pokud odpověď z Elasticsearch je neúspěšná odpověď typu služba není k dispozici nebo vypršel časový limit požadavku, Indexer Service vytvoří záznamyChangedMessages pro tyto ID neúspěšných záznamů a vloží zprávu do služby Azure Service Bus. Tyto zprávy služba znovu natáhne Indexer Queue a bude následovat stejný tok jako předtím.
Další informace najdete v dokumentaci k OSDU® služby Indexer, která obsahuje informace o službě indexeru.
Pracovní postup hledání
Search service poskytuje mechanismus pro zjišťování indexovaných dokumentů metadat. Rozhraní API pro vyhledávání podporuje fulltextové vyhledávání v polích řetězců, dotazech na rozsah dat, číselné nebo řetězcové pole atd. spolu s geograficky prostorovými vyhledáváními.
Když se do platformy načtou záznamy metadat, Storage servicemůžeme nakonfigurovat oprávnění pro diváky a vlastníky záznamů metadat v poli acl . Čtenáři a vlastníci se přiřazují prostřednictvím skupin definovaných v nástroji Entitlement service. Při hledání jako uživatel se odpovídající záznamy metadat zobrazí jenom pro uživatele, kteří jsou přiřazeni ke skupině.
Podrobný kurz Search servicenajdete v Search dokumentaci k OSDU®.
Přeindexovat pracovní postup
Rozhraní API pro přeindexování umožňuje uživatelům přeindexovat druh, aniž by museli znovu ingestovat záznamy prostřednictvím rozhraní API úložiště. Podrobné informace najdete v dokumentaci k reindexování OSDU®.
OSDU® je ochranná známka the Open Group.