你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

Azure Data Manager for Energy 索引和搜索工作流

引入到平台中的所有数据和关联的元数据将编制索引以支持搜索。 元数据可供访问,以确保即使在数据不可用的情况下也能识别。

索引器服务

Indexer Service 提供一种机制用来为包含结构化数据和非结构化数据的文档编制索引。

注意

此服务并非公共服务,仅供其他核心平台服务在内部调用。

索引编制工作流

下图演示了索引编制工作流:

显示索引编制和搜索工作流的示意图。

当客户将数据加载到平台时,会使用 Storage service 引入关联的元数据。 Storage service 提供一组 API 用于管理整个元数据生命周期,例如引入(持久性)、修改、删除、版本控制、检索和数据架构管理。 Storage service 创建的每个存储元数据记录都包含一个 kind 参数,该参数引用基础架构。 此架构确定将由 Indexer service 编制索引的属性。

Storage service 创建元数据记录时,它会引发在 Azure 服务总线(消息队列)中收集的 recordChangedMessages 事件Indexer queue 服务从 Azure 服务总线拉取消息,执行基本验证并将消息发送到 Indexer service。 如果向 Indexer service 发送消息时发生任何失败,则 Indexer queue 服务会重试发送消息,重试次数不超过允许的最大次数(可配置)。 如果重试失败,则会向 Azure 服务总线发送否定确认,然后将消息存档。

Indexer Service 收到 recordChangedMessages 事件时,它会从架构缓存中或者通过 Schema service API 提取所需的架构。 然后 Indexer Service 在 Elasticsearch 中创建一个新索引(如果尚不存在),然后发送批量查询以根据需要创建或更新记录。 如果来自 Elasticsearch 的响应是“服务不可用”或“请求超时”类型的失败响应,则 Indexer Service 将为这些失败的记录 ID 创建 recordChangedMessages,并将消息放入 Azure 服务总线。 这些消息将再次由 Indexer Queue 服务拉取,并遵循与前面相同的流程。

显示索引编制顺序流程的示意图。

有关详细信息,请参阅索引器服务 OSDU® 文档,其中提供了有关索引器服务的信息

搜索工作流

Search service 提供了一种机制用于发现已编制索引的元数据文档。 搜索 API 支持对字符串字段进行全文搜索,对日期、数字或字符串字段等进行范围查询,此外还支持地理空间搜索。

当使用 Storage service 向平台加载元数据记录时,我们可以在 acl 字段下配置元数据记录的观看者和所有者的权限。 按照 Entitlement service 中定义的组分配观看者和所有者。 以用户身份执行搜索时,将仅向分配给组的用户显示匹配的元数据记录。

有关 Search service 的详细教程,请参阅搜索服务 OSDU® 文档

重新编制索引工作流

重新编制索引 API 允许用户为某种类型重新编制索引,而无需通过存储 API 重新引入记录。 有关详细信息,请参阅重新编制索引 OSDU® 文档

OSDU® 是 The Open Group 的商标。

后续步骤