Como registrar uma Fonte de Dados Externa (EDS) no Gerenciador de Dados de Energia do Azure?
Este artigo explica como registrar Fontes de Dados Externas (EDS) no Gerenciador de Dados de Energia do Azure. O EDS permite efetuar fetch e ingerir dados (metadados) de fontes de dados externas. Ele também permite que você recupere dados em massa sob demanda.
Pré-requisitos
- Baixe e importe coleção de API e arquivos de ambiente para o cliente de teste de API (como o Postman). Faça as modificações apropriadas no ambiente com base na fonte de dados.
- Consulte a Seção 2.2 em osdu-eds-data-supplier-enablement-guide para obter detalhes sobre o Registro da fonte de dados.
- Revise as seções CSRE (Connected Source Registry Entry) e CSDJ (Connection Source Data Job) em EDS_Documentation-1.0.docx para entender os vários parâmetros usados no registro da fonte de dados.
- Para executar o EDS, o usuário deve ser membro do grupo de direitos
service.eds.user
. Além disso, para acessar o serviço Segredo, o usuário deve ser membro dos seguintes direitos:service.secret.viewer
,service.secret.editor
,service.secret.admin
.
Fluxo de trabalho de fetch e ingestão do EDS
Execute as APIs nas seguintes coleções para registrar sua fonte de dados externa que executa o Fluxo de trabalho de fetch e ingestão do EDS em um agendamento:
001: Pre-req: Validate Schema Registration
002: Pre-req: Validate Reference Data
003: Secret Service
004: Pre-req: Add Source Registry
Após o registro de dados bem-sucedido, os dados serão obtidos regularmente de fontes externas e adicionados ao Gerenciador de Dados de Energia do Azure.
Você pode usar o serviço Pesquisa para pesquisar seus dados ingeridos.
Solução de problemas
Você pode executar as consultas Kusto abaixo em seu Workspace do Log Analytics para identificar quaisquer problemas com o registro da Fonte de Dados.
OEPAirFlowTask
| where DagName == "eds_ingest"
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING
OEPAirFlowTask
| where DagName == "eds_scheduler"
| where LogLevel == "ERROR" // ERROR/DEBUG/INFO/WARNING
Recuperar dados em massa sob demanda
Use a API getRetrievalInstructions em 005: Dataset Service collection
para recuperar dados em massa de fontes de dados externas sob demanda.