Partilhar via


Importação de dados

No mundo da gestão contabilística e dos relatórios de sustentabilidade, a transformação e a importação de dados desempenham funções cruciais para assegurar informações de sustentabilidade exatas, fiáveis e abrangentes. No entanto, as organizações enfrentam muitas vezes desafios técnicos e empresariais na gestão eficaz e na proteção de dados de sustentabilidade para efeitos de relatórios.

Alguns dos principais desafios incluem:

  • Granularidade e complexidade dos dados: A gestão de dados de sustentabilidade de várias origens e categorias é essencial para criar uma imagem abrangente e granular do progresso da eficiência ambiental, abrangendo a eficiência do carbono, da água e dos resíduos.

  • Qualidade e consistência dos dados: Dados exatos, fiáveis e consistentes no percurso de sustentabilidade de uma organização são importantes para uma conformidade e relatórios corretos.

  • Escalabilidade e desempenho: tratar e processar grandes conjuntos de dados de forma eficiente, mantendo o melhor desempenho é crucial para as organizações a curto e longo prazo.

  • Disponibilidade de dados: os dados podem ter formatos diferentes ou necessitar de ser capturados manualmente.

Além disso, as empresas enfrentam um aumento da pressão por parte dos intervenientes, investidores e órgãos regulamentares para divulgarem informações completas sobre a sustentabilidade. Para cumprir estas expectativas, necessita de processos eficientes de transformação de dados e de ingestão de dados.

Esta secção concentra-se nos mais recentes melhoramentos e capacidades do processo de Ingestão, que se baseiam nas capacidades existentes do Microsoft Sustainability Manager. As novas capacidades proporcionam uma plataforma simplificada e avançada para gerir a transformação de dados e o processo de ingestão dos mesmos. Fornece uma interface de utilizador simplificada, vários métodos de ingestão de dados, modelos e capacidades de mapeamento.

Experiência de utilizador da importação de dados

Uma interface de utilizador simplificada e guiada é uma capacidade muito necessária para que as organizações desempenhem com êxito a transformação de dados e a ingestão dos respetivos dados ambientais.

A experiência de ingestão de dados do Sustainability Manager mantém o modelo de dados em destaque durante a experiência de ingestão para limitar os erros de utilizador. Os utilizadores podem aproveitar a flexibilidade e vários métodos de ingestão baseados nos respetivos requisitos e considerações de conceção. Além disso, os dados podem ser ingeridos por várias entidades e categorias através de uma importação única utilizando a mesma ingestão. Estes mecanismos de ingestão são padronizados em relação ao carbono, água e resíduos.

Um aspeto importante do processo de ingestão de dados é a desvinculação da transformação de dados, do mapeamento de dados e da importação de dados. Esta desvinculação também ajuda a mitigar os riscos de erros humanos na extração, transformação e carregamento dos dados.

Durante o processo de ligação de dados, os utilizadores da organização podem utilizar a barra lateral das ferramentas de transformação de dados para:

  • Configurar conjuntos de dados a importar.

  • Utilize listas de verificação para validar conjuntos de dados. As listas de verificação asseguram o êxito da importação de dados e abordam questões relacionadas com colunas de dados obrigatórias, erros de correspondência entre tipos de dados, preenchimento de valores de conjuntos de opções e pesquisa de dados de referência.

Métodos de ingestão incorporados e considerações de design

O Sustainability Manager fornece quatro métodos de ingestão, dependendo de:

  • Tipo de dados
  • Origem
  • Necessidades de transformação de dados
  • Nível de experiência do utilizador
  • Frequência de importação

Pode utilizar estes métodos diferentes com as seguintes considerações.

Método e descrição Considerações de design Utilizar quando
Os modelos do Excel são integrados no Microsoft Sustainability Manager e os utilizadores podem transferir, preparar os respetivos dados e importar para entidades específicas. Os modelos do Excel são atualizados periodicamente. Recomendamos que transfira os modelos mais recentes do Excel durante cada importação.

Uma vez que os modelos do Excel seguem a convenção de nomenclatura do modelo de dados, não necessitam de mapeamento de dados para o modelo.

Os modelos do Excel representam o formulário mais simples de importação de dados. São adequados para um conjunto mais pequeno de dados que um ficheiro do Excel pode suportar e para preparação inicial do sistema.

Os modelos do Excel contêm conjuntos predefinidos de entidades para permitir a importação de dados.
Os modelos do Excel são mais utilizados quando a preparação/transformação de dados é realizada fora do Sustainability Manager e os dados estão preparados para uma importação direta.

Exemplo: A Contoso coffee, um fabricante de cafés pode utilizar os modelos do Excel para configurar as respetivas instalações utilizando o modelo de dados de Referência e, em seguida, continuar a configurar a sua atividade de Carbono e os dados de emissões pré-calculados utilizando os modelos de dados de Atividade e Emissões. Em seguida, poderão fazer uma importação de um item dos três tipos de dados com uma única ingestão.
A experiência guiada do Power Query é uma experiência centrada no mapeamento de dados, orientando os utilizadores finais com uma experiência de carrinho de compras para minimizarem os erros de ingestão. O Power Query fornece uma abordagem abrangente à transformação e ingestão de dados, tornando-a eficiente no tratamento de diversas origens de dados.

O Power Query é benéfico para origens de dados que tenham conectores integrados disponíveis no Microsoft Sustainability Manager, simplificando o processo de importação de dados.

A experiência guiada do Power Query proporciona flexibilidade e orientação detalhada em todo o processo de ingestão, permitindo que os utilizadores adicionem e removam entidades conforme necessário.
Utilize o Power Query quando for necessário:

- importar dados para várias entidades a partir de várias origens.
- ter conectores do Power Query integrados disponíveis no Microsoft Sustainability Manager.
- requerer uma importação e atualização frequente de dados
- necessitar de transformação de dados durante o processo de ingestão.
- preferir a experiência guiada com flexibilidade para manipulação da entidade e mapeamento de dados.
- diferentes tipos de origens têm de ser tratados com transformação de dados antes do mapeamento para o modelo de dados.

Exemplo: A Contoso Coffee, um fabricante de café, quer importar os dados de emissões do respetivo ERP da cadeia de fornecimento e dos dados fornecidos pelo fornecedor no Azure Synapse.

A Contoso pode utilizar a experiência guiada do Power Query para transformar e mapear utilizando as orientações detalhadas fornecidas no editor.
Conectores de Parceiros – são um catálogo de conectores para importar dados a partir de soluções de parceiros. O Sustainability Manager inclui conectores para importar dados a partir de soluções de parceiros.

A plataforma oferece um catálogo de conectores personalizados e pré-criados de fornecedores de dados operacionais.

Um aspeto importante da importação de dados utilizando os conectores de parceiros é que o mapeamento e a transformação de dados estão encapsulados no conector. Não têm de ser executados durante o processo de importação.
Utilize quando precisar de importar dados a partir de uma solução de parceiro e o conector correspondente estiver presente no catálogo.

Exemplo: A Contoso Coffee utiliza a solução de cloud de utilitários do Arcadia para capturar dados de eletricidade e de gás natural comprados para as respetivas instalações.

Utilizam o conector do Arcadia para importar dados de eletricidade comprados para o Sustainability Manager. Este conector permite-lhes calcular as respetivas emissões de âmbito 2 para todas as instalações globais.
Importação manual de Dados para o Sustainability Manager Microsoft Sustainability Manager fornece dois métodos para importar dados manualmente.

O primeiro método permite a entrada de registos individuais, úteis para importar Dados de configuração, como Dados de referência.

O segundo método permite a importação em massa de registos de atividade e de registos de dados de referência.

Para o âmbito 3, categoria 8 e categoria 13, tem de selecionar a subcategoria de dados para aceder às opções de carregamento em massa.

Quando atualiza registos de dados de atividade, tem de eliminar dados importados anteriormente e reimportar todos os dados.
Considere utilizar as opções de importação de dados manuais no Sustainability Manager quando precisar de importar registos individuais de atividade, água ou resíduos.

Para além disso, utilize estas opções quando pretende importar dados de referência ou quando tiver um grande volume de dados de atividade para importar em massa.

Se tiver formatos de dados específicos para importação em massa, como Excel, CSV ou XML, a opção de carregamento em massa manual é a escolha ideal.

Por exemplo, um especialista em sustentabilidade que configura dados da organização vai para Definições > Perfil da empresa > Geral para definir manualmente os atributos da organização.

A tabela seguinte resume as considerações de conceção das organizações ao estruturar o respetivo processo de importação de dados. Recomendamos que considere atentamente os prós os contras de cada método de ingestão e as vantagens em termos de estrutura.

Método de ingestão Modelos do Excel Experiência guiada no Power Query Conectores de parceiros Introdução manual
Personas de utilizador típicas Personas Empresariais Personas Empresariais/Técnicas Personas Técnicas Personas Empresariais
Pode ser agendado?
Volume de carregamento de dados Em massa Em massa Em massa Individual, em massa
Permite transformação de dados?
Fornece atualização incremental?
Substituições de dados durante a importação?
Pode importar várias entidades? *
Fornece tratamento de erros de ingestão? ND

Nota

A importação de várias entidades utilizando os conectores de parceiro numa única ingestão está no mapa do produto.

Para mais informações, reveja Descrição geral da importação de dados no Microsoft Sustainability Manager.

Em resumo, as seguintes considerações são importantes ao importar dados para o Microsoft Sustainability Manager

  • Comece com o método mais simples de modelo do Excel para a experiência de ingestão. Com base na complexidade dos dados e na compreensão do modelo de dados, evolua para criar importações de dados contínuas utilizando a experiência guiada do Power Query.

  • Durante a experiência de ingestão guiada do Power Query, tenha em atenção as seguintes sugestões:

    • Utilize as capacidades do Power Query para efetuar as transformações de dados.
    • Utilize as ferramentas e a lista de verificação de transformação de dados para rever as tabelas de dados e os respetivos tipos de dados.
    • Durante o mapeamento dos dados de origem, utilize a funcionalidade de mapeamento automático.
  • Agende os horários de atualização e as regras para permitir a importação contínua de dados exigidos após a criação e validação de uma ligação.

Atualização de dados completa e incremental

A importação periódica de dados a partir de origens de dados é uma necessidade para as organizações calcularem os dados de sustentabilidade mais recentes para efeitos de relatório. As organizações podem obter dados a partir dos sistemas de origem de dois modos.

Atualização de dados completa: Importar uma cópia completa dos dados do sistema de origem para a aplicação Microsoft Sustainability Manager.

Atualização de dados incremental: Obter e importar apenas os registos atualizados ou recém-criados a partir dos sistemas de origem desde a última atualização.

A atualização de dados incremental permite que as organizações lhe deem novos dados quando estão disponíveis para cada atualização de dados. As organizações também podem optar pela atualização completa se for necessário atualizar completamente os dados durante cada consulta. Esta capacidade só está disponível para importação baseada no Power Query.

Para tirar proveito desta capacidade incorporada, crie políticas de atualização durante a criação da ligação às origens de dados. O Microsoft Sustainability Manager fornece esta capacidade para o método de importação baseado no Power Query. Durante o processo de criação de uma ligação, os utilizadores podem definir agenda e frequência para executar as tarefas de importação de dados e selecionar a opção para remover dados importados anteriormente, se for necessário. Esta ação permite agendar uma atualização incremental.

É recomendável a atualização de dados completa para as seguintes situações:

  • Quando o modelo de dados dos sistemas de origem passa por alterações, as alterações têm de ser refletidas na aplicação para transformações ou mapeamentos de dados.

  • Quando os dados de origem foram alterados significativamente e a atualização incremental não é suficiente para capturar as alterações.

  • Quando a lógica de negócio do sistema de origem foi modificada e os dados existentes têm de ser recalculados.

  • Quando a qualidade dos dados ou a integridade dos dados tiver sido comprometido devido a erros, corrupção ou ataques maliciosos.

É recomendável a atualização de dados incremental para as seguintes situações:

  • Quando as organizações necessitam de importação em massa de dados a partir de várias origens de dados

  • Quando as organizações necessitam de atualização atempada dos dados com base em linhas cronológicas específicas

  • Quando os sistemas de origem fornecem dados históricos, cumulativos e as organizações necessitam de importar dados recém-disponíveis (insert ou upsert) após o carregamento de dados inicial

Por exemplo, se o Sustainability Manager está a ingerir dados dos ficheiros do Excel numa biblioteca de documentos do SharePoint, atualizados pelos fornecedores, é necessário uma política de atualização para consumir os dados mais recentes periodicamente.

Apesar de o agendamento ao nível da ligação de dados fornecer uma forma de estruturar a agenda de importação de dados. Não resolve o problema de obter apenas os dados dos clientes a partir de diversos sistemas de origem. Com o processo de atualização incremental, os administradores de dados só podem configurar regras granulares para obter apenas os dados incrementais. O processo pode fornecer filtros extra, regras e carimbos de data/hora a cada nível da consulta numa ligação de dados.

Para saber mais sobre a renovação incremental, vá para Atualização de dados incremental no Microsoft Sustainability Manager

Conectividade de rede para origens de dados

Durante a conceção de estratégias de importação de dados, as organizações enfrentam frequentemente o desafio de se ligar de forma segura e eficiente a origens de dados remotas. Estas origens de dados remotas podem estar na cloud ou no local. Diferentes normas e medidas de segurança que as organizações utilizam para proteger os ativos de dados agravam ainda mais este desafio. Por isso, os componentes de rede requerem ter atentamente em consideração várias opções para assegurar a segurança e fiabilidade dos dados.

Esta secção aborda dois métodos de ligação a origens de dados remotas. Estas origens de dados poderiam existir no Azure Cloud numa rede virtual, ou poderiam existir numa localização no local. Para ligar do Sustainability Manager para os Serviços de Dados do Azure numa rede virtual, as organizações podem utilizar o gateway de dados da rede virtual. Para ligar a origens de dados no local, pode utilizar o gateway de dados no local.

A tabela seguinte cria alguns dos tópicos de rede importantes e considerações de conceção durante a importação de dados a partir de uma origem remota localizada numa infraestrutura no local:

Tópico Consideração de design
Gateway de dados de rede virtual Utilize um gateway de dados de rede virtual para ligar a origens de dados localizadas no Azure e protegidas por uma rede virtual. Esta abordagem pode ser útil quando a origem de dados não está publicamente acessível.

Para aprender a configurar o gateway de dados da rede virtual, vá para Utilizar gateway de dados de rede virtual e origens de dados
Gateway de dados no local Utilize gateways no local como uma bridge segura entre as origens de dados de sustentabilidade no local e o Sustainability Manager. Necessita de transferir, instalar e configurar o gateway de dados no local.

Para saber mais, vá para O que é um gateway de dados no local?
Autenticação da origem de dados Dar prioridade a um mecanismo de autenticação eficiente para aceder a dados de sustentabilidade. Evite utilizar credenciais fracas e considere utilizar a autenticação baseada no Windows ou no OAuth para uma segurança avançada.
Adicionar IPs à lista de permissões de origens dados no local de saída Certifique-se de que a lista de permissões de endereços IP para ativar as comunicação de saída entre recursos no local e o Sustainability Manager.

Para rever os intervalos de endereços IP para a lista de permissões, vá para Conectores geridos de endereços IP de saída
Desempenho Otimizar consultas para minimizar dados transferidos pela rede. Consultas otimizadas reduzem a latência, aumentam o desempenho e conservam os recursos de rede.
Monitorização e auditoria Impeça falhas de segurança ao implementar a monitorização e o registo de gateways e a realização de revisões periódicas com os intervenientes de segurança da organização.

Para saber mais sobre a recolha de registos a partir do gateway de dados, vá para Resolução de problemas do gateway de dados no local

Em resumo, a criação de escolhas de estrutura de rede seguras e fiáveis é essencial para assegurar um mecanismo de importação robusto para origens de dados remotas. Estas incluem a execução dos passos necessários para:

  1. Instalar gateways para origens de dados no local remotas e de origens de dados alojadas do Azure protegidas por rede virtual.
  2. Utilizar mecanismos de autenticação fortes.
  3. Adicionar à lista de permissões os endereços de IP de saída para ativar a comunicação a partir de localizações de dados no local.
  4. Minimizar dados transferidos pela rede.
  5. Realizar auditorias de segurança regulares.

Processamento de erros

O tratamento de erros durante a importação de dados desempenha um papel crucial para garantir que os dados são importados corretamente e os dashboards estão a apresentar as informações mais recentes para Relatórios de sustentabilidade e análises. O Sustainability Manager permite que os utilizadores revejam e corrijam erros nas importações de dados. Estes relatórios de erros estão agora disponíveis para os três tipos de importação, modelos, fluxo guiado do Power Query e experiência de parceiro.

Para mais informações, vá para Processamento de erros para importação de dados no Microsoft Sustainability Manager

Próximos passos