Importación de datos
En el mundo de la contabilidad y los informes de sostenibilidad, la transformación y la importación de datos desempeñan un papel crucial para garantizar conocimientos de sostenibilidad precisos, fiables y completos. Sin embargo, las organizaciones a menudo enfrentan desafíos técnicos y comerciales a la hora de gestionar y aprovechar eficazmente los datos de sostenibilidad para fines de presentación de informes.
Entre los desafíos clave se incluyen los siguientes:
Granularidad y complejidad de los datos: La gestión de diversos datos de sostenibilidad de múltiples fuentes y categorías es esencial para crear una imagen integral y granular del progreso de la eficiencia ambiental, que abarque la eficiencia del carbono, el agua y los residuos.
Calidad y coherencia de los datos.: Los datos precisos, confiables y consistentes a lo largo del recorrido de sostenibilidad de una organización son importantes para generar informes y cumplimiento precisos.
Escalabilidad y rendimiento: Manejar y procesar grandes conjuntos de datos de manera eficiente mientras se mantiene un rendimiento óptimo es crucial para las organizaciones a corto y largo plazo.
Disponibilidad de datos: Los datos pueden venir en diferentes formatos o requerir ser capturados manualmente.
Además, las empresas enfrentan una presión cada vez mayor por parte de las partes interesadas, inversores, clientes y organismos reguladores para divulgar información completa sobre sostenibilidad. Cumplir estas expectativas requiere procesos eficientes de transformación e ingesta de datos.
Esta sección se centra en las últimas mejoras y capacidades del proceso de ingesta que se basa en las capacidades existentes de Microsoft Sustainability Manager. Las nuevas capacidades proporcionan una plataforma optimizada y avanzada para gestionar el proceso de transformación e ingesta. Proporciona una interfaz de usuario simplificada, múltiples métodos de ingesta de datos, plantillas y capacidades de mapeo.
Experiencia de usuario de importación de datos
Una interfaz de usuario simplificada y guiada es una capacidad muy necesaria para que las organizaciones realicen con éxito la transformación y la ingesta de sus datos ambientales.
La experiencia de ingesta de datos de Sustainability Manager mantiene el modelo de datos a la vanguardia durante la experiencia de ingesta para limitar los errores del usuario. Los usuarios pueden aprovechar la flexibilidad y los múltiples métodos de ingesta según sus requisitos y consideraciones de diseño. Además, los datos se pueden ingerir en múltiples entidades y categorías mediante una importación única utilizando la misma ingestión. Estos mecanismos de ingestión están estandarizados en carbono, agua y residuos.
Un aspecto importante del proceso de ingesta de datos es el desacoplamiento de la transformación de datos, el mapeo de datos y la importación de datos. Este desacoplamiento también ayuda a mitigar los riesgos de errores humanos al extraer, transformar y cargar los datos.
Durante el proceso de conexión de datos, los usuarios de la organización pueden utilizar la barra lateral de herramientas de transformación de datos para:
Configure los conjuntos de datos que se importarán.
Utilice listas de verificación para validar conjuntos de datos. Las listas de verificación garantizan una importación de datos exitosa y abordan problemas relacionados con columnas de datos obligatorias, discrepancias de tipos de datos, llenado de valores conjunto de opciones y búsqueda de datos de referencia.
Métodos de ingesta integrados y consideraciones de diseño
Sustainability Manager proporciona cuatro métodos de ingesta, según:
- Tipo de datos
- Origen
- Necesidades de transformación de datos
- Nivel de experiencia de usuario
- Frecuencia de importación
Puede usar estos diferentes métodos con las siguientes consideraciones.
| Método y descripción | Consideraciones de diseño | Usar cuando |
|---|---|---|
| Las plantillas de Excel están integradas en Microsoft Sustainability Manager y los usuarios pueden descargar, preparar sus datos e importarlos a entidades específicas. | Las plantillas de Excel se actualizan periódicamente. Le recomendamos que descargue las últimas plantillas de Excel durante cada importación.
Como las plantillas de Excel siguen la convención de nomenclatura del modelo de datos, no requieren asignación de datos al modelo. Las plantillas de Excel representan la forma más sencilla de importación de datos. Son adecuados para conjuntos de datos más pequeños que un archivo de Excel puede admitir y para la preparación inicial del sistema. Las plantillas de Excel contienen un conjunto predefinido de entidades para permitir la importación de datos. |
Las plantillas de Excel se utilizan mejor cuando la preparación/transformación de los datos se realiza fuera de Sustainability Manager y los datos están listos para una importación directa.
Ejemplo: Café Contoso, un fabricante de café puede usar las plantillas de Excel para configurar sus instalaciones usando la plantilla de datos de referencia, luego proceder a configurar su actividad de carbono y los datos de emisiones precalculadas usando las plantillas de datos de Actividad y Emisiones. . Luego, pueden realizar una importación de un solo elemento de los tres tipos de datos con una sola ingesta. |
| Power Query La experiencia guiada es una experiencia centrada en el mapeo de datos, que guía a los usuarios finales con una experiencia de carrito de compras para minimizar los errores de ingesta. | Power Query proporciona un enfoque integral para la transformación e ingesta de datos, lo que lo hace eficiente para manejar diversas fuentes de datos.
Power Query es beneficioso para fuentes de datos que tienen conectores integrados disponibles en Microsoft Sustainability Manager, lo que agiliza el proceso de importación de datos. La experiencia guiada Power Query proporciona flexibilidad y orientación detallada durante todo el proceso de ingesta, lo que permite a los usuarios agregar y eliminar entidades según sea necesario. |
Use Power Query cuando necesite: - importar datos para múltiples entidades de varias fuentes. - tener conectores integrados Power Query disponibles en Microsoft Sustainability Manager. - requiere importación y actualización de datos frecuentes - necesita transformación de datos durante el proceso de ingesta. - prefiere experiencia guiada con flexibilidad para la manipulación de entidades y mapeo de datos. - es necesario manejar diferentes tipos de fuentes con la transformación de datos antes de asignarlos al modelo de datos. Ejemplo: Contoso Coffee, un fabricante de café, desea importar los datos de emisiones de su ERP de cadena de suministro y los datos proporcionados por el proveedor en Azure Synapse. Contoso puede usar la experiencia guiada Power Query para transformar y mapear utilizando la guía detallada proporcionada en el editor. |
| Conectores de socios: son un catálogo de conectores para importar datos de soluciones de socios. | Sustainability Manager incluye conectores para importar datos de soluciones de socios.
La plataforma ofrece un catálogo de conectores prediseñados y personalizados de proveedores de datos operativos. Un aspecto importante de la importación de datos mediante conectores de socios es que el mapeo y la transformación de datos se encapsulan dentro del conector. No es necesario realizarlos durante el proceso de importación. |
Úselo cuando necesite importar datos de una solución de socio y el conector correspondiente esté presente en el catálogo.
Ejemplo: Contoso Coffee utiliza la solución de nube de servicios públicos de Arcadia para capturar datos de electricidad y gas natural comprados para sus instalaciones. Utilizan el conector Arcadia para importar datos de electricidad comprada a Sustainability Manager. Este conector les permite calcular sus emisiones de alcance 2 para todas sus instalaciones globales. |
| Importación manual de datos en Sustainability Manager | Microsoft Sustainability Manager proporciona dos métodos para importar datos manualmente.
El primer método permite la entrada de registros individuales, lo que resulta útil para importar datos de configuración, como datos de referencia. El segundo método permite la importación masiva de registros de actividad y registros de datos de referencia. Para el alcance 3, categoría 8 y categoría 13, debe seleccionar la subcategoría de datos para acceder a las opciones de carga masiva. Al actualizar los registros de datos de actividad en Sustainability Manager, debe eliminar los datos importados previamente y volver a importar todos los datos. |
Considere usar las opciones de importación manual de datos en Sustainability Manager cuando necesite importar registros individuales de datos de actividad, agua o desechos. Además, utilice estas opciones cuando desee importar datos de referencia o cuando tenga un gran volumen de datos de actividad para importar de forma masiva. Si tiene formatos de datos específicos para la importación masiva, como Excel, CSV o XML, la opción de carga masiva manual es la opción ideal. Por ejemplo, un especialista en sostenibilidad que configura los datos de la organización va a Configuración > Perfil de la empresa > General para definir manualmente los atributos de la organización. |
La siguiente tabla resume las consideraciones de diseño para las organizaciones al diseñar su proceso de importación de datos. Le recomendamos que considere cuidadosamente los pros y los contras de cada método de ingesta y sus compensaciones de diseño.
| Método de ingestión | Plantillas de Excel | Experiencia guiada en Power Query | Conectores de asociados | Entrada manual |
|---|---|---|---|---|
| Personas de usuario típicas | Personas de negocios | Personas comerciales/técnicas | Personas técnicas | Personas de negocios |
| ¿Se pueden programar? | ✗ | ✓ | ✓ | ✗ |
| Volumen de carga de datos | En masa | En masa | En masa | Individual, en masa |
| ¿Permite la transformación de datos? | ✗ | ✓ | ✗ | ✗ |
| ¿Proporciona actualización incremental? | ✗ | ✓ | ✓ | ✗ |
| ¿Se reemplazan los datos durante la importación? | ✗ | ✓ | ✗ | ✗ |
| ¿Se pueden importar varias entidades? | ✓ | ✓ | ✗* | ✗ |
| ¿Proporciona gestión de errores de ingesta? | ✓ | ✓ | ✓ | ND |
Nota
La importación de varias entidades utilizando los conectores de socios en una sola ingesta está en la hoja de ruta del producto.
Para obtener más información, revise Descripción general de la importación de datos en Microsoft Sustainability Manager.
En resumen, las siguientes consideraciones son importantes al importar datos a Microsoft Sustainability Manager:
Comience con el método de plantilla de Excel más simple para experimentar la ingesta. Según la complejidad de los datos y la comprensión del modelo de datos, evolucione para crear importaciones continuas de datos utilizando la experiencia guiada de Power Query.
Durante la experiencia de ingesta guiada de Power Query, tenga en cuenta los siguientes consejos:
- Utilice las capacidades de Power Query para realizar las transformaciones de datos.
- Utilice las herramientas de transformación de datos y la lista de verificación para revisar las tablas de datos y sus respectivos tipos de datos.
- Mientras asigna los datos de origen, utilice la función de asignación automática.
Programe las reglas y los intervalos de tiempo de actualización para permitir la importación continua de los datos requeridos una vez que se crea y valida una conexión.
Actualización completa e incremental de datos
La importación periódica de datos de fuentes de datos es una necesidad para que las organizaciones calculen sus datos de sostenibilidad más recientes con fines de presentación de informes. Las organizaciones pueden obtener datos de sus sistemas fuente de dos modos.
Actualización completa de datos: importe una copia completa de los datos del sistema de origen a la aplicación Microsoft Sustainability Manager.
Actualización de datos incremental: obtenga e importe solo los registros actualizados o recién creados de los sistemas de origen desde la última actualización.
La actualización de datos incremental permite a las organizaciones incorporar nuevos datos cuando estén disponibles para cada actualización de datos. Las organizaciones también pueden optar por la actualización completa si los datos necesitan actualizarse por completo durante cada consulta. Esta capacidad solo está disponible para la importación basada en Power Query.
Para aprovechar esta capacidad integrada, cree políticas de actualización al crear la conexión para las fuentes de datos. Microsoft Sustainability Manager proporciona esta capacidad para el método de importación basado en Power Query. Durante el proceso de creación de una conexión, los usuarios pueden definir la programación y la frecuencia para ejecutar los trabajos de importación de datos y seleccionar la opción para eliminar datos importados previamente si es necesario. Esta acción brinda la posibilidad de programar una actualización incremental.
Se recomienda la actualización completa de datos para las siguientes situaciones:
Cuando el modelo de datos de los sistemas de origen sufre algún cambio, los cambios deben reflejarse en la aplicación para transformaciones o mapeo de datos.
Cuando los datos de origen han cambiado significativamente y la actualización incremental no es suficiente para capturar los cambios.
Cuando se ha modificado la lógica empresarial del sistema fuente y es necesario recalcular los datos existentes.
Cuando la calidad o integridad de los datos se haya visto comprometida debido a errores, corrupción o ataques maliciosos.
Se recomienda la actualización incremental de datos para las siguientes situaciones:
Cuando las organizaciones requieren una importación masiva de datos de múltiples fuentes de datos
Cuando las organizaciones requieren una actualización oportuna de los datos según cronogramas específicos
Cuando los sistemas de origen proporcionan datos históricos y acumulativos y las organizaciones necesitan importar datos recientemente disponibles (insertar o insertar) después de la carga de datos inicial
Por ejemplo, si Sustainability Manager está ingiriendo datos de archivos Excel en una biblioteca de documentos SharePoint, actualizada por los proveedores, requiere una política de actualización para consumir los datos más recientes de forma periódica.
Mientras que la programación a nivel de conexión de datos proporciona una forma de diseñar la programación de importación de datos. No resuelve el problema de obtener sólo los datos delta de varios sistemas fuente. Con el proceso de actualización incremental, los administradores de datos pueden configurar reglas granulares para recuperar solo los datos incrementales. El proceso puede proporcionar filtros, reglas y marcas de tiempo adicionales en cada nivel de consulta en una conexión de datos.
Para obtener más información sobre la actualización incremental, vaya a Actualización incremental en Microsoft Sustainability Manager
Conectividad de red con orígenes de datos
Durante el diseño de estrategias de importación de datos, las organizaciones a menudo enfrentan el desafío de conectarse de manera segura y eficiente a fuentes de datos remotas. Estas fuentes de datos remotas podrían estar en la nube o local. Los diferentes estándares y medidas de seguridad que utilizan las organizaciones para proteger sus activos de datos agravan aún más este desafío. Por lo tanto, los componentes de la red requieren una cuidadosa consideración de varias opciones para garantizar la seguridad y confiabilidad de los datos.
Esta sección aborda dos métodos para conectarse a fuentes de datos remotas. Estos orígenes de datos podrían existir en la nube de Azure dentro de una red virtual o podrían existir en una ubicación local. Para conectarse desde Sustainability Manager a Azure Data Services dentro de una red virtual, las organizaciones pueden usar la puerta de enlace de datos de la red virtual. Para conectarse a fuentes de datos local, puede utilizar la puerta de enlace de datos local.
La siguiente tabla construye algunos de los temas de redes importantes y consideraciones de diseño al importar datos desde una fuente remota ubicada en una infraestructura local:
| Tema | Consideración de diseño |
|---|---|
| Puerta de enlace de datos de red virtual | Utilice una puerta de enlace de datos de red virtual para conectarse a orígenes de datos ubicados en Azure y protegidos por una red virtual. Este enfoque puede resultar útil cuando origen de datos no es de acceso público.
Para aprender cómo configurar la puerta de enlace de datos de la red virtual, vaya a Usar la puerta de enlace de datos de la red virtual y fuentes de datos |
| Puerta de enlace de datos local | Utilice puertas de enlace locales como puente seguro entre las fuentes de datos de sostenibilidad local y Sustainability Manager. Debe descargar, instalar y configurar la puerta de enlace de datos local.
Para más información, vaya a ¿Qué es una puerta de enlace de datos local? |
| Autenticación con orígenes de datos | Priorizar un mecanismo de autenticación sólido para acceder a datos de sostenibilidad. Evite el uso de credenciales débiles y considere usar autenticación basada en Windows o OAuth para mejorar la seguridad. |
| Agregue IP a la lista de permitidos desde salida local origen de datos | Asegúrese de que la lista de direcciones IP permitidas permita la comunicación saliente entre los recursos local y Sustainability Manager.
Para revisar los rangos de direcciones IP para incluir en la lista permitida, vaya a Direcciones IP salientes de conectores administrados |
| Rendimiento | Optimice las consultas para minimizar los datos transferidos a través de la red. Las consultas optimizadas reducen la latencia, aumentan el rendimiento y conservan los recursos de la red. |
| Supervisión y auditoría | Evite violaciones de seguridad implementando monitoreo y registro para puertas de enlace y realizando revisiones periódicas con las partes interesadas en la seguridad de la organización.
Para obtener más información sobre cómo recopilar registros desde la puerta de enlace de datos, vaya a Solucionar problemas de la puerta de enlace de datos local |
En resumen, tomar decisiones de diseño de redes seguras y confiables es fundamental para garantizar un mecanismo de importación sólido para fuentes de datos remotas. Estos incluyen realizar los pasos necesarios para:
- Instale puertas de enlace para orígenes de datos remotos local y orígenes de datos alojados en Azure protegidos por redes virtuales.
- Utilizar fuertes mecanismos de autenticación.
- Agregue a la lista de permitidos las direcciones IP salientes para habilitar la comunicación desde las ubicaciones de datos local.
- Minimizar los datos transferidos a través de la red.
- Realizar auditorías de seguridad periódicas.
Gestión de errores
El manejo de errores durante las importaciones de datos juega un papel vital para garantizar que sus datos se importen correctamente y que los paneles muestren la información más reciente para los informes sobre sostenibilidad y análisis. Sustainability Manager permite a los usuarios revisar y corregir los errores en la importación de datos. Estos informes de errores ahora están disponibles para los tres tipos de importación, plantillas, flujo guiado Power Query y experiencia de socios.
Para obtener más información, vaya a Control de errores para importación de datos en Microsoft Sustainability Manager