Импорт данных
В мире учета и отчетности в области устойчивого развития преобразование и импорт данных играют решающую роль в обеспечении точной, надежной и всеобъемлющей аналитики об устойчивом развитии. Однако организации часто сталкиваются с техническими и бизнес-проблемами при эффективном управлении и использовании данных об устойчивом развитии для целей отчетности.
Ниже перечислены некоторые ключевые задачи:
Детализация и сложность данных: управление разнообразными данными об устойчивом развитии из различных источников и категорий имеет важное значение для создания всеобъемлющей и детальной картины прогресса в области экологической эффективности, включая эффективность использования углерода, воды и отходов.
Качество и согласованность данных: точные, надежные и согласованные данные на протяжении всего пути организации к достижению устойчивого развития важны для точной отчетности и соблюдения требований.
Масштабируемость и производительность: эффективная обработка больших наборов данных при поддержании оптимальной производительности имеет решающее значение для организаций в краткосрочной и долгосрочной перспективе.
Доступность данных: данные могут иметь разные форматы или требовать ручного сбора.
Кроме того, предприятия сталкиваются с растущим давлением со стороны заинтересованных лиц, инвесторов, клиентов и регулирующих органов с требованием раскрыть исчерпывающую информацию об устойчивом развитии. Для удовлетворения этих ожиданий необходимы эффективные процессы преобразования и приема данных.
В этом разделе основное внимание уделяется последним улучшениям и возможностям процесса приема, основанным на существующих возможностях Microsoft Sustainability Manager. Новые возможности обеспечивают оптимизированную и расширенную платформу для управления процессом преобразования и приема данных. Она предоставляет упрощенный пользовательский интерфейс, несколько методов приема данных, шаблоны и возможности сопоставления.
Пользовательский интерфейс импорта данных
Упрощенный и управляемый пользовательский интерфейс — это крайне необходимая возможность для организаций с целью успешного преобразования данных и приема данных о среде.
При приеме данных Sustainability Manager модель данных находится на переднем плане во время приема, чтобы ограничить ошибки пользователей. Пользователи могут воспользоваться гибкостью и множеством методов приема данных в зависимости от их требований и конструктивных особенностей. Кроме того, данные можно принимать по нескольким сущностям и категориям посредством однократного импорта с использованием одного и того же приема. Эти механизмы поглощения стандартизированы для углерода, воды и отходов.
Важным аспектом процесса приема данных является разделение преобразования данных, сопоставления данных и импорта данных. Такое разделение также помогает снизить риски человеческих ошибок при извлечении, преобразовании и загрузке данных.
В процессе подключения к данным пользователи организации могут использовать боковую панель инструментов преобразования данных, чтобы:
Настраивать наборы данных для импорта.
Использовать контрольные списки для проверки наборов данных. Контрольные списки обеспечивают успешный импорт данных и устраняют проблемы, связанные с обязательными столбцами данных, несоответствием типов данных, заполнением значений набора параметров и поиском справочных данных.
Встроенные методы приема и особенности проектирования
Sustainability Manager предоставляет четыре метода приема в зависимости от следующего:
- Тип данных
- Оригинал
- Потребности в преобразовании данных
- Уровень взаимодействия с пользователем
- Частота импорта
Вы можете использовать эти различные методы, учитывая следующие соображения.
| Метод и описание | Рекомендации по проектированию | Используется при |
|---|---|---|
| Шаблоны Excel встроены в Microsoft Sustainability Manager, и пользователи могут загружать, подготавливать свои данные и импортировать их в определенные сущности. | Шаблоны Excel периодически обновляются. Мы рекомендуем загружать последние версии шаблонов Excel при каждом импорте.
Поскольку шаблоны Excel соответствуют соглашению об именовании модели данных, они не требуют сопоставления данных с моделью. Шаблоны Excel представляют собой простейшую форму импорта данных. Они подходят для небольшого набора данных, которые может поддерживать файл Excel, а также для первоначальной подготовки системы. Шаблоны Excel содержат предопределенный набор сущностей для импорта данных. |
Шаблоны Excel лучше всего использовать, когда подготовка/преобразование данных выполняется вне Sustainability Manager и данные готовы к прямому импорту.
Пример: Contoso Coffee, производитель кофе, может использовать шаблоны Excel для настройки своих предприятий с помощью шаблона справочных данных, а затем приступить к настройке данных о деятельности, сопровождаемой выбросами углекислого газа, и предварительно рассчитанных выбросах с помощью шаблонов данных о деятельности и выбросах. Затем компания может импортировать все три типа данных по одному элементу за один прием. |
| Интерфейс с подсказками Power Query — это интерфейс, ориентированный на сопоставление данных, помогающий конечным пользователям пользоваться корзиной покупок, чтобы минимизировать ошибки приема. | Power Query обеспечивает комплексный подход к преобразованию и приему данных, что делает его эффективным для обработки различных источников данных.
Power Query полезно использовать для источников данных, которые имеют встроенные соединители, доступные в Microsoft Sustainability Manager, что упрощает процесс импорта данных. Интерфейс с подсказками Power Query обеспечивает гибкость и подробные инструкции на протяжении всего процесса приема, позволяя пользователям добавлять и удалять сущности по мере необходимости. |
Используйте Power Query, когда вам нужно: - импортировать данные для нескольких сущностей из разных источников. - иметь встроенные соединители Power Query, доступные в Microsoft Sustainability Manager. - когда вам требуется частый импорт и обновление данных - когда вам требуется преобразование данных в процессе приема. - если вы предпочитаете интерфейс с подсказками и гибкостью для манипулирования сущностями и сопоставления данных. - обрабатывать различные типы источников с помощью преобразования данных перед сопоставлением с моделью данных. Пример: Contoso Coffee, производитель кофе, хочет импортировать данные о выбросах из ERP своей цепочки поставок и данные, предоставленные поставщиком, в Azure Synapse. Компания Contoso может использовать подсказки Power Query для преобразования и сопоставления с помощью подробных рекомендаций, представленных в редакторе. |
| Партнерские соединители — каталог соединителей для импорта данных из партнерских решений. | Sustainability Manager включает в себя соединители для импорта данных из партнерских решений.
Платформа предлагает каталог готовых и пользовательских соединителей от поставщиков операционных данных. Важным аспектом импорта данных с использованием партнерских соединителей является то, что сопоставление и преобразование данных инкапсулируются внутри соединителя. Их не обязательно выполнять в процессе импорта. |
Используйте, когда вам нужно импортировать данные из партнерского решения и если соответствующий соединитель присутствует в каталоге.
Пример: Contoso Coffee использует облачное решение Arcadia для сбора данных о закупках электроэнергии и природного газа для своих объектов. Компания использует соединитель Arcadia для импорта данных о приобретенном электричестве в Sustainability Manager. Этот соединитель позволяет компании рассчитывать выбросы категории 2 для всех своих предприятий по всему миру. |
| Ручной импорт данных в Sustainability Manager | Microsoft Sustainability Manager предоставляет два метода ручного импорта данных.
Первый метод позволяет вводить отдельные записи, что полезно для импорта данных конфигурации, таких как справочные данные. Второй метод позволяет осуществлять массовый импорт записей о деятельности и записей справочных данных. Для области 3, категории 8 и категории 13 вам необходимо выбрать подкатегорию данных, чтобы получить доступ к параметрам массовой загрузки. При обновлении записей данных о деятельности вам необходимо удалить ранее импортированные данные и повторно импортировать все данные. |
Рассмотрите возможность использования параметров импорта данных вручную в Sustainability Manager, когда вам необходимо импортировать отдельные записи о деятельности, данных о воде или отходах. Кроме того, используйте эти параметры, если вы хотите импортировать справочные данные или если у вас есть большой объем данных о деятельности для массового импорта. Если у вас есть определенные форматы данных для массового импорта, такие как Excel, CSV или XML, вариант массовой загрузки вручную является идеальным выбором. Например, специалист по устойчивому развитию, настраивающий данные организации, переходит в раздел Настройки > Профиль компании > Общие и вручную определяет атрибуты организации. |
В следующей таблице обобщены соображения, которые следует учитывать организациям при проектировании процесса импорта данных. Мы рекомендуем вам тщательно рассмотреть плюсы и минусы каждого метода приема, а также их конструктивные компромиссы.
| Метод приема | Шаблоны Excel | Интерфейс с подсказками в Power Query | Партнерские соединители | Ручной ввод |
|---|---|---|---|---|
| Типичные персонажи пользователей | Деловые персонажи | Деловые/технические персонажи | Технические персонажи | Деловые персонажи |
| Можно запланировать по расписанию? | ✗ | ✓ | ✓ | ✗ |
| Объем загрузки данных | Массовый | Массовый | Массовый | Одиночный, массовый |
| Преобразование данных допустимо? | ✗ | ✓ | ✗ | ✗ |
| Обеспечивает добавочное обновление? | ✗ | ✓ | ✓ | ✗ |
| Переопределение данных во время импорта? | ✗ | ✓ | ✗ | ✗ |
| Можно ли импортировать несколько сущностей? | ✓ | ✓ | ✗* | ✗ |
| Обеспечивает обработку ошибок приема? | ✓ | ✓ | ✓ | Н/Д |
Заметка
Импорт нескольких сущностей с использованием партнерских соединителей за один прием включен в план развития продукта.
Чтобы узнать больше, см. раздел Обзор импорта данных в Microsoft Sustainability Manager.
Таким образом, при импорте данных в Microsoft Sustainability Manager важно следующее:
Начните с более простого метода шаблона Excel для приема данных. Основываясь на сложности данных и понимании модели данных, развивайтесь для создания непрерывного импорта данных с помощью интерфейса с подсказками в Power Query.
Во время приема в интерфейсе с подсказками в Power Query имейте в виду следующие советы:
- Используйте возможности Power Query, чтобы выполнять преобразования данных.
- Используйте инструменты преобразования данных и контрольный список для просмотра таблиц данных и соответствующих типов данных.
- При сопоставлении исходных данных используйте функцию автоматического сопоставления.
Запланируйте временные интервалы и правила обновления, чтобы обеспечить непрерывный импорт необходимых данных после создания и проверки соединения.
Полное и добавочное обновление данных
Периодический импорт данных из источников данных необходим организациям для расчета последних данных об устойчивом развитии для целей отчетности. Организации могут получать данные из своих исходных систем двумя способами.
Полное обновление данных: импортируйте полную копию исходных системных данных в приложение Microsoft Sustainability Manager.
Добавочное обновление данных: извлекайте и импортируйте только обновленные или вновь созданные записи из исходных систем с момента последнего обновления.
Добавочное обновление данных позволяет организациям вводить новые данные, когда они доступны для каждого обновления данных. Организации также могут использовать полное обновление, если данные необходимо полностью обновлять во время каждого запроса. Эта возможность доступна только для импорта на основе Power Query.
Чтобы воспользоваться этой встроенной возможностью, создайте политики обновления при создании подключения к источникам данных. Microsoft Sustainability Manager предоставляет эту возможность для метода импорта на основе Power Query. В процессе создания соединения пользователи могут определить расписание и частоту запуска заданий импорта данных и выбрать опцию удаления ранее импортированных данных, если это необходимо. Это действие дает возможность запланировать добавочное обновление.
Полное обновление данных рекомендуется в следующих ситуациях:
Когда модель данных исходных систем претерпевает какие-либо изменения, эти изменения необходимо отразить в приложении для преобразования или сопоставления данных.
Когда исходные данные значительно изменились и добавочного обновления недостаточно для фиксации изменений.
Когда бизнес-логика исходной системы была изменена и существующие данные необходимо пересчитать.
Когда качество или целостность данных были нарушены из-за ошибок, повреждения или злонамеренных атак.
Добавочное обновление данных рекомендуется в следующих ситуациях:
Когда организациям требуется массовый импорт данных из нескольких источников данных
Когда организациям требуется своевременное обновление данных в определенные сроки
Когда исходные системы предоставляют исторические, совокупные данные, и организациям необходимо импортировать новые доступные данные (вставить или обновить) после начальной загрузки данных
Например, если Sustainability Manager принимает данные из файлов Excel в библиотеку документов SharePoint, обновляемую поставщиками, требуется использовать политику обновления для периодического использования самых последних данных.
В то время как планирование на уровне подключения к данным обеспечивает способ проектирования расписания импорта данных. Это не решает проблему получения только разностных данных из различных исходных систем. Благодаря процессу добавочного обновления администраторы данных могут настраивать детальные правила для получения только добавочных данных. Этот процесс может предоставлять дополнительные фильтры, правила и отметки времени на каждом уровне запроса в подключении к данным.
Дополнительные сведения о добавочном обновлении см. в разделе Добавочное обновление данных в Microsoft Sustainability Manager
Возможность подключения по сети к источникам данных
При проектировании стратегий импорта данных организации часто сталкиваются с проблемой безопасного и эффективного подключения к удаленным источникам данных. Эти удаленные источники данных могут находиться в облаке или в локальной среде. Различные стандарты безопасности и меры, которые организации используют для защиты своих информационных ресурсов, еще больше усугубляют эту проблему. Таким образом, сетевые компоненты требуют тщательного рассмотрения различных вариантов обеспечения безопасности и надежности данных.
В этом разделе рассматриваются два метода подключения к удаленным источникам данных. Эти источники данных могут существовать в облаке Azure в рамах виртуальной сети или в локальной среде. Чтобы подключиться из Sustainability Manager к службам данных Azure в виртуальной сети, организации могут использовать шлюз данных виртуальной сети. Чтобы подключиться к локальным источникам данных, можно использовать локальный шлюз данных.
В следующей таблице представлены некоторые важные темы, связанные с сетью, и соображения по проектированию при импорте данных из удаленного источника, расположенного в локальной инфраструктуре:
| Тема | Рекомендации по проектированию |
|---|---|
| Шлюз данных виртуальной сети | Используйте шлюз данных виртуальной сети для подключения к источникам данных, расположенным в Azure и защищенным виртуальной сетью. Этот подход может быть полезен, когда источник данных не является общедоступным.
Чтобы узнать, как настроить шлюз данных виртуальной сети, см. раздел Использование шлюза данных виртуальной сети и источников данных |
| Локальный шлюз данных | Используйте локальные шлюзы в качестве безопасного моста между локальными источниками данных об устойчивом развитии и Sustainability Manager. Вам будет нужно загрузить, установить и настроить локальный шлюз данных.
Чтобы узнать больше, см. раздел Что такое локальный шлюз данных? |
| Аутентификация источников данных | Отдайте приоритет механизму строгой проверки подлинности для доступа к данным об устойчивом развитии. Избегайте использования ненадежных учетных данных и рассмотрите возможность использования аутентификации на основе Windows или OAuth для повышения безопасности. |
| Добавьте IP-адреса в список разрешений из исходящего локального источника данных | Убедитесь, что список разрешенных IP-адресов включает исходящую связь между локальными ресурсами и Sustainability Manager.
Чтобы просмотреть диапазоны IP-адресов в списке разрешений, перейдите на страницу Исходящие IP-адреса управляемых соединителей |
| Производительность | Оптимизируйте запросы, чтобы минимизировать данные, передаваемые по сети. Оптимизированные запросы сокращают задержку, повышают производительность и экономят сетевые ресурсы. |
| Мониторинг и аудит | Предотвратите нарушения безопасности, внедрив мониторинг и ведение журналов для шлюзов и проводя периодические проверки с заинтересованными лицами в области безопасности организации.
Чтобы узнать больше о сборе журналов из шлюза данных, см. раздел Устранение неполадок локального шлюза данных |
Таким образом, выбор безопасной и надежной сети имеет решающее значение для создания надежного механизма импорта удаленных источников данных. К ним относятся выполнение необходимых действий для следующего:
- Установка шлюзов для удаленных локальных источников данных и размещенных в Azure источников данных, защищенных виртуальной сетью.
- Использование механизмов строгой проверки подлинности.
- Добавление в список разрешений исходящих IP-адресов для включения связи из локальных мест хранения данных.
- Минимизация данных, передаваемых по сети.
- Регулярное проведение аудита безопасности.
Обработка ошибок
Обработка ошибок во время импорта данных играет жизненно важную роль в обеспечении правильного импорта данных, а на панелях мониторинга отображается самая последняя информация для отчетов и аналитики об экологической устойчивости. Sustainability Manager позволяет пользователям просматривать и исправлять ошибки при импорте данных. Эти отчеты об ошибках теперь доступны для всех трех типов импорта: шаблонов, управляемого потока Power Query и партнерского интерфейса.
Дополнительные сведения см. в разделе Обработка ошибок для данных импорта в Microsoft Sustainability Manager.