データのインポート
持続可能性の会計と報告の世界では、データの変換とインポートが、正確で信頼できる包括的な持続可能性の分析情報を確保する上で重要な役割を果たします。 しかし、組織はレポート目的でサステナビリティ データを効果的に管理および活用する際に、技術的およびビジネス上の課題に直面することがよくあります。
次のような主要な課題があります:
データの細分性と複雑性: 炭素、水、廃棄物の効率を含む、環境効率の進捗状況を包括的かつ詳細に把握するには、複数のソースとカテゴリからの多様な持続可能性データを管理することが不可欠です。
データの品質と一貫性: 正確なレポートとコンプライアンスのためには、組織の持続可能性の取り組み全体を通じて正確で信頼性が高く一貫性のあるデータが重要です。
スケーラビリティとパフォーマンス: 組織にとって、最適なパフォーマンスを維持しながら、大規模なデータセットを効率的に処理および処理することは、短期的および長期的に非常に重要です。
データの可用性: データはさまざまな形式で提供されたり、手動のキャプチャが必要となる場合があります。
さらに、企業は、ステークホルダー、投資家、顧客、規制当局から、包括的な持続可能性情報を開示するよう求めるプレッシャーの増大に直面しています。 これらの期待に応えるには、効率的なデータ変換と取り込みプロセスが必要です。
このセクションでは、Microsoft Sustainability Manager の既存の機能に基づいて構築された取り込みプロセスの最新の機能強化と機能に焦点を当てます。 新しい機能は、データ変換とインジェスト プロセスを管理する合理化された詳細なプラットフォームを提供します。 簡素化されたユーザー インターフェイス、複数のデータ取り込み方法、テンプレート、およびマッピング機能を提供します。
データインポートのユーザーエクスペリエンス
簡素化されたガイド付きユーザー インターフェイスは、組織がデータ変換と環境データの取り込みを正常に実行するために非常に必要な機能です。
Sustainability Manager のデータ インジェスト エクスペリエンスは、インジェスト エクスペリエンス中にデータ モデルを最前線に保ち、ユーザー エラーを制限します。 ユーザーは、要件と設計上の考慮事項に基づいて、柔軟性と複数の取り込み方法を活用できます。 さらに、同じ取り込みを使用した 1 回のインポートを通じて、複数のエンティティおよびカテゴリにわたってデータを取り込むことができます。 これらインジェストのメカニズムは、炭素、水、廃棄物にわたって標準化されています。
データ インジェスト プロセスの重要な側面は、データ変換、データ マッピング、およびデータ インポートを分離することです。 この分離は、データの抽出、変換、ロードにおける人的エラーのリスクを軽減するのにも役立ちます。
データ接続プロセス中に、組織ユーザーはデータ変換ツールのサイドバーを利用して次のことを実施できます:
インポートするデータセットの構成。
チェックリストを使用してデータセットを検証する。 チェックリストは、データのインポートを確実に成功させ、必須データ列、データ型の不一致、オプション セット 値の入力、参照データの検索に関連する問題に対処します。
組み込みの取り込み方法と設計上の考慮事項
Sustainability Manager は、以下に応じて 4 つの取り込み方法を提供します:
- データ型
- ソース
- データ変換の必要性
- ユーザー エクスペリエンスのレベル
- インポートの頻度
これらのさまざまな方法は、次の点を考慮して使用できます。
| 手法と説明 | 設計上の留意事項 | 使用する場合 |
|---|---|---|
| エクセルのテンプレート は Microsoft Sustainability Manager に組み込まれており、ユーザーはダウンロードしてデータを準備し、特定のエンティティにインポートできます。 | Excel テンプレートは定期的に更新されます。 インポートのたびに最新の Excel テンプレートをダウンロードすることをお勧めします。
Excel テンプレートはデータ モデルの命名規則に従っているため、データをモデルにマッピングする必要はありません。 Excel テンプレートは、データ インポートの最も単純な形式を表します。 これらは、Excel ファイルがサポートできる小規模なデータ セットや、システムの初期準備に適しています。 Excel テンプレートには、データのインポートを可能にする事前定義されたエンティティのセットが含まれています。 |
Excel テンプレートは、データの準備/変換が Sustainability Manager の外部で行われ、データを直接インポートする準備ができている場合に最適です。
例: コーヒー メーカーである Contoso コーヒーは、Excel のテンプレートを使用して参照データ テンプレートを使用して施設を設定し、その後、活動データ テンプレートと排出量データ テンプレートを使用して炭素活動量と事前計算された排出量データの設定に進むことができます。 その後、3 種類のデータすべてを 1 回の取り込みで 1 項目インポートできます。 |
| Power Query ガイド付き体験 はデータ マッピング中心のエクスペリエンスであり、取り込みエラーを最小限に抑えるショッピング カート エクスペリエンスでエンド ユーザーをガイドします。 | Power Query データ変換と取り込みに対する包括的なアプローチを提供し、さまざまなデータ ソースを効率的に処理できるようにします。
Power Query は、Microsoft Sustainability Manager で利用可能な組み込みコネクタを持つデータソースにとって有益であり、データインポートプロセスを合理化します。 Power Query のガイド付きエクスペリエンスは、取り込みプロセス全体にわたって柔軟性と詳細なガイダンスを提供し、ユーザーが必要に応じてエンティティを追加と削除を可能にします。 |
必要な場合は Power Query を使用する: - さまざまなソースから複数のエンティティのデータをインポートします。 - Power Query コネクタ－を内蔵しており Microsoft Sustainability Manager で利用可能です。 - 頻繁なデータのインポートと更新が必要 - 取り込みプロセス中にデータ変換が必要です。 - エンティティ操作とデータ マッピングに対する柔軟性を備えたガイド付きエクスペリエンスを優先します。 - データモデルにマッピングする前に、さまざまなソースタイプをデータ変換で処理する必要があります。 例: コーヒー メーカーである Contoso Coffee は、サプライ チェーンの ERP と Azure Synapse のサプライヤーが提供するデータから排出データをインポートしたいと考えています。 Contoso は、Power Query のガイド付きエクスペリエンスを使用して、エディターで提供される詳細なガイダンスを使用して変換およびマップを行うことができます。 |
| パートナー コネクタ – パートナー ソリューションからデータをインポート際に使用するコネクタのカタログです。 | Sustainability Manager には、パートナー ソリューションからデータをインポートするためのコネクタが含まれています。
このプラットフォームは、運用データ プロバイダーが提供する構築済みおよびカスタム・コネクタのカタログを提供しています。 パートナー コネクタを使用してデータをインポートする際の重要な点は、データのマッピングと変換がコネクタ内にカプセル化されていることです。 インポートプロセス中に実行する必要はありません。 |
パートナー ソリューションからデータをインポートする必要があり、対応するコネクタがカタログに存在する場合に使用します。
例: Contoso Coffee は、Arcadia のユーティリティ クラウド ソリューションを使用して、施設で購入した電力と天然ガスのデータを取得します。 Arcadia コネクタを利用して、購入した電力データを Sustainability Manager にインポートします。 このコネクタを使用すると、世界中のすべての施設のスコープ 2 の排出量を計算できます。 |
| Sustainability Manager へのデータの手動インポート | Microsoft Sustainability Manager には、データを手動でインポートする 2 つの方法が用意されています。
最初の方法では、個々のレコードを入力でき、参照データなどの構成データをインポートする際に役立ちます。 2番目の方法では、アクティビティ レコードと参照データ レコードを一括インポートできます。 スコープ 3、カテゴリ 8、カテゴリ 13 の場合、一括アップロード オプションにアクセスするにはデータ サブカテゴリを選択する必要があります。 アクティビティ データ レコードを更新する場合、以前にインポートしたデータを削除し、すべてのデータを再度インポートする必要があります。 |
活動、水、または廃棄物のデータの個々の記録をインポートする必要がある場合は、Sustainability Manager の手動データ インポート オプションの使用を検討してください。 さらに、参照データをインポートする場合や、大量のアクティビティ データを一括インポートします。 Excel、CSV、XML などの一括インポート用の特定のデータ形式がある場合は、手動一括アップロード オプションが理想的な選択です。 たとえば、組織データを設定するサステナビリティ スペシャリストは、設定 > 会社概要 > 一般 に移動して、組織の属性を手動で定義します。 |
次の表は、組織がデータ インポート プロセスを設計する際の設計上の考慮事項をまとめたものです。 各取り込み方法の長所と短所、およびその設計上のトレードオフを慎重に検討することをお勧めします。
| インジェスト方法 | Excel テンプレート | Power Query のガイド付きエクスペリエンス | パートナー コネクタ | 手動入力 |
|---|---|---|---|---|
| 典型的なユーザー ペルソナ | ビジネス パーソン | ビジネス/技術担当者 | 技術担当者 | ビジネス パーソン |
| スケジュールできますか？ | ✗ | ✓ | ✓ | ✗ |
| データの読み込みボリューム | 一括 | 一括 | 一括 | シングル、一括 |
| データ変換を許可しますか？ | ✗ | ✓ | ✗ | ✗ |
| 増分更新機能がありますか？ | ✗ | ✓ | ✓ | ✗ |
| インポート中にデータを上書きしますか？ | ✗ | ✓ | ✗ | ✗ |
| 複数のエンティティをインポートできますか？ | ✓ | ✓ | ✗* | ✗ |
| 取り込みエラー処理を提供しますか？ | ✓ | ✓ | ✓ | 該当なし |
注意
パートナー コネクタを使用して 1 回の取り込みで複数のエンティティをインポートすることは、製品ロードマップに含まれています。
詳細については、Microsoft Sustainability Manager におけるデータ インポートの概要 をご覧ください。
要約すると、 Microsoft Sustainability Manager にデータをインポートする際には、次の考慮事項が重要です:
取り込みエクスペリエンスのために、よりシンプルな Excel テンプレート方法から始めます。 データの複雑さとデータ モデルの理解に基づいて、Power Query のガイド付きエクスペリエンスを使用して継続的なデータ インポートを作成するように進化します。
Power Query のガイド付き取り込みエクスペリエンスの過程では、次のヒントに留意してください:
- Power Query 機能を使用してデータ変換を実行します。
- データ変換ツールとチェックリストを使用して、データ テーブルとそれぞれのデータ型を確認します。
- ソース データをマッピングするときに、自動マップ機能を使用します。
接続が作成され検証された後に必要なデータを継続的にインポートできるように、更新タイムスロットとルールをスケジュールします。
データの完全および増分更新
組織がレポート目的で最新の持続可能性データを計算するには、データ ソースからデータを定期的にインポートすることが必要です。 組織は 2 つのモードでソース システムからデータを取得できます。
完全なデータの更新: ソース システム データの完全なコピーを Microsoft Sustainability Manager アプリケーションにインポートします。
増分データ更新: 最後の更新以降にソース システムから更新されたレコードまたは新しく作成されたレコードのみを取り込んでインポートします。
増分データ更新により、組織はデータ更新ごとに新しいデータが利用可能になった際に取り込むことができます。 各クエリ中にデータを完全に更新する必要がある場合、組織は完全な更新を選択することもできます。 この機能は Power Query ベースのインポートでのみ使用できます。
この組み込み機能を利用するには、データ ソースの接続を作成する際に更新ポリシーを作成します。 Microsoft Sustainability Manager は、この機能を Power Query ベースのインポート方法に提供します。 接続の作成プロセス中に、ユーザーはデータ インポート ジョブを実行するスケジュールと頻度を定義し、必要に応じて以前にインポートされたデータを削除するオプションを選択できます。 このアクションにより、増分更新をスケジュールできるようになります。
次の状況では、完全なデータ更新が推奨されます:
ソース システムのデータ モデルに変更が加えられた場合、その変更をアプリケーションに反映してデータ変換またはマッピングを行う必要があります。
ソース データが大幅に変更され、増分更新だけでは変更をキャプチャできない場合。
ソース システムのビジネス ロジックが変更され、既存のデータを再計算する必要がある場合。
エラー、破損、または悪意のある攻撃により、データの品質またはデータの整合性が損なわれた場合。
次の状況では、増分データ更新が推奨されます:
組織が複数のデータ ソースからデータを一括インポートする必要がある場合
組織が特定のタイムラインに基づいてデータをタイムリーに更新する必要がある場合
ソース システムが履歴、累積データを提供し、組織が最初のデータ ロード後に新しく利用可能なデータをインポート (挿入または更新/挿入) する必要がある場合
たとえば、Sustainability Manager が Excel ファイルからデータを取り込んでいる場合、SharePoint サプライヤーによって更新されるドキュメント ライブラリには、最新のデータを定期的に使用する更新ポリシーが必要です。
データ接続レベルでのスケジュール設定は、データ インポート スケジュールを設計する方法を提供します。 さまざまなソース システムからデルタ データのみを取り込むという問題は解決されません。 増分更新プロセスを使用すると、データ管理者は増分データのみを取り込むための詳細なルールを構成できます。 プロセスは、データ接続の各クエリ レベルで追加のフィルター、ルール、およびタイムスタンプを提供できます。
増分更新については、Microsoft Sustainability Manager の増分データ更新 を参照してください
データソースへのネットワーク接続
データ インポート戦略の設計中に、組織は多くの場合、リモート データ ソースに安全かつ効率的に接続するという課題に直面します。 これらのリモート データ ソースはクラウドまたは オンプレミスにある可能性があります。 組織がデータ資産を保護するために使用するさまざまなセキュリティ標準と対策が、この課題をさらに複雑にしています。 したがって、ネットワーク コンポーネントでは、データのセキュリティと信頼性を確保するためにさまざまなオプションを慎重に検討する必要があります。
このセクションでは、リモート データ ソースに接続する 2 つの方法について説明します。 これらのデータ ソースは、仮想ネットワーク内の Azure クラウドに存在することも、オンプレミスの の場所に存在することもできます。 仮想ネットワーク内で Sustainability Manager から Azure Data Services に接続するには、組織は 仮想ネットワーク データ ゲートウェイ を使用できます。 複数のオンプレミスのデータ ソースに接続するには、オンプレミス データ ゲートウェイ を使用できます。
次の表は、オンプレミスの インフラストラクチャにあるリモート ソースからデータをインポートする際の重要なネットワーク トピックと設計上の考慮事項の一部を示しています。
| トピック | 設計上の留意事項 |
|---|---|
| 仮想ネットワーク データ ゲートウェイ | 仮想ネットワーク データ ゲートウェイを使用して、Azure に配置され、仮想ネットワークによって保護されたデータ ソースに接続します。 このアプローチは、データ ソース が公開されていない場合に役立ちます。
仮想ネットワーク データ ゲートウェイの構成方法については、仮想ネットワーク データ ゲートウェイとデータ ソースの使用 を参照してください |
| オンプレミス データ ゲートウェイ | オンプレミスのゲートウェイをオンプレミスのサステナビリティ データ ソースと Sustainability Manager の間の安全なブリッジとして使用します。 オンプレミスのデータゲートウェイをダウンロード、インストール、構成する必要があります。
詳細については、オンプレミス データ ゲートウェイの概要 にアクセスしてください |
| データ ソースの認証 | 持続可能性データにアクセスする強力な認証メカニズムを優先します。 弱い資格情報の使用を避け、セキュリティを強化するために Windows または OAuth ベースの認証の使用を検討してください。 |
| アウトバウンド オンプレミスの データ ソース から IP をホワイトリストに追加する | オンプレミスの リソースと Sustainability Manager 間のアウトバウンド通信を有効にするために、IP アドレスのホワイトリストを確認してください。
許可リストに登録する IP アドレス範囲を確認するには、 マネージド コネクタの送信 IP アドレス にアクセスします |
| 実績 | クエリを最適化して、ネットワーク上で転送されるデータを最小限に抑えます。 最適化されたクエリにより、待ち時間が短縮され、パフォーマンスが向上し、ネットワーク リソースが節約されます。 |
| 監視と監査 | ゲートウェイの監視とログ記録を実装し、組織のセキュリティ関係者と定期的にレビューを実施することで、セキュリティ侵害を防ぎます。
データ ゲートウェイからのログ収集の詳細については、オンプレミスの データ ゲートウェイのトラブルシューティング を参照してください |
要約すると、リモート データ ソースの堅牢なインポート メカニズムを確保するには、安全で信頼性の高いネットワーク設計を選択することが重要です。 これには、次の目的で必要な手順を実行することが含まれます:
- リモート オンプレミスの データ ソースと仮想ネットワークで保護された Azure ホスト データ ソース用のゲートウェイをインストールします。
- 強力な認証メカニズムを使用します。
- オンプレミスの データの場所からの通信を有効にする送信 IP アドレスを許可リストに追加します。
- ネットワーク上で転送されるデータを最小限に抑えます。
- 定期的なセキュリティ監査を実行します。
エラー処理
データのインポート中のエラー処理は、データが適切にインポートされ、持続可能性レポートと分析の最新情報がダッシュボードに表示されていることを確認するために重要な役割を果たします。 Sustainability Manager を使用すると、ユーザーはデータ インポートのエラーを確認および修正できます。 これらのエラー レポートは、3 つのインポート タイプ、テンプレート、 Power Query ガイド付きフロー、およびパートナー エクスペリエンスのすべてで利用できるようになりました。
詳細については、Microsoft Sustainability Manager でのデータのインポートに対するエラーの対処 を参照してください