Způsob zpracování dat v centrech FinOps

Článek
10/31/2024

Centra FinOps provádějí mnoho aktivit zpracování dat za účelem vyčištění, normalizace a optimalizace dat. Následující části ukazují, jak data proudí ze služby Cost Management do instance centra.

Nastavení oboru

Obor je úroveň v rámci cloudové hierarchie prostředků a účtů, která poskytuje přístup k nákladům, využití a uhlíkovým datům. Pro centra FinOps obvykle doporučujeme používat fakturační účty smlouva Enterprise (EA) nebo fakturační profily Smlouva se zákazníkem Microsoftu (MCA), ale pro základní analýzu stačí jakýkoli rozsah cloudu. Hlavním problémem je to, jestli jsou potřeba data o cenách a rezervacích, protože Služba Cost Management zveřejňuje data jenom pro fakturační účty EA a fakturační profily MCA.

Centra FinOps podporují konfiguraci oborů ruční konfigurací exportů služby Cost Management nebo udělením přístupu centra FinOps ke správě oborů vaším jménem. Spravované obory se konfigurují v konfiguračním nebo settings.json souboru v úložišti centra. Informace popisují, co se stane, když se do tohoto souboru přidá nový spravovaný obor. Nespravované obory, ve kterých jsou exporty služby Cost Management ručně nakonfigurované, nevyžadují další nastavení.

Trigger config_SettingsUpdated se spustí při aktualizaci souboru settings.json .
Kanál config_ConfigureExports vytvoří nové exporty pro všechny přidané nové obory.

Příjem dat

Příjem dat je možné rozdělit do dvou částí:

Exportuje nabízená data do úložiště.
Centra zpracovávají a ingestují data.

V případě spravovaných oborů provádí centra následující kroky:

Triggery config_DailySchedule a config_MonthlySchedule se spouštějí podle příslušných plánů, aby zahájily příjem dat.
Kanál config_StartExportProcess získá příslušné exporty pro plán, který je spuštěný.
Kanál config_RunExportJobs provede každý z vybraných exportů.
Cost Management exportuje nezpracované podrobnosti nákladů do kontejneru msexports . Další informace.

Po spuštění exportu, ať už spravovaného nebo nespravovaného, provádějí centra následující kroky:

Kanál msexports_ExecuteETL spustí proces extrakce a transformace načítání (ETL) při přidání souborů do úložiště.
Kanál msexports_ETL_ingestion transformuje data do formátu parquet a přesune je do kontejneru příjmu dat pomocí škálovatelné struktury souborů. Další informace.
Power BI nebo jiné nástroje čtou data z kontejneru příjmu dat.

Informace o příjmu dat

Rozbočovače FinOps spoléhají na konkrétní cestu ke složce v kontejneru příjmu dat:

ingestion/{dataset}/{yyyy}/{mm}/{scope-id}

ingestion je kontejner, do kterého datový kanál ukládá data.
{dataset} je exportovaný typ datové sady.
{month} je rok a měsíc exportovaných dat formátovaných jako yyyyMM.
{scope-id} očekává se, že se jedná o plně kvalifikované ID prostředku oboru, ze které data pocházejí.

Pokud potřebujete k monitorování dat mimo Azure použít rozbočovače, převeďte je na FOCUS a přesuňte je do kontejneru pro příjem dat . Všimněte si, že tento proces nebyl explicitně testován v nejnovější verzi. Pokud dojde k nějakým problémům, vytvořte problém.

Informace o exportech

Centra FinOps používají exporty služby Cost Management k získání dat o nákladech. Cost Management řídí strukturu složek pro exportovaná data v kontejneru msexports . Typická cesta vypadá takto:

{container}/{path}/{date-range}/{export-name}/{export-time}/{guid}/{file}

Od verze 0.4 se centra FinOps nespoléhá na cesty k souborům. Centra využívají soubor manifestu k identifikaci oboru, datové sady, měsíce atd. Jedinou důležitou součástí cesty pro rozbočovače je kontejner, který musí být msexports.

Upozorňující

Neexportujte data do kontejneru pro příjem dat . Exportované sdílené svazky clusteru musí být publikovány do kontejneru msexports , který má modul hubs zpracovat.
Pokud chcete ingestovat vlastní data, uložte soubory Parquet zarovnané fokusem do kontejneru pro příjem dat, aby sestavy Power BI sady FinOps fungovaly podle očekávání.

Manifesty exportu se můžou měnit s verzemi rozhraní API. Tady je příklad verze rozhraní API 2023-07-01-preview:

{
  "exportConfig": {
    "exportName": "<export-name>",
    "resourceId": "/<scope>/providers/Microsoft.CostManagement/exports/<export-name>",
    "dataVersion": "<dataset-version>",
    "apiVersion": "<api-version>",
    "type": "<dataset-type>",
    "timeFrame": "OneTime|TheLastMonth|MonthToDate",
    "granularity": "Daily"
  },
  "deliveryConfig": {
    "partitionData": true,
    "dataOverwriteBehavior": "CreateNewReport|OverwritePreviousReport",
    "fileFormat": "Csv",
    "containerUri": "<storage-resource-id>",
    "rootFolderPath": "<path>"
  },
  "runInfo": {
    "executionType": "Scheduled",
    "submittedTime": "2024-02-03T18:33:03.1032074Z",
    "runId": "af754a8e-30fc-4ef3-bfc6-71bd1efb8598",
    "startDate": "2024-01-01T00:00:00",
    "endDate": "2024-01-31T00:00:00"
  },
  "blobs": [
    {
      "blobName": "<path>/<export-name>/<date-range>/<export-time>/<guid>/<file-name>.csv",
      "byteCount": ###
    }
  ]
}

Rozbočovače FinOps používají následující vlastnosti:

exportConfig.resourceId určit rozsah.
exportConfig.type k identifikaci typu datové sady.
exportConfig.dataVersion k identifikaci verze datové sady.
runInfo.startDate k identifikaci exportovaného měsíce.

Rozbočovače FinOps podporují následující typy datových sad, verze a verze rozhraní API:

FocusCost: 1.0, 1.0-preview(v1)
Ceník: 2023-05-01
ReservationDetails: 2023-03-01
Doporučení rezervace: 2023-05-01
RezervaceTransactions: 2023-05-01
Verze rozhraní API: 2023-07-01-preview

FinOps Hubs v0.4-0.5

Následující informace popisují, jak se data zpracovávají ve službě FinOps Hubs v0.4-0.5.

Nastavení oboru ve verzi 0.4-0.5

Trigger config_SettingsUpdated se spustí při aktualizaci souboru settings.json .
Kanál config_ConfigureExports vytvoří nové exporty pro všechny přidané nové obory.

Příjem dat ve verzi 0.4-0.5

Pro spravované obory:

Triggery config_DailySchedule a config_MonthlySchedule se spouštějí podle příslušných plánů, aby zahájily příjem dat.
Kanál config_ExportData získá příslušné exporty pro plán, který je spuštěný.
Kanál config_RunExports spustí každý z vybraných exportů.
Cost Management exportuje nezpracované podrobnosti nákladů do kontejneru msexports . Další informace naleznete v tématu o exportech v04-05.

Po dokončení exportu pro spravované i nespravované obory:

Kanál msexports_ExecuteETL spustí proces extrakce a transformace načítání (ETL) při přidání souborů do úložiště.
Kanál msexports_ETL_ingestion transformuje data na standardní schéma a uloží nezpracovaná data ve formátu Parquet do kontejneru pro příjem dat . Další informace najdete v tématu o příjmu dat v04-05.
Power BI čte data nákladů z kontejneru příjmu dat .

Příjem dat ve verzi 0.4-0.5

Rozbočovače FinOps spoléhají na konkrétní cestu ke složce v kontejneru příjmu dat:

ingestion/{dataset}/{yyyy}/{mm}/{scope-id}

ingestion je kontejner, do kterého datový kanál ukládá data.
{dataset} je exportovaný typ datové sady.
{month} je rok a měsíc exportovaných dat formátovaných jako yyyyMM.
{scope-id} očekává se, že se jedná o plně kvalifikované ID prostředku oboru, ze které data pocházejí.

Pokud potřebujete k monitorování dat mimo Azure použít rozbočovače, převeďte je na FOCUS a přesuňte je do kontejneru pro příjem dat . Tento proces nebyl explicitně testován v nejnovější verzi. Pokud dojde k nějakým problémům, vytvořte problém.

Informace o exportech ve verzi 0.4-0.5

{container}/{path}/{date-range}/{export-name}/{export-time}/{guid}/{file}

Poznámka:

Neexportujte data do kontejneru pro příjem dat . Exportované sdílené svazky clusteru musí být publikovány do kontejneru msexports , který má modul hubs zpracovat.

Pokud chcete ingestovat vlastní data, uložte soubory Parquet zarovnané fokusem do kontejneru pro příjem dat, aby sestavy Power BI sady FinOps fungovaly podle očekávání.

Manifesty exportu se můžou měnit s verzemi rozhraní API. Tady je příklad verze rozhraní API 2023-07-01-preview:

{
  "exportConfig": {
    "exportName": "<export-name>",
    "resourceId": "/<scope>/providers/Microsoft.CostManagement/exports/<export-name>",
    "dataVersion": "<dataset-version>",
    "apiVersion": "<api-version>",
    "type": "<dataset-type>",
    "timeFrame": "OneTime|TheLastMonth|MonthToDate",
    "granularity": "Daily"
  },
  "deliveryConfig": {
    "partitionData": true,
    "dataOverwriteBehavior": "CreateNewReport|OverwritePreviousReport",
    "fileFormat": "Csv",
    "containerUri": "<storage-resource-id>",
    "rootFolderPath": "<path>"
  },
  "runInfo": {
    "executionType": "Scheduled",
    "submittedTime": "2024-02-03T18:33:03.1032074Z",
    "runId": "af754a8e-30fc-4ef3-bfc6-71bd1efb8598",
    "startDate": "2024-01-01T00:00:00",
    "endDate": "2024-01-31T00:00:00"
  },
  "blobs": [
    {
      "blobName": "<path>/<export-name>/<date-range>/<export-time>/<guid>/<file-name>.csv",
      "byteCount": ###
    }
  ]
}

Rozbočovače FinOps používají následující vlastnosti:

exportConfig.resourceId určit rozsah.
exportConfig.type k identifikaci typu datové sady.
exportConfig.dataVersion k identifikaci verze datové sady.
runInfo.startDate k identifikaci exportovaného měsíce.

Rozbočovače FinOps podporují následující typy datových sad, verze a verze rozhraní API:

FocusCost: 1.0, 1.0-preview(v1)
Ceník: 2023-05-01
ReservationDetails: 2023-03-01
Doporučení rezervace: 2023-05-01
RezervaceTransactions: 2023-05-01
Verze rozhraní API: 2023-07-01-preview

FinOps Hubs v0.2-0.3

Následující kroky popisují proces exportu a zpracování nákladových dat pomocí center FinOps verze 0.2-0.3:

Cost Management exportuje nezpracované podrobnosti nákladů do kontejneru msexports . Další informace najdete v tématu o exportech.
Kanál msexports_ExecuteETL spustí proces extrakce a transformace načítání (ETL) při přidání souborů do úložiště.
Kanál msexports_ETL_ingestion ukládá exportovaná data ve formátu parquet v kontejneru pro příjem dat . Další informace najdete v tématu o exportech.
Power BI čte data nákladů z kontejneru příjmu dat .

Centra FinOps 0.2-0.3 používají cestu exportu k určení exportovaného oboru a měsíce. Tento bod je důležitý, protože aktualizace cesty můžou přerušit datové kanály. Pokud se chcete tomuto problému vyhnout, doporučujeme aktualizovat centrum FinOps 0.4. Očekávaná cesta by měla napodobovat:

msexports/{scope-id}/{export-name}/{date-range}/{export-time}/{guid}/{file}

msexports je kontejner určený pro export.

{scope-id} je cesta ke složce zadaná při exportu.

Hubs 0.3 a starší používají k identifikaci rozsahu, ze kterého data pocházejí. Doporučujeme použít ID oboru, ale můžete použít libovolnou hodnotu. Mezi příklady ID oboru patří:

Typ oboru Příklad hodnoty

Předplatné /subscriptions/###

Skupina prostředků /subscriptions/###/resourceGroups/###

Fakturační účet /providers/Microsoft.Billing/billingAccounts/###

Fakturační profil /providers/Microsoft.Billing/billingAccounts/###/billingProfiles/###

{export-name} je název exportu.

Rozbočovače tuto složku ignorují.
{date-range} je data rozsahu kalendářních dat, která se exportují.

Hubs 0.3 a starší použijte k identifikaci měsíce. Formát pro tuto složku je yyyyMMdd-yyyyMMdd. Hubs 0.4 místo toho používá manifest.
{export-time} je časové razítko spuštění exportu.

Centra to ignorují. Formát pro tuto složku je yyyyMMddHHmm.
{guid} je jedinečný identifikátor GUID a není vždy k dispozici.

Centra to ignorují. Cost Management tuto složku neobsahuje vždy. To, jestli je zahrnuté, závisí na verzi rozhraní API použité k vytvoření exportu.
{file} je buď manifest, nebo exportovaná data.

Verze 0.3 a starší ignorují soubory manifestu a monitorují pouze soubory *.csv . V budoucí verzi budou centra monitorovat manifest.

Typ oboru	Příklad hodnoty
Předplatné	`/subscriptions/###`
Skupina prostředků	`/subscriptions/###/resourceGroups/###`
Fakturační účet	`/providers/Microsoft.Billing/billingAccounts/###`
Fakturační profil	`/providers/Microsoft.Billing/billingAccounts/###/billingProfiles/###`

FinOps Hubs v0.1

Následující kroky popisují proces exportu a zpracování nákladových dat pomocí center FinOps verze 0.1:

Cost Management exportuje nezpracované podrobnosti nákladů do kontejneru msexports .
Kanál msexports_transform uloží nezpracovaná data ve formátu Parquet do kontejneru pro příjem dat .
Power BI čte data nákladů z kontejneru příjmu dat .

Sdílet prostřednictvím

Způsob zpracování dat v centrech FinOps

Nastavení oboru

Příjem dat

Informace o příjmu dat

Informace o exportech

FinOps Hubs v0.4-0.5

Nastavení oboru ve verzi 0.4-0.5

Příjem dat ve verzi 0.4-0.5

Příjem dat ve verzi 0.4-0.5

Informace o exportech ve verzi 0.4-0.5

FinOps Hubs v0.2-0.3

FinOps Hubs v0.1

Váš názor

Další materiály

Sdílet prostřednictvím

Způsob zpracování dat v centrech FinOps

Nastavení oboru

Příjem dat

Informace o příjmu dat

Informace o exportech

FinOps Hubs v0.4-0.5

Nastavení oboru ve verzi 0.4-0.5

Příjem dat ve verzi 0.4-0.5

Příjem dat ve verzi 0.4-0.5

Informace o exportech ve verzi 0.4-0.5

FinOps Hubs v0.2-0.3

FinOps Hubs v0.1

Související obsah

Váš názor

Další materiály