Sdílet prostřednictvím

Šablona centra FinOps

  • Článek

Tento dokument obsahuje podrobný přehled toho, co je součástí šablony nasazení Center FinOps. Můžete ho použít jako vodítko k ladění nasazení nebo k informování vlastních nastavení, která můžete v šabloně provést, aby vyhovovala potřebám vaší organizace. Tento dokument vysvětluje požadované požadavky pro nasazení šablony, vstupní parametry, které můžete přizpůsobit, prostředky, které se nasadí, a výstupy šablony. Výstupy šablon se dají použít k připojení k instancím centra v Power BI, Průzkumníku dat nebo jiných nástrojích.

Centra FinOps obsahují různé zdroje, které nabízejí bezpečnou a škálovatelnou platformu FinOps. Mezi hlavní prostředky, se kterými budete pracovat, patří:

  • Průzkumník dat (Kusto) jako škálovatelný úložiště dat pro pokročilou analýzu (volitelné).
  • Účet úložiště (Data Lake Storage Gen2) jako pracovní oblast pro příjem dat
  • Instance služby Data Factory pro správu příjmu a čištění dat

Důležité

Pokud chcete šablonu použít, musíte vytvořit exporty služby Cost Management, které publikují data do kontejneru msexports v zahrnutém účtu úložiště. Další informace najdete v tématu Vytvoření nového centra.


Požadavky

Před nasazením šablony se ujistěte, že jsou splněné následující požadavky:

  • K vytvoření nasazených prostředků musíte mít následující oprávnění.

    Prostředek Minimální azure RBAC
    Nasazení a konfigurace služby Data Factory¹ Přispěvatel data Factory
    Nasazení služby Key Vault¹ Přispěvatel služby Key Vault
    Konfigurace tajných kódů služby Key Vault¹ Správce služby Key Vault
    Vytvoření spravované identity¹ Přispěvatel spravované identity
    Nasazení a konfigurace úložiště¹ Přispěvatel účtů úložiště
    Přiřazení spravované identity k prostředkům¹ Operátor spravované identity
    Vytvoření skriptů nasazení¹ Vlastní role obsahující pouze Microsoft.Resources/deploymentScripts/write povolené akce a Microsoft.ContainerInstance/containerGroups/write oprávnění, případně přispěvatele, která zahrnuje tato oprávnění a všechny výše uvedené role
    Přiřazení oprávnění ke spravovaným identitám¹ Správce řízení přístupu na základě rolí nebo vlastník, který zahrnuje tuto roli a všechny výše uvedené role
    Vytvoření předplatného nebo skupiny prostředků – export nákladů² Přispěvatel služby Cost Management
    Vytvoření exportu fakturačních nákladů EA² Enterprise Reader, Department Reader nebo Vlastník registračního účtu (další informace)
    Vytvoření exportu fakturačních nákladů MCA² Přispěvatel
    Čtení dat objektů blob v úložišti³ Přispěvatel dat objektů blob úložiště

    ¹ Stačí přiřadit oprávnění k nasazení prostředků centra v oboru skupiny prostředků.
    ² Oprávnění služby Cost Management musí být přiřazena v oboru, ze kterého chcete náklady exportovat.
    Pro přístup k exportovaným datům nákladů z Power BI nebo jiných klientských nástrojů se vyžadují oprávnění k datům o objektech blob ³.

  • Ve vašem předplatném musí být zaregistrovaný poskytovatel prostředků Microsoft.EventGrid. Další informace najdete v tématu Registrace poskytovatele prostředků.

    Důležité

    Pokud tento krok zapomenete, nasazení proběhne úspěšně, ale trigger kanálu se nespustí a data nebudou připravená. Další informace najdete v tématu Řešení potíží se sestavy Power BI.


Parametry

Tady jsou parametry, které můžete použít k přizpůsobení nasazení:

Parametr Typ Popis Default value
hubName String Nepovinné. Název centra Slouží k zajištění jedinečných názvů prostředků. "finops-hub"
location String Nepovinné. Umístění Azure, kde by měly být vytvořeny všechny prostředky. Viz třída https://aka.ms/azureregions. Stejné jako nasazení
storageSku String Nepovinné. Skladová položka úložiště, která se má použít. LRS = Nejnižší náklady, ZRS = Vysoká dostupnost. Poznámka: Skladové položky úrovně Standard nejsou dostupné pro úložiště Data Lake Gen2. Povoleno: Premium_LRS, Premium_ZRS. "Premium_LRS"
dataExplorerName String Nepovinné. Název clusteru Azure Data Exploreru, který se má použít pro pokročilou analýzu Pokud je prázdný, Azure Data Explorer se nenasadí. Vyžaduje se pro použití s Power BI, pokud máte monitorované náklady více než 2–5 milionů USD/mo. Výchozí hodnota: "" (nepoužívejte).
dataExplorerSkuName String Nepovinné. Název skladové položky Azure Data Exploreru Výchozí hodnota: "Dev(No SLA)_Standard_E2a_v4".
dataExplorerSkuTier String Nepovinné. Úroveň SKU pro cluster Azure Data Explorer. Použijte Basic pro nejnižší náklady bez SLA (služební úrovňové dohody), protože je použit pouze jeden uzel. Pro zajištění vysoké dostupnosti a lepšího výkonu používejte Standard. Povolené hodnoty: Basic, Standard. Výchozí hodnota: "Basic".
dataExplorerSkuCapacity Int Nepovinné. Počet uzlů, které se mají použít v clusteru Povolené hodnoty: 1 pro úroveň SKU Basic a 2–1000 pro Standard. Výchozí hodnota: 1.
značek Objekt Nepovinné. Značky, které se mají použít pro všechny prostředky. Přidáme také značku cm-resource-parent pro vylepšené souhrny nákladů ve službě Cost Management.
tagsByResource Objekt Nepovinné. Značky, které se mají použít u prostředků na základě jejich typu prostředku. Konkrétní značky typu prostředku budou sloučeny se značkami pro všechny prostředky.
scopesToMonitor Pole Nepovinné. Seznam ID rozsahu pro monitorování a ingestování nákladů
exportRetentionInDays Int Nepovinné. Počet dnů uchovávání dat v kontejneru msexports 0
ingestionRetentionInMonths Int Nepovinné. Počet měsíců, po které se mají uchovávat data v příjmovém kontejneru. 13
retenčníDobaProtokoluDataExplorerVeDnech Int Nepovinné. Počet dnů, po které si Průzkumník dat uchovává data v tabulkách *_log. 0
KonečnáDobaUloženíDatPrůzkumníkaVMěsících Int Nepovinné. Počet měsíců uchovávání dat v tabulkách *_final_v* v Průzkumníku dat 13
remoteHubStorageUri String Nepovinné. Účet úložiště pro odesílání dat pro příjem dat do vzdáleného centra.
remoteHubStorageKey String Nepovinné. Klíč účtu úložiště, který se má použít při odesílání dat do vzdáleného centra.
povolit veřejný přístup string Nepovinné. Zakažte veřejný přístup k datalake (brána firewall úložiště). Falešný
Prefix adresy virtuální sítě String Nepovinné. Rozsah IP adres pro privátní virtuální síť, kterou používají centra FinOps. Doporučuje se používat /26, aby se zabránilo plýtvání IP adresami. Interně se vytvoří následující podsítě: /28 pro privátní koncové body, další podsíť /28 pro dočasné skripty nasazení (instance kontejnerů) a /27 pro Azure Data Explorer, pokud je tato možnost povolená. '10.20.30.0/26'

Zdroje informací

Během nasazování se v cílové skupině prostředků vytvoří následující prostředky.

Prostředky používají následující zásady vytváření názvů: <hubName>-<purpose>-<unique-suffix>. Názvy se upraví tak, aby odpovídaly omezením délky a znaků. Slouží <unique-suffix> k zajištění globálního jedinečného názvu prostředků v případě potřeby.

  • <hubName>store<unique-suffix> účet úložiště (Data Lake Storage Gen2)
    • Kontejnery objektů blob:
      • msexports – Dočasně ukládá exporty služby Cost Management.
      • ingestion – Ukládá ingestované data.

        Poznámka:

        V budoucnu použijeme tento kontejner k fázi externích dat mimo službu Cost Management. - config – Ukládá metadata centra a nastavení konfigurace. Soubory:

        • settings.json – Nastavení centra.
        • schemas/focuscost_1.0.json – DEFINICE schématu FOCUS 1.0 pro převod parquet.
        • schemas/focuscost_1.0-preview(v1).json – FOCUS 1.0-preview definice schématu pro převod parquet.
        • schemas/pricesheet_2023-05-01_ea.json – definice schématu EA ceníku verze 2023-05-01 pro převod parket.
        • schemas/pricesheet_2023-05-01_mca.json – definice schématu MCA ceníku verze 2023-05-01 pro převod parket.
        • schemas/reservationdeatils_2023-03-01.json – definice schématu podrobností rezervace verze 2023-03-01 pro převod do formátu parquet.
        • schemas/reservationrecommendations_2023-05-01_ea.json – definice schématu EA doporučení pro rezervace verze 2023-05-01 pro převod parquet.
        • schemas/reservationrecommendations_2023-05-01_mca.json – definice schématu MCA doporučení pro rezervace verze 2023-05-01 pro převod parquet.
        • schemas/reservationtransactions_2023-05-01_ea.json – Definice schématu EA pro transakce rezervací ve verzi 2023-05-01 pro převod do formátu parquet.
        • schemas/reservationtransactions_2023-05-01_mca.json – definice schématu MCA transakce rezervací verze 2023-05-01 pro převod parquet.
  • <hubName>script<unique-suffix> účet úložiště (Data Lake Storage Gen2) pro skripty nasazení.
  • <hubName>-engine-<unique-suffix> Instance služby Data Factory
    • Potrubí:
      • config_InitializeHub – Inicializuje (nebo aktualizuje) instanci centra FinOps po nasazení.
      • config_ConfigureExports – Vytvoří export služby Cost Management pro všechny obory.
      • config_StartBackfillProcess – Spustí úlohu obnovení pro každý měsíc na základě nastavení uchovávání informací.
      • config_RunBackfillJob – Vytvoří a aktivuje exporty pro všechny definované obory pro zadaný rozsah kalendářních dat.
      • config_StartExportProcess – Získá seznam všech exportů služby Cost Management nakonfigurovaných pro toto centrum na základě oborů definovaných v settings.json a pak spustí každý export pomocí kanálu config_RunExportJobs.
      • config_RunExportJobs – Spustí zadané exporty služby Cost Management.
      • msexports_ExecuteETL – Zařadí kanál do fronty msexports_ETL_ingestion k účtu pro limity aktivačních událostí kanálu služby Data Factory.
      • msexports_ETL_ingestion – Převede export služby Cost Management na parquet a odebere historická data duplikovaná v denním exportu.
      • ingestion_ExecuteETL – Zařadí kanál do fronty ingestion_ETL_dataExplorer k účtu pro limity aktivačních událostí kanálu služby Data Factory.
      • ingestion_ETL_dataExplorer – Přenáší parquetová data do clusteru Azure Data Exploreru.
    • Spouště:
      • config_SettingsUpdated – Aktivuje config_ConfigureExports kanál při aktualizaci settings.json.
      • config_DailySchedule – Aktivuje config_RunExportJobs kanál každý den pro data nákladů aktuálního měsíce.
      • config_MonthlySchedule – Aktivuje config_RunExportJobs kanál měsíčně pro data nákladů za předchozí měsíc.
      • msexports_ManifestAdded – Aktivuje kanál po dokončení exportu msexports_ExecuteETL služby Cost Management.
      • ingestion_ManifestAdded – aktivuje kanál ingestion_ExecuteETL při přidání manifest.json souborů (zpracovávaných kanálem msexports_ETL_ingestion).
    • Spravované privátní koncové body
      • <hubName>store<unique-suffix> – spravovaný soukromý koncový bod pro úložný účet.
      • <hubName>-vault-<unique-suffix> – spravovaný privátní koncový bod pro Azure Key Vault
  • <hubName>-vault-<unique-suffix> Instance služby Key Vault
    • Tajemství:
      • Spravovaná identita systému Data Factory
  • <dataExplorerName> Data Explorer cluster
    • Hub databáze – veřejné funkce pro abstrahování interních prvků.
      • Zahrnuje 2 sady funkcí:
        • Funkce specifické pro datovou sadu pro nejnovější podporovanou verzi FOCUS (např. Costs, Prices).
        • Funkce specifické pro datovou sadu pro každou podporovanou verzi FOCUS (např. Costs_v1_0 pro FOCUS 1.0). Tyto funkce jsou k dispozici pro zpětnou kompatibilitu. Všechny funkce vrátí všechna data zarovnaná s cílovou verzí FOCUS.
      • Mezi datové sady patří: Costs, Prices.
      • Mezi podporované verze FOCUS patří: v1_0.
    • Ingestion databáze – ukládá ingestované data.
      • Nastavení:
        • HubSettingsLog tabulka – ukládá historii změn konfigurace vysoké úrovně (např. verze, obory).
        • HubSettings funkce – Získá nejnovější verzi nastavení instance centra.
        • HubScopes funkce – Získá aktuálně nakonfigurované rozsahy pro tuto instanci hubu.
      • Otevřená data
        • PricingUnits tabulka – soubor mapování PricingUnits ze sady nástrojů FinOps. Používá se pro normalizaci a čištění dat.
        • Regions tabulka – soubor mapování oblastí ze sady nástrojů FinOps. Používá se pro normalizaci a čištění dat.
        • ResourceTypes tabulka – mapovací soubor ResourceTypes ze sady nástrojů FinOps. Používá se pro normalizaci a čištění dat.
        • Services tabulka – mapovací soubor služeb ze sady nástrojů FinOps. Používá se pro normalizaci a čištění dat.
      • Soubory:
        • <dataset>_raw tabulka – nezpracovaná data přímo ze zdroje příjmu dat. Používá schéma sjednocení pro data z více zdrojů.
        • <dataset>_transform_vX_Y funkce – normalizuje a vyčistí nezpracovaná data tak, aby byla v souladu s cílovou verzí FOCUS, a podle potřeby používá otevřené tabulky dat.
        • <dataset>_final_vX_Y tabulka – Čistá verze odpovídající surové tabulky, zarovnaná s cílovou verzí FOCUS. Naplňování probíhá přes aktualizační zásadu, která používá odpovídající transformační funkci při vkládání dat do surových tabulek.

Kromě předchozích informací se vytvoří následující prostředky, které automatizují proces nasazení. Skripty nasazení by se měly odstranit automaticky. Spravované identity ale neodstraňovat, protože by mohly způsobit chyby při upgradu na další verzi.

  • Spravované identity:
    • <storage>_blobManager (Přispěvatel dat objektů blob úložiště) – nahraje settings.json soubor.
    • <datafactory>_triggerManager (Přispěvatel služby Data Factory) – Zastaví triggery před nasazením a po nasazení je spustí.
  • Skripty nasazení (automaticky odstraněné po úspěšném nasazení):
    • <datafactory>_deleteOldResources – Odstraní nepoužívané prostředky z předchozích nasazení center FinOps.
    • <datafactory>_stopTriggers – Zastaví všechny triggery v centru pomocí identity triggerManager.
    • <datafactory>_startTriggers – Spustí všechny triggery v centru pomocí identity triggerManager.
    • <storage>_uploadSettings – Nahraje soubor settings.json pomocí identity blobManager.

Výstupy

Tady jsou výstupy vygenerované nasazením:

Výstup Typ Popis Hodnota
Jméno String Název skupiny prostředků
location String Prostředky umístění prostředků Azure byly nasazeny do.
dataFactorytName String Název služby Data Factory.
storageAccountId String ID prostředku účtu úložiště, který byl nasazen.
storageAccountName String Název účtu úložiště vytvořeného pro instanci centra To musí být použito při připojování sestav Power BI nástroje FinOps k vašim datům.
storageUrlForPowerBI String Adresa URL, která se má použít při připojování vlastních sestav Power BI k vašim datům.
clusterId String ID prostředku clusteru Průzkumníka dat.
clusterUri String URI clusteru Data Exploreru.
ingestionDbName String Název databáze Průzkumníka dat, která se používá k ingestování dat.
hubDbName String Název databáze Průzkumníka dat, která se používá k dotazování dat.
managedIdentityId String ID objektu spravované identity služby Data Factory To bude potřeba při konfiguraci spravovaných exportů.
managedIdentityTenantId String ID klienta Azure AD. To bude potřeba při konfiguraci spravovaných exportů.

Související obsah