Compartir a través de

Plantilla de FinOps Hub

  • Artículo

En este documento se proporciona un resumen detallado de lo que se incluye en la plantilla de implementación de FinOps Hubs. Puede usarlo como guía para ajustar la implementación o para informar a las personalizaciones que puede realizar en la plantilla para satisfacer sus necesidades organizativas. En este documento se explican los requisitos previos necesarios para implementar la plantilla, los parámetros de entrada que puede personalizar, los recursos que se implementarán y las salidas de la plantilla. Las salidas de plantilla se pueden usar para conectar con instancias de su centro en Power BI, Data Explorer u otras herramientas.

FinOps Hubs incluye muchos recursos para ofrecer una plataforma finOps segura y escalable. Entre los principales recursos con los que interactuará se incluyen:

  • Explorador de datos (Kusto) como almacén de datos escalable para análisis avanzados (opcional).
  • Cuenta de almacenamiento (Data Lake Storage Gen2) como área de almacenamiento provisional para la ingesta de datos.
  • Instancia de Data Factory para administrar la ingesta y limpieza de datos.

Importante

Para usar la plantilla, debe crear exportaciones de Cost Management para publicar datos en el contenedor de msexports en la cuenta de almacenamiento incluida. Para obtener más información, consulte Creación de un nuevo centro.


Requisitos previos

Asegúrese de que se cumplen los siguientes requisitos previos antes de implementar la plantilla:

  • Debe tener los permisos siguientes para crear los recursos implementados.

    Resource RBAC mínimo de Azure
    Implementación y configuración de Data Factory¹ Colaborador de Factoría de datos
    Implementación de Key Vault¹ Colaborador de almacén de claves
    Configuración de secretos de Key Vault¹ Administrador de Key Vault
    Creación de una identidad administrada¹ Colaborador de identidad administrada
    Implementación y configuración de storage¹ Colaborador de la cuenta de almacenamiento
    Asignar identidad administrada a recursos¹ Operador de identidad administrada
    Crear scripts de implementación¹ Rol personalizado que solo contiene los Microsoft.Resources/deploymentScripts/write permisos y Microsoft.ContainerInstance/containerGroups/write como acciones permitidas o, como alternativa, Colaborador, que incluye estos permisos y todos los roles anteriores
    Asignar permisos a identidades administradas¹ Administrador de control de acceso basado en roles o, como alternativa, propietario, que incluye este rol y todos los roles anteriores
    Creación de una suscripción o exportación de costos de grupo de recursos² Colaborador de Cost Management
    Creación de una exportación de costos de facturación de EA² Lector de empresa, Lector de departamento o Propietario de la cuenta de inscripción (más información)
    Crear una exportación de costos de facturación de MCA² Colaborador
    Lectura de datos de blobs en storage³ Colaborador de datos de blobs de almacenamiento

    ¹ Es suficiente asignar permisos de implementación de recursos de concentradores en el ámbito del grupo de recursos.
    Los permisos de Cost Management ² deben asignarse en el ámbito desde el que desea exportar los costos.
    Se requieren permisos de datos de blobs para acceder a los datos de costos exportados desde Power BI u otras herramientas de cliente.

  • El proveedor de recursos Microsoft.EventGrid debe estar registrado en la suscripción. Para más información, consulte Registro de un proveedor de recursos.

    Importante

    Si olvida este paso, la implementación se realizará correctamente, pero el desencadenador de canalización no se iniciará y los datos no estarán listos. Para más información, consulte Solución de problemas de informes de Power BI.


Parámetros

Estos son los parámetros que puede usar para personalizar la implementación:

Parámetro Tipo Descripción Default value
hubName Cadena Opcional. Nombre del centro. Se usa para garantizar nombres de recursos únicos. "finops-hub"
ubicación Cadena Opcional. Ubicación de Azure donde se deben crear todos los recursos. Vea https://aka.ms/azureregions. Igual que la implementación
storageSku Cadena Opcional. SKU de almacenamiento que se va a usar. LRS = Costo más bajo, ZRS = Alta disponibilidad. Nota Las SKU estándar no están disponibles para el almacenamiento de Data Lake Gen2. Permitido: Premium_LRS, Premium_ZRS. "Premium_LRS"
dataExplorerName Cadena Opcional. Nombre del clúster de Azure Data Explorer que se va a usar para el análisis avanzado. Si está vacío, Azure Data Explorer no se implementará. Es necesario utilizarlas con Power BI si usted tiene más de 2-5 millones de dólares/mes en costes supervisados. Valor predeterminado: "" (no se usa).
dataExplorerSkuName Cadena Opcional. Nombre de la SKU de Azure Data Explorer. Valor predeterminado: "Dev(No SLA)_Standard_E2a_v4".
dataExplorerSkuTier Cadena Opcional. Nivel de SKU para el clúster de Azure Data Explorer. Use Básico para el costo más bajo sin Acuerdo de Nivel de Servicio (debido a un único nodo). Use Estándar para lograr una alta disponibilidad y mejorar el rendimiento. Valores permitidos: Básico, Estándar. Valor predeterminado: "Básico".
dataExplorerSkuCapacity Int Opcional. Número de nodos que se van a usar en el clúster. Valores permitidos: 1 para el nivel de SKU básica y 2-1000 para Standard. Valor predeterminado: 1.
etiquetas Objeto Opcional. Etiquetas que se aplicarán a todos los recursos. También agregaremos la etiqueta cm-resource-parent para mejorar las agregaciones de costos en la Gestión de Costos.
tagsByResource Objeto Opcional. Etiquetas que se aplicarán a los recursos en función de su tipo de recurso. Las etiquetas específicas del tipo de recurso se combinarán con etiquetas para todos los recursos.
scopesToMonitor Array Opcional. Lista de identificadores de ámbito para supervisar e ingerir costos.
exportRetentionInDays Int Opcional. Número de días de datos que se conservarán en el contenedor msexports. 0
ingestionRetentionInMonths Int Opcional. Número de meses de datos que se conservarán en el contenedor de ingesta. 13
dataExplorerLogRetentionInDays Int Opcional. Número de días de datos que se conservarán en las tablas *_log del Explorador de Datos. 0
dataExplorerFinalRetentionInMonths Int Opcional. Número de meses de datos que se conservarán en las tablas *_final_v* del Explorador de datos. 13
remoteHubStorageUri Cadena Opcional. Cuenta de almacenamiento para insertar datos en para la ingesta en un centro remoto.
remoteHubStorageKey Cadena Opcional. Clave de cuenta de almacenamiento que se usará al insertar datos en un centro remoto.
habilitarAccesoPúblico string Opcional. Deshabilite el acceso público a datalake (firewall de almacenamiento). Falso
virtualNetworkAddressPrefix Cadena Opcional. Intervalo de direcciones IP para la red virtual privada utilizada por los centros de FinOps. /26 es recomendado para evitar desperdiciar direcciones IP. Internamente, se crearán las siguientes subredes: /28 para puntos de conexión privados, otra subred /28 para scripts de implementación temporales (instancias de contenedor) y /27 para Azure Data Explorer, si está habilitado. '10.20.30.0/26'

Recursos

Los siguientes recursos se crean en el grupo de recursos de destino durante la implementación.

Los recursos usan la siguiente convención de nomenclatura: <hubName>-<purpose>-<unique-suffix>. Los nombres se ajustan para tener en cuenta las restricciones de longitud y caracteres. <unique-suffix> se usa para garantizar que los nombres de recursos sean únicos globalmente cuando sea necesario.

  • <hubName>store<unique-suffix> cuenta de almacenamiento (Data Lake Storage Gen2)
    • Contenedores de blobs:
      • msexports – Almacena temporalmente las exportaciones de Cost Management.
      • ingestion : almacena los datos ingeridos.

        Nota:

        En el futuro, usaremos este contenedor para almacenar provisionalmente datos externos fuera de Cost Management.- config : almacena los metadatos del centro y los valores de configuración. Archivos:

        • settings.json – Configuración del concentrador.
        • schemas/focuscost_1.0.json – Definición de esquema FOCUS 1.0 para la conversión de parquet.
        • schemas/focuscost_1.0-preview(v1).json – Definición de esquema FOCUS 1.0-preview para la conversión de parquet.
        • schemas/pricesheet_2023-05-01_ea.json: Definición de esquema de EA de la Hoja de precios, versión 2023-05-01, para la conversión de Parquet.
        • schemas/pricesheet_2023-05-01_mca.json: Definición de esquema de MCA de la Hoja de precios, versión 2023-05-01, para la conversión de Parquet.
        • schemas/reservationdeatils_2023-03-01.json: Definición de esquema de detalles de reserva, versión 2023-03-01, para la conversión de Parquet.
        • schemas/reservationrecommendations_2023-05-01_ea.json: Definición de esquema de EA para recomendaciones de reserva, versión 2023-05-01, para la conversión a Parquet.
        • schemas/reservationrecommendations_2023-05-01_mca.json: Definición de esquema de MCA para recomendaciones de reserva, versión 2023-05-01, para la conversión a Parquet.
        • schemas/reservationtransactions_2023-05-01_ea.json: Definición de esquema de EA para transacciones de reserva, versión 2023-05-01, para la conversión a Parquet.
        • schemas/reservationtransactions_2023-05-01_mca.json: Definición de esquema de MCA para transacciones de reserva, versión 2023-05-01, para la conversión a Parquet.
  • Cuenta de almacenamiento <hubName>script<unique-suffix> (Data Lake Storage Gen2) para scripts de implementación.
  • <hubName>-engine-<unique-suffix> Instancia de Data Factory
    • Tuberías:
      • config_InitializeHub: inicializa (o actualiza) la instancia del centro de FinOps después de la implementación.
      • config_ConfigureExports – Crea exportaciones de Cost Management para todos los ámbitos.
      • config_StartBackfillProcess : ejecuta el trabajo de reposición para cada mes en función de la configuración de retención.
      • config_RunBackfillJob : crea y desencadena exportaciones para todos los ámbitos definidos para el intervalo de fechas especificado.
      • config_StartExportProcess : obtiene una lista de todas las exportaciones de Cost Management configuradas para este centro en función de los ámbitos definidos en settings.json y, a continuación, ejecuta cada exportación mediante la canalización de config_RunExportJobs.
      • config_RunExportJobs : ejecuta las exportaciones de Cost Management especificadas.
      • msexports_ExecuteETL : pone en cola la msexports_ETL_ingestion canalización para tener en cuenta los límites del desencadenador de canalización de Data Factory.
      • msexports_ETL_ingestion – Convierte las exportaciones de Cost Management en parquet y elimina los datos históricos duplicados en la exportación de cada día.
      • ingestion_ExecuteETL : pone en cola la ingestion_ETL_dataExplorer canalización para tener en cuenta los límites del desencadenador de canalización de Data Factory.
      • ingestion_ETL_dataExplorer: Ingiere datos de Parquet en un clúster de Azure Data Explorer.
    • Desencadenantes:
      • config_SettingsUpdated : desencadena la config_ConfigureExports canalización cuando se actualiza settings.json.
      • config_DailySchedule : desencadena la config_RunExportJobs canalización diariamente para los datos de costo del mes actual.
      • config_MonthlySchedule : desencadena la config_RunExportJobs canalización mensual para los datos de costos del mes anterior.
      • msexports_ManifestAdded : desencadena la msexports_ExecuteETL canalización cuando se completan las exportaciones de Cost Management.
      • ingestion_ManifestAdded: activa la canalización de ingestion_ExecuteETL cuando se agregan archivos manifest.json (gestionados mediante la canalización de msexports_ETL_ingestion).
    • Puntos de conexión privados administrados
      • <hubName>store<unique-suffix>: punto de conexión privado administrado para la cuenta de almacenamiento.
      • <hubName>-vault-<unique-suffix>: punto de conexión privado administrado para Azure Key Vault.
  • <hubName>-vault-<unique-suffix> Instancia de Key Vault
    • Secretos:
      • Identidad administrada del sistema de Data Factory
  • Clúster de explorador de datos <dataExplorerName>
    • Base de datos Hub: funciones orientadas al público para abstraer los elementos internos.
      • Incluye 2 conjuntos de funciones:
        • Funciones específicas del conjunto de datos para la versión de FOCUS compatible más reciente (por ejemplo, Costs, Prices).
        • Funciones específicas del conjunto de datos para cada versión de FOCUS compatible (por ejemplo, Costs_v1_0 para FOCUS 1.0). Estas funciones se proporcionan para la compatibilidad con versiones anteriores. Todas las funciones devuelven todos los datos alineados con la versión FOCUS de destino.
      • Los conjuntos de datos incluyen: Costs, Prices.
      • Entre las versiones de FOCUS admitidas se incluyen: v1_0.
    • Ingestion base de datos: almacena los datos ingeridos.
      • Configuración:
        • HubSettingsLog tabla: almacena un historial de cambios de configuración de alto nivel (por ejemplo, versiones, ámbitos).
        • Función HubSettings: obtiene la versión más reciente de la configuración de la instancia del concentrador.
        • Función HubScopes: obtiene los ámbitos configurados actualmente para esta instancia del centro de operaciones.
      • Abrir datos:
      • Conjuntos de datos:
        • Tabla <dataset>_raw – Datos sin procesar procedentes directamente del origen de ingesta. Usa un esquema de unión para los datos de varios orígenes.
        • <dataset>_transform_vX_Y función: normaliza y limpia los datos sin procesar para alinearse con la versión FOCUS de destino mediante tablas de datos abiertas según sea necesario.
        • Tabla <dataset>_final_vX_Y: versión depurada de la tabla sin procesar correspondiente alineada con la versión FOCUS de destino. Rellenada a través de una directiva de actualización que usa la función de transformación correspondiente cuando los datos se ingieren en tablas sin procesar.

Además de la información anterior, se crean los siguientes recursos para automatizar el proceso de implementación. Los scripts de implementación se deben eliminar automáticamente. Sin embargo, no elimine las identidades administradas, ya que podría provocar errores al actualizar a la próxima versión.

  • Identidades administradas:
    • <storage>_blobManager (Colaborador de datos de Storage Blob): carga el archivo settings.json.
    • <datafactory>_triggerManager (Colaborador de Data Factory): detiene los desencadenadores antes de la implementación y los inicia después de la implementación.
  • Scripts de implementación (eliminados automáticamente después de una implementación correcta):
    • <datafactory>_deleteOldResources : elimina los recursos no utilizados de las implementaciones anteriores de FinOps Hubs.
    • <datafactory>_stopTriggers : detiene todos los desencadenadores del centro mediante la identidad triggerManager.
    • <datafactory>_startTriggers : inicia todos los desencadenadores del centro mediante la identidad triggerManager.
    • <storage>_uploadSettings : carga el archivo settings.json mediante la identidad de BlobManager.

Salidas

Estas son las salidas generadas por la implementación:

Output Tipo Descripción Valor
name Cadena Nombre del grupo de recursos.
ubicación Cadena Los recursos de ubicación de recursos de Azure se implementaron en.
dataFactorytName Cadena Nombre de Data Factory.
storageAccountId Cadena Identificador de recurso de la cuenta de almacenamiento implementada.
storageAccountName Cadena Nombre de la cuenta de almacenamiento creada para la instancia del centro. Esto se debe usar al conectar informes de Power BI del kit de herramientas de FinOps a los datos.
storageUrlForPowerBI Cadena Dirección URL que se usará al conectar informes personalizados de Power BI a los datos.
clusterId Cadena Identificador de recurso del clúster de Data Explorer.
clusterUri Cadena URI del clúster de Data Explorer.
ingestionDbName Cadena Nombre de la base de datos del Explorador de datos usada para la ingesta de datos.
hubDbName Cadena Nombre de la base de datos del Explorador de datos usada para consultar datos.
managedIdentityId Cadena Id. de objeto de la identidad administrada de Data Factory. Esto será necesario al configurar exportaciones administradas.
managedIdentityTenantId Cadena Identificador de inquilino de Azure AD. Esto será necesario al configurar exportaciones administradas.

Contenido relacionado