Inventario de blobs de Azure Storage

Artículo
03/28/2024

El inventario de Azure Storage Blob proporciona una lista de los contenedores, blobs, versiones de blobs e instantáneas de la cuenta de almacenamiento, junto con sus propiedades asociadas. Genera un informe de salida en valores separados por comas (CSV) o en formato Apache Parquet de forma diaria o semanal. Puede usar el informe para auditar la retención, la suspensión legal o el estado de cifrado del contenido de la cuenta de almacenamiento, o puede usarlo para comprender el tamaño total de los datos, la antigüedad, la distribución de capas u otros atributos de los datos. También puede usar el inventario de blobs para simplificar los flujos de trabajo empresariales o acelerar los trabajos de procesamiento de datos mediante el inventario de blobs como automatización programada de las API List Containers y List Blobs. Las reglas de inventario de blobs permiten filtrar el contenido del informe por tipo de blob, prefijo o seleccionando las propiedades del blob que se van a incluir en el informe.

El inventario de blobs de Azure Storage está disponible para los siguientes tipos de cuentas de almacenamiento:

De uso general, estándar, v2
Almacenamiento de blobs en bloques Prémium
Blob Storage

Características de inventario

En la siguiente lista se describen las características y funcionalidades disponibles en la versión actual del inventario de blobs de Azure Storage.

Informes de inventario para blobs y contenedores

Puede generar informes de inventario para blobs y contenedores. Un informe para blobs puede contener blobs base, instantáneas, longitud de contenido, versiones de blob y sus propiedades asociadas, como la hora de creación o la hora de la última modificación. No aparecen contenedores vacíos en el informe de inventario de blobs. En un informe para contenedores se describen los contenedores y sus propiedades asociadas, como el estado de la directiva de inmutabilidad o el estado de suspensión legal.
Esquema personalizado

Puede elegir qué campos aparecen en los informes. Elija entre una lista de campos admitidos. La lista aparece más adelante en este artículo.
Formato de salida CSV y Apache Parquet

Puede generar un informe de inventario con formato de salida CSV o Apache Parquet.
Archivo de manifiesto y evento de Azure Event Grid por informe de inventario

Por cada informe de inventario se generan un archivo de manifiesto y un evento de Azure Event Grid. Estos se describen más adelante en este artículo.

Habilitación de los informes de inventario

Para habilitar los informes de inventario de blobs, agregue una directiva con una o más reglas a su cuenta de almacenamiento. Para obtener instrucciones, consulte Habilitación de los informes de inventario de blobs de Azure Storage.

Actualización de una directiva de inventario

Si ya es usuario de inventarios de blobs de Azure Storage y ha configurado el inventario antes de junio de 2021, puede empezar a usar las nuevas características cargando la directiva y, luego, guardándola de nuevo después de realizar cambios. Al volver a cargar la directiva, los nuevos campos de esta se rellenarán con los valores predeterminados. Si lo desea, puede cambiar estos valores. Además, estarán disponibles las dos características siguientes:

Ahora se admite un contenedor de destino para todas las reglas, en lugar de ser solo compatible con la directiva.
Ahora se generan un archivo de manifiesto y un evento de Azure Event Grid por regla, en lugar de por directiva.

Directiva de inventario

Un informe de inventario se configura mediante la adición de una directiva de inventario con una o más reglas. Una directiva de inventario es una colección de reglas en un documento JSON.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  }]
}

Para ver el documento JSON para una directiva de inventario, seleccione la pestaña Vista Código en la sección Blob inventory (Inventario de blobs) de Azure Portal.

Nombre de parámetro	Tipo de parámetro	Notas	¿Necesario?
enabled	boolean	Se usa para deshabilitar toda la directiva. Cuando se establece en true, el campo habilitado de nivel de regla invalida este parámetro. Cuando se deshabilita, se deshabilitará el inventario para todas las reglas.	Sí
reglas	Matriz de objetos de regla	Se requiere al menos una regla en una directiva. Se admiten hasta 100 reglas por directiva.	Sí

Reglas de inventario

Una regla captura las condiciones de filtrado y los parámetros de salida para generar un informe de inventario. Cada regla crea un informe de inventario. Las reglas pueden tener prefijos superpuestos. Un blob puede aparecer en más de un inventario en función de las definiciones de la regla.

Cada regla de la directiva tiene varios parámetros:

Nombre de parámetro	Tipo de parámetro	Notas	¿Necesario?
name	string	Un nombre de regla puede incluir hasta 256 caracteres alfanuméricos que distinguen mayúsculas de minúsculas. El nombre debe ser único dentro de un proyecto.	Sí
enabled	boolean	Marca que permite habilitar o deshabilitar una regla. El valor predeterminado es true.	Sí
definición	Definición de regla de inventario JSON	Cada definición se compone de un conjunto de filtros de regla.	Sí
destination	string	Contenedor de destino donde se generan todos los archivos de inventario. El contenedor de destino ya debe existir.

La marca global Blob inventory enabled (Inventario de blobs habilitado) tiene prioridad sobre el parámetro enabled en una regla.

Definición de reglas

Nombre de parámetro	Tipo de parámetro	Notas	Obligatorio
filters	json	Los filtros deciden si un blob o contenedor forma parte o no del inventario.	Sí
format	string	Determina la salida del archivo de inventario. Los valores válidos son `csv` (para el formato CSV) y `parquet` (para el formato Apache Parquet).	Sí
objectType	string	Indica si se trata de una regla de inventario para blobs o para contenedores. Los valores válidos son `blob` y `container`.	Sí
schedule	string	Programación según la cual se va a ejecutar esta regla. Los valores válidos son `daily` y `weekly`.	Sí
schemaFields	matriz JSON	Lista de campos de esquema que formarán parte del inventario.	Sí

Filtros de reglas

Hay varios filtros disponibles para personalizar un informe de inventario de blobs:

Nombre de filtro	Tipo de filtro	Notas	¿Necesario?
blobTypes	Matriz de valores de enumeración predefinidos	Los valores válidos son `blockBlob` y `appendBlob` para cuentas habilitadas para el espacio de nombres jerárquico, y `blockBlob`, `appendBlob` y `pageBlob` para otras cuentas. Este campo no es aplicable al inventario en un contenedor (objectType: `container`).	Sí
creationTime	Número	Especifica el número de días transcurridos en los que se debería haber creado el blob. Por ejemplo, un valor de `3` incluye en el informe solo los blobs, que se crearon en los últimos tres días.	No
prefixMatch	Matriz de hasta 10 cadenas de prefijos con los que debe hacer coincidencias.	Si no define prefixMatch o proporciona un prefijo vacío, la regla se aplica a todos los blobs de la cuenta de almacenamiento. Los prefijos deben ser prefijos de nombre de contenedor o nombres de contenedor. Por ejemplo: `container`, `container1/foo`.	No
excludePrefix	Matriz de hasta 10 cadenas de prefijos que se van a excluir.	Especifica las rutas de acceso de blobs que se van a excluir del informe de inventario. Un excludePrefix debe ser un prefijo de nombre de contenedor o un nombre de contenedor. Un excludePrefix vacío puede significar que se mostrarán todos los blobs con nombres que coincidan con cualquier cadena prefixMatch. Si desea incluir un prefijo determinado, pero excluir algún subconjunto específico de él, puede usar el filtro excludePrefix. Por ejemplo, si desea incluir todos los blobs de `container-a` excepto los de la carpeta `container-a/folder`, se debe establecer prefixMatch en `container-a` y excludePrefix en `container-a/folder`.	No
includeSnapshots	boolean	Especifica si el inventario debe incluir instantáneas. El valor predeterminado es `false`. Este campo no es aplicable al inventario en un contenedor (objectType: `container`).	No
includeBlobVersions	boolean	Especifica si el inventario debe incluir versiones de blob. El valor predeterminado es `false`. Este campo no es aplicable al inventario en un contenedor (objectType: `container`).	No
includeDeleted	boolean	Especifica si el inventario debe incluir blobs eliminados. El valor predeterminado es `false`. En las cuentas que tienen un espacio de nombres jerárquico, este filtro incluye carpetas y también blobs que están en un estado de eliminación temporal. En los informes solo aparecen las carpetas y los archivos (blobs) que se eliminan explícitamente. Las carpetas y archivos secundarios que se eliminan como resultado de eliminar una carpeta principal no se incluyen en el informe.	No

Para ver el documento JSON para reglas de inventario, seleccione la pestaña Vista Código en la sección Blob inventory (Inventario de blobs) de Azure Portal. Los filtros se especifican dentro de una definición de regla.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true,
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Campos de esquema personalizados admitidos para un inventario de blobs

Nota:

La columna Data Lake Storage muestra una compatibilidad con las cuentas que tienen habilitada la característica de espacio de nombres jerárquico.

Campo	Blob Storage (compatibilidad predeterminada)	Data Lake Storage
Name (obligatorio)
Creation-Time
Last-Modified
LastAccessTime¹
ETag
Content-Length
Content-Type
Content-Encoding
Content-Language
Content-CRC64
Content-MD5
Cache-Control
Cache-Disposition
BlobType
AccessTier
AccessTierChangeTime
LeaseStatus
LeaseState
ServerEncrypted
CustomerProvidedKeySHA256
Metadatos
Expiry-Time
hdi_isfolder
Propietario
Grupo
Permisos
Acl
Snapshot (disponible y obligatorio si opta por incluir instantáneas en el informe)
Deleted
DeletedId
DeletedTime
RemainingRetentionDays
VersionId (disponible y obligatorio si opta por incluir versiones de blob en el informe)
IsCurrentVersion (disponible y obligatorio si opta por incluir versiones de blob en el informe)
TagCount
Etiquetas
CopyId
CopySource
CopyStatus
CopyProgress
CopyCompletionTime
CopyStatusDescription
ImmutabilityPolicyUntilDate
ImmutabilityPolicyMode
LegalHold
RehydratePriority
ArchiveStatus
EncryptionScope
IncrementalCopy
x-ms-blob-sequence-number

¹ Deshabilitado de manera predeterminada. Habilitar el seguimiento de hora de acceso opcionalmente.

Campos de esquema personalizados admitidos para un inventario de contenedores

Nota:

La columna Data Lake Storage muestra una compatibilidad con las cuentas que tienen habilitada la característica de espacio de nombres jerárquico.

Campo	Blob Storage (compatibilidad predeterminada)	Data Lake Storage
Name (obligatorio)
Last-Modified
ETag
LeaseStatus
LeaseState
LeaseDuration
Metadatos
PublicAccess
DefaultEncryptionScope
DenyEncryptionScopeOverride
HasImmutabilityPolicy
HasLegalHold
ImmutableStorageWithVersioningEnabled
Eliminado (aparece solo si se selecciona incluir contenedores eliminados)
Versión (solo aparece si se selecciona incluir contenedores eliminados)
DeletedTime (solo aparecerá si se selecciona incluir contenedores eliminados)
RemainingRetentionDays (solo aparecerá si se selecciona incluir contenedores eliminados)

Ejecución del inventario

Si configura una regla para que se ejecute diariamente, se programará para ejecutarse todos los días. Si configura una regla para que se ejecute semanalmente, se programará para ejecutarse cada semana, el domingo, en horario UTC.

La mayoría de las ejecuciones de inventario se completan en 24 horas. En el caso de las cuentas habilitadas para el espacio de nombres jerárquico, una ejecución puede tardar hasta dos días y, en función del número de archivos que se procesen, es posible que la ejecución no se complete al final de esos dos días. La cantidad máxima de tiempo en que una ejecución puede completarse antes de que se produzca un error es de seis días.

Las ejecuciones no se superponen, por lo que una ejecución debe completarse antes de que pueda comenzar otra ejecución de la misma regla. Por ejemplo, si una regla está programada para ejecutarse diariamente, pero la ejecución del día anterior de esa misma regla sigue en curso, no se iniciará una nueva ejecución ese día. Las reglas programadas para ejecutarse semanalmente se ejecutarán cada domingo, independientemente de si una ejecución anterior se realiza correctamente o no. Si una ejecución no se completa correctamente, compruebe las ejecuciones posteriores para ver si se completan antes de ponerse en contacto con el soporte técnico. El rendimiento de una ejecución puede variar, por lo que si una ejecución no se completa, es posible que las ejecuciones posteriores lo hagan.

Las directivas de inventario se leen o escriben en su totalidad. No se admiten las actualizaciones parciales. Las reglas de inventario se evalúan diariamente. Por lo tanto, si cambia la definición de una regla, pero las reglas de una directiva ya se han evaluado durante ese día, las actualizaciones no se evaluarán hasta el día siguiente.

Evento de inventario completado

El evento BlobInventoryPolicyCompleted se genera cuando se completa la ejecución del inventario con relación a una regla. Este evento también tiene lugar si se produce un error de usuario en la ejecución del inventario antes de que se inicie el proceso. Por ejemplo, el evento se desencadenará en caso de que la directiva no sea válida o si se produce un error debido a la ausencia de un contenedor de destino. En el siguiente fragmento de código JSON se muestra un evento BlobInventoryPolicyCompleted de ejemplo:

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

En la siguiente tabla se describe el esquema del evento BlobInventoryPolicyCompleted:

Campo	Tipo	Descripción
scheduleDateTime	string	Hora a la que se programó la regla de inventario.
accountName	string	El nombre de la cuenta de almacenamiento.
ruleName	string	Nombre de la regla.
policyRunStatus	string	Estado de la ejecución del inventario. Los valores posibles son `Succeeded`, `PartiallySucceeded` y `Failed`.
policyRunStatusMessage	string	Mensaje de estado de la ejecución del inventario.
policyRunId	string	Id. de ejecución de la directiva para la ejecución del inventario.
manifestBlobUrl	string	Dirección URL del blob del archivo de manifiesto para la ejecución del inventario.

Salida de inventario

Cada regla de ejecución genera un conjunto de archivos en el contenedor de destino de inventario especificado. La salida de inventario se genera en la siguiente ruta de acceso: https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName donde:

accountName es el nombre de su cuenta de Azure Blob Storage.
inventory-destination-container es el contenedor de destino que ha especificado en la regla de inventario.
YYYY/MM/DD/HH-MM-SS es el momento en el que el inventario comenzó a ejecutarse.
ruleName es el nombre de la regla de inventario.

Archivos de inventario

Cada ejecución de inventario con relación a una regla genera los siguientes archivos:

Archivo de inventario: la ejecución de un inventario de una regla genera varios archivos con formato CSV o Apache Parquet. Cada archivo contiene los objetos coincidentes y sus metadatos.

Importante

A partir de octubre de 2023, las ejecuciones de inventario generarán varios archivos si el recuento de objetos es grande. Para más información, consulte Preguntas más frecuentes sobre la salida de varios archivos de inventario.

Los informes con formato Apache Parquet presentan fechas con el siguiente formato: timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. En el caso de los archivos con formato CSV, la primera fila siempre es la fila de esquema. En la siguiente imagen se muestra un archivo CSV de inventario abierto en Microsoft Excel.

Importante

Es posible que las rutas de acceso de blob que aparecen en un archivo de inventario no aparezcan en un orden determinado.
Archivo de suma de comprobación: contiene la suma de comprobación MD5 del contenido del archivo manifest.json. El nombre del archivo de suma de comprobación es <ruleName>-manifest.checksum. La generación del archivo de suma de comprobación marca la finalización de la ejecución de una regla de inventario.

Archivo de manifiesto: un archivo manifest.json contiene los detalles de los archivos de inventario generados para esa regla. El nombre del archivo es <ruleName>-manifest.json. Este archivo también captura la definición de la regla proporcionada por el usuario y la ruta de acceso al inventario para dicha regla. En el siguiente fragmento de código JSON se muestra el contenido de un archivo manifest.json de ejemplo:

{
"destinationContainer" : "inventory-destination-container",
"endpoint" : "https://testaccount.blob.core.windows.net",
"files" : [
  {
    "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
    "size" : 12710092
  }
],
"inventoryCompletionTime" : "2021-05-26T13:35:56Z",
"inventoryStartTime" : "2021-05-26T13:25:36Z",
"ruleDefinition" : {
  "filters" : {
    "blobTypes" : [ "blockBlob" ],
    "includeBlobVersions" : false,
    "includeSnapshots" : false,
    "prefixMatch" : [ "penner-test-container-100003" ]
  },
  "format" : "csv",
  "objectType" : "blob",
  "schedule" : "daily",
  "schemaFields" : [
    "Name",
    "Creation-Time",
    "BlobType",
    "Content-Length",
    "LastAccessTime",
    "Last-Modified",
    "Metadata",
    "AccessTier"
  ]
},
"ruleName" : "Rule_1",
"status" : "Succeeded",
"summary" : {
  "objectCount" : 110000,
  "totalObjectSize" : 23789775
},
"version" : "1.0"
}

Este archivo se crea cuando comienza la ejecución. El campo status de este archivo se establece en Pending hasta que se completa la ejecución. Una vez completada la ejecución, este campo se establece en un estado de finalización (por ejemplo: Succeeded o Failed).

Precios y facturación

Los precios del inventario se basan en el número de blobs y contenedores que se analizan durante el período de facturación. En la página de precios de Azure Blob Storage se muestra el precio por millón de objetos examinados. Por ejemplo, si el precio para examinar un millón de objetos es de $0.003, la cuenta contiene tres millones de objetos y genera cuatro informes en un mes, la factura sería de 4 * 3 * $0.003 = $0.036.

Una vez creados los archivos de inventario, se incurrirá en cargos estándar adicionales de operaciones y almacenamiento de datos por almacenar, leer y escribir los archivos generados por el inventario en la cuenta.

Si una regla contiene un prefijo que se superpone con otro de cualquier otra regla, el mismo blob puede aparecer en más de un informe de inventario. En este caso, se le facturará por ambas instancias. Por ejemplo, imagine que el elemento prefixMatch de una regla se establece ["inventory-blob-1", "inventory-blob-2"] y que el elemento prefixMatch de otra regla se establece en ["inventory-blob-10", "inventory-blob-20"]. En este caso, aparecerá un objeto de nombre inventory-blob-200 en ambos informes de inventario.

Las instantáneas y versiones de un blob también se tienen en cuenta en la facturación aunque haya establecido los filtros includeSnapshots y includeVersions en false. Dichos valores de filtro no afectan a la facturación. Solo se pueden usar para filtrar lo que aparece en el informe.

Para obtener más información sobre los precios de los inventarios de blobs de Azure Storage, consulte la página Precios de Azure Blob Storage.

Compatibilidad de características

La compatibilidad con esta característica puede verse afectada al habilitar Data Lake Storage Gen2, el protocolo Network File System (NFS) 3.0 o el Protocolo de transferencia de archivos SSH (SFTP). Si ha habilitado cualquiera de estas funcionalidades, consulte Compatibilidad con características de Blob Storage en cuentas de Azure Storage para evaluar la compatibilidad con esta característica.

Limitaciones y problemas conocidos

En esta sección se describen las limitaciones y los problemas conocidos de la característica de inventario de blobs de Azure Storage.

El recuento de objetos de informe de inventario y el tamaño de los datos no deben compararse con la facturación

Un informe de inventario no incluye metadatos, registros del sistema y propiedades, por lo que no debe compararse con el número de objetos facturados y el tamaño de los datos de la cuenta de almacenamiento.

Los trabajos de inventario tardan más tiempo en completarse en determinados casos

Un trabajo de inventario puede tardar más tiempo en estos casos:

Se agrega una gran cantidad de datos nuevos
Se está ejecutando una regla o un conjunto de reglas por primera vez

La ejecución del inventario puede tardar más tiempo en ejecutarse en comparación con las ejecuciones de inventario posteriores.
Una ejecución de inventario está procesando una gran cantidad de datos en cuentas habilitadas para el espacio de nombres jerárquico

Un trabajo de inventario puede tardar más de un día en completarse para las cuentas habilitadas para el espacio de nombres jerárquico que tienen cientos de millones de blobs. A veces, se produce un error en el trabajo de inventario y no se crea un archivo de inventario. Si un trabajo no se completa correctamente, compruebe los trabajos posteriores para ver si se completan antes de ponerse en contacto con el soporte técnico.
No hay ninguna opción para generar un informe de forma retrospectiva para una fecha determinada.

Los trabajos de inventario no pueden escribir informes en contenedores que tengan una directiva de replicación de objetos

Una directiva de replicación de objetos puede impedir que un trabajo de inventario escriba informes de inventario en el contenedor de destino. Algunos otros escenarios pueden archivar los informes o hacer que los informes sean inmutables cuando se completan parcialmente, lo cual puede provocar un error en los trabajos de inventario.

Inventario y almacenamiento inmutable

No se puede configurar una directiva de inventario en la cuenta si la compatibilidad con la inmutabilidad de nivel de versión está habilitada en esa cuenta o si la compatibilidad con la inmutabilidad de nivel de versión está habilitada en el contenedor de destino definido en la directiva de inventario.

Los informes pueden excluir blobs eliminados temporalmente en cuentas que tienen un espacio de nombres jerárquico

Si se elimina un contenedor o directorio con la eliminación temporal habilitada, el contenedor o directorio y todo su contenido se marcan como eliminados temporalmente. Sin embargo, solo el contenedor o directorio (notificado como un blob de longitud cero) aparece en un informe de inventario y no en los blobs eliminados temporalmente en ese contenedor o directorio aunque establezca el includeDeleted campo de la directiva a true. Esto puede provocar una diferencia entre lo que aparece en las métricas de capacidad que obtiene en Azure Portal y lo que notifica un informe de inventario.

Solo los blobs que se eliminan explícitamente aparecen en los informes. Por lo tanto, para obtener una lista completa de todos los blobs eliminados temporalmente (directorio y todos los blobs secundarios), las cargas de trabajo deben eliminar cada blob de un directorio antes de eliminar el propio directorio.

Compartir vía