Acceso a registros de diagnóstico para Azure Data Lake Storage Gen1

Artículo
03/26/2018

Aprenda a habilitar el registro de diagnóstico para su cuenta de Azure Data Lake Storage Gen1 y a ver los registros recopilados para su cuenta.

Las organizaciones pueden habilitar el registro de diagnóstico para su cuenta de Azure Data Lake Storage Gen1 para recopilar seguimientos de auditoría de acceso a datos que proporcionan información como la lista de usuarios que acceden a los datos, la frecuencia con la que se accede a los datos, la cantidad de datos almacenados en la cuenta, etc. Cuando se habilita, los diagnósticos o las solicitudes se registran en una base de mejor esfuerzo. Las entradas de registro de solicitudes y diagnósticos solo se crean si hay solicitudes realizadas en el punto final del servicio.

Prerrequisitos

Una suscripción de Azure. Consulte Obtención de una versión de evaluación gratuita.
Cuenta de Azure Data Lake Storage Gen1. Siga las instrucciones de Introducción a Azure Data Lake Storage Gen1 con Azure Portal.

Habilitación del registro de diagnóstico para la cuenta de Data Lake Storage Gen1

Inicie sesión en el nuevo Azure Portal.
Abra la cuenta de Data Lake Storage Gen1 y, en la hoja de la cuenta de Data Lake Storage Gen1, haga clic en Configuración de diagnóstico.
En la hoja configuración de diagnóstico de, haga clic en Activar diagnósticos.
En la hoja configuración de diagnóstico de, realice los siguientes cambios para configurar el registro de diagnóstico.
- En Name, introduzca un valor para la configuración del registro de diagnóstico.
- Puede elegir almacenar o procesar los datos de diferentes maneras.
  - Seleccione la opción Archivar en una cuenta de almacenamiento para almacenar los registros en una cuenta de Azure Storage. Esta opción se usa si desea archivar los datos que se procesarán por lotes en una fecha posterior. Si selecciona esta opción, debe proporcionar una cuenta de Azure Storage para guardar los registros.
  - Seleccione la opción para Transmitir a un centro de eventos para transmitir datos de registro a un centro de eventos de Azure. Es muy probable que utilice esta opción si tiene un flujo de procesamiento en fase posterior para analizar logs entrantes en tiempo real. Si selecciona esta opción, debe proporcionar los detalles del centro de eventos de Azure que desea usar.
  - Seleccione la opción Enviar a Log Analytics para utilizar el servicio Azure Monitor y analizar los datos de registro generados. Si selecciona esta opción, debe proporcionar los detalles del área de trabajo de Log Analytics que usaría para realizar el análisis de registros. Consulte para ver o analizar los datos recopilados con la herramienta de búsqueda de registros de Azure Monitor; vea para obtener más detalles sobre el uso de los registros de Azure Monitor.
- Especifique si desea obtener registros de auditoría o registros de solicitud o ambos.
- Especifique el número de días para los que se deben conservar los datos. La retención solo es aplicable si usa la cuenta de Azure Storage para archivar los datos de registro.
- Haz clic en Guardar.

Una vez que haya habilitado las configuraciones de diagnóstico, puede ver los registros en la pestaña registros de diagnóstico.

Visualización de registros de diagnóstico para la cuenta de Data Lake Storage Gen1

Hay dos maneras de ver los datos de registro de la cuenta de Data Lake Storage Gen1.

Desde la vista de configuración de la cuenta de Data Lake Storage Gen1
Desde la cuenta de Azure Storage donde se almacenan los datos

Uso de la vista Configuraciones de Data Lake Storage Gen1

Desde la hoja de configuración de la cuenta de Data Lake Storage Gen1, haga clic en Registros de diagnóstico.
En la hoja de registros de diagnóstico , debería ver los registros clasificados por registros de auditoría y registros de solicitud .
- Los registros de solicitud capturan todas las solicitudes de API realizadas en la cuenta de Data Lake Storage Gen1.
- Los registros de auditoría son similares a los registros de solicitud, pero proporcionan un desglose mucho más detallado de las operaciones que se realizan en la cuenta de Data Lake Storage Gen1. Por ejemplo, una sola llamada API de carga en los registros de solicitud podría dar lugar a varias operaciones de "Anexar" en los registros de auditoría.
Para descargar los registros, haga clic en el enlace Descargar en cada entrada de registro.

Desde la cuenta de Azure Storage que contiene datos de registro

Abra la hoja de la cuenta de Azure Storage asociada con Data Lake Storage Gen1 para el registro de logs y, a continuación, haga clic en Blobs. La hoja Blob service enumera dos contenedores.
- El contenedor insights-logs-audit contiene los registros de auditoría.
- El contenedor insights-logs-requests contiene los registros de solicitudes.
Dentro de estos contenedores, los registros se almacenan en la estructura siguiente.

Por ejemplo, la ruta de acceso completa a un registro de auditoría podría ser https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json

Del mismo modo, la ruta de acceso completa a un registro de solicitudes podría ser https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Descripción de la estructura de los datos de registro

Los registros de auditoría y solicitud están en formato JSON. En esta sección, veremos la estructura de JSON para los registros de solicitud y auditoría.

Registros de solicitudes

Esta es una entrada de ejemplo en el registro de solicitudes con formato JSON. Cada blob tiene un objeto raíz llamado que contiene una matriz de objetos de registro.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-07T21:02:53.456Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Requests",
        "operationName": "GETCustomerIngressEgress",
        "resultType": "200",
        "callerIpAddress": "::ffff:1.1.1.1",
        "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
        "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
        "properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
    }
    ,
    . . . .
  ]
}

Esquema de registro de solicitudes

Nombre	Tipo	Descripción
Tiempo	Cuerda	Marca de tiempo (en UTC) del registro
identificador de recurso	Cuerda	Identificador del recurso en el que se realizó la operación
categoría	Cuerda	Categoría de registro. Por ejemplo, Requests.
operationName	Cuerda	Nombre de la operación que se registra. Por ejemplo, getfilestatus.
tipoDeResultado	Cuerda	Estado de la operación, por ejemplo, 200.
dirección IP del llamante	Cuerda	Dirección IP del cliente que realiza la solicitud
correlationId	Cuerda	Identificador del registro que se puede usar para agrupar un conjunto de entradas de registro relacionadas
identidad	Objeto	La identidad que generó el registro.
Propiedades	JSON	Consulte a continuación para obtener más información.

Esquema de propiedades del registro de solicitudes

Nombre	Tipo	Descripción
HttpMethod	Cuerda	Método HTTP usado para la operación. Por ejemplo, GET.
Ruta	Cuerda	La ruta en la que se realizó la operación
LongitudDeContenidoSolicitado	Int	Longitud de contenido de la solicitud HTTP
ClientRequestId	Cuerda	Identificador que identifica de forma única esta solicitud
HoraDeInicio	Cuerda	Hora a la que el servidor recibió la solicitud
Hora de finalización	Cuerda	Hora en la que el servidor envió una respuesta
StoreIngressSize	long	El tamaño en bytes ingresados a Data Lake Store
StoreEgressSize	long	Tamaño en bytes de salida de Data Lake Store
ParámetrosDeConsulta	Cuerda	Descripción: estos son los parámetros de consulta http. Ejemplo 1: api-version=2014-01-01&op=getfilestatus Ejemplo 2: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435-bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01

Registros de auditoría

Esta es una entrada de ejemplo en el registro de auditoría con formato JSON. Cada blob tiene un objeto raíz denominado registros que contiene una matriz de objetos de registro

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-08T19:08:59.359Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Audit",
        "operationName": "SeOpenStream",
        "resultType": "0",
        "resultSignature": "0",
        "correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
        "identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
        "properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
    }
    ,
    . . . .
  ]
}

Esquema del registro de auditoría

Nombre	Tipo	Descripción
Tiempo	Cuerda	Marca de tiempo (en UTC) del registro
resourceId	Cuerda	Identificador del recurso en el que se realizó la operación
categoría	Cuerda	Categoría de registro. Por ejemplo, Auditoría.
operationName	Cuerda	Nombre de la operación que se registra. Por ejemplo, getfilestatus.
tipo de resultado	Cuerda	Estado de la operación, por ejemplo, 200.
firmaDeResultado	Cuerda	Detalles adicionales sobre la operación.
correlationId	Cuerda	Identificador del registro que se puede usar para agrupar un conjunto de entradas de registro relacionadas
identidad	Objeto	Identidad que generó el registro.
Propiedades	JSON	Consulte a continuación para obtener más información.

Esquema de propiedades del registro de auditoría

Nombre	Tipo	Descripción
StreamName	Cuerda	Ruta donde se realizó la operación

Ejemplos para procesar los datos de registro

Al enviar registros de Azure Data Lake Storage Gen1 a los registros de Azure Monitor (consulte Ver o analizar los datos recopilados con los registros de Azure Monitor buscar para obtener más información sobre el uso de registros de Azure Monitor), la siguiente consulta devolverá una tabla que contiene una lista de nombres para mostrar de usuario, la hora de los eventos y el recuento de eventos para la hora del evento junto con un gráfico visual. Se puede modificar fácilmente para mostrar el GUID de usuario u otros atributos:

search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated

Azure Data Lake Storage Gen1 proporciona un ejemplo sobre cómo procesar y analizar los datos de registro. Puede encontrar el ejemplo en https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Compartir a través de