Creación manual de recursos para la ingesta de Event Grid
Azure Data Explorer ofrece una ingesta continua desde Azure Storage (Azure Blob Storage y Azure Data Lake Storage Gen2) mediante una canalización de ingesta de Event Grid. En la canalización de ingesta de Event Grid, un servicio de Azure Event Grid enruta los eventos de los blobs creados o cuyo nombre se ha cambiado desde una cuenta de almacenamiento a Azure Data Explorer mediante una instancia de Azure Event Hubs.
En este artículo, aprenderá a crear manualmente los recursos necesarios para la ingesta de Event Grid: una suscripción de Event Grid, un espacio de nombres de Event Hubs y un centro de eventos. El espacio de nombres de Event Hubs y la creación del centro de eventos se describen en Requisitos previos. Para usar la creación automática de estos recursos al definir la ingesta de Event Grid, consulte Creación de una conexión de datos de Event Grid en Azure Data Explorer.
Requisitos previos
- Suscripción a Azure. Cree una cuenta de Azure gratuita.
- Un clúster y la base de datos de Azure Data Explorer. Cree un clúster y una base de datos.
- Una cuenta de almacenamiento. Una suscripción de notificación de Event Grid se puede establecer en cuentas de Azure Storage para
BlobStorage,StorageV2o Data Lake Storage Gen2. - Un espacio de nombres de Event Hubs y un centro de eventos.
Nota:
Para obtener el mejor rendimiento, cree todos los recursos en la misma región que el clúster de Azure Data Explorer.
Creación de una suscripción de Event Grid
En Azure Portal, vaya a la cuenta de almacenamiento.
En el menú de la izquierda, seleccione Events+ Event Subscription (Suscripción a eventos y eventos>).
En la ventana Crear suscripción de eventos de la pestaña Básico, proporcione los valores siguientes:
Configuración Valor sugerido Descripción del campo Nombre test-grid-connection Nombre de la suscripción de Event Grid que desea crear. Esquema de eventos Esquema de Event Grid Esquema que se debe usar para la cuadrícula de eventos. Tipo de tema Cuenta de almacenamiento Tipo de tema de Event Grid. Se rellena automáticamente. Recurso de origen gridteststorage1 El nombre de la cuenta de almacenamiento. Se rellena automáticamente. Nombre del tema del sistema gridteststorage1... El tema del sistema donde Azure Storage publica los eventos. A continuación, este tema del sistema reenvía el evento a un suscriptor que recibe y procesa los eventos. Se rellena automáticamente. Filtro para tipos de evento Blob Created (Creados por el blob) Eventos específicos de los que recibir notificaciones. Al crear la suscripción, seleccione uno de los tipos admitidos: Microsoft.Storage.BlobCreated o Microsoft.Storage.BlobRenamed. El cambio de nombre de blobs solo se admite para el almacenamiento de ADLSv2. En DETALLES DEL PUNTO DE CONEXIÓN, seleccione Event Hubs.
Seleccione Seleccionar un punto de conexión y rellene el centro de eventos que creó, por ejemplo , test-hub.
En MANAGED IDENTITY FOR DELIVERY( IDENTIDAD ADMINISTRADA PARA ENTREGA), seleccione opcionalmente un tipo de identidad administrada con la información de la tabla siguiente.
Tipo Descripción Ninguna (valor predeterminado) Los eventos no se entregan mediante identidades administradas. Asignado por el sistema Los eventos se entregan mediante una identidad administrada asignada por el sistema.
IMPORTANTE: Antes de usar esta opción, asegúrese de habilitar la identidad asignada por el sistema en el tema del sistema de Event Grid y le ha dado el rol Remitente de datos de Azure Event Hubs en el centro de eventos. Para obtener más información, consulte Habilitación de identidades administradas para temas del sistema.Importante
Si deshabilita la autenticación local en el espacio de nombres de Event Hubs que contiene el centro de eventos usado para las notificaciones de streaming, debe usar identidades administradas para entregar eventos al usar esta suscripción de eventos.
Seleccione la pestaña Filtros si desea filtrar los eventos.
Use Filtros del asunto para realizar un seguimiento de eventos de asuntos específicos. Establezca los filtros para las notificaciones de la manera siguiente:
- Seleccione Habilitar el filtrado del asunto.
- El campo El asunto comienza por es el prefijo literal del asunto. Como el patrón que se aplica es startswith (comienza por), puede abarcar varios contenedores, carpetas o blobs. No se permiten comodines.
- Para definir un filtro en el contenedor de blobs, establezca el campo de la siguiente forma:
/blobServices/default/containers/[container prefix]. - Para definir un filtro en un prefijo de blob (o en una carpeta de Azure Data Lake Gen2), establezca el campo de la siguiente forma:
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Para definir un filtro en el contenedor de blobs, establezca el campo de la siguiente forma:
- El campo Asunto termina con es el sufijo literal del blob. No se permiten comodines.
- El campo La coincidencia de asunto distingue mayúsculas de minúsculas indica si los filtros de prefijos y sufijos distinguen mayúsculas de minúsculas.
Para más información sobre el filtrado de eventos, consulte Eventos de Blob Storage.
Use Filtros avanzados para agregar filtros personalizados que cumplan sus requisitos.
Por ejemplo, cuando se utiliza el SDK de Azure Data Lake para cargar un archivo, la creación del archivo desencadena un evento de Event Grid con tamaño 0. Azure Data Explorer descarta este evento. El vaciado de archivos desencadena otro evento si el parámetro Close se establece en true. Este evento indica que se trata de la actualización final y que se ha cerrado el flujo de archivos. Para evitar errores innecesarios de procesamiento y ingesta de archivos vacíos, filtre los eventos CreateFile mediante el siguiente filtro:
Configuración Valor sugerido Descripción del campo Llave data.api Campo del esquema de eventos utilizado para el filtrado. Operador La cadena no está en Un operador que se va a evaluar en la clave seleccionada. Valor CreateFile Valor utilizado para evaluar la clave. Seleccione Crear