Créer manuellement des ressources pour l’ingestion Event Grid
Azure Data Explorer offre une ingestion continue depuis Stockage Azure (Stockage Blob Azure et Azure Data Lake Storage Gen2) en utilisant un pipeline d’ingestion Event Grid. Dans le pipeline d’ingestion Event Grid, un service Azure Event Grid route les événements de création ou de renommage d’objets blob depuis un compte de stockage vers Azure Data Explorer via un hub d’événements Azure.
Dans cet article, vous allez apprendre à créer manuellement les ressources nécessaires à l’ingestion Event Grid : un abonnement Event Grid, un espace de noms Event Hubs et un hub d’événements. L’espace de noms Event Hubs et la création d’Event Hubs sont décrits dans les conditions préalables. Pour utiliser la création automatique de ces ressources lors de la définition de l’ingestion Event Grid, consultez Créer une connexion de données Event Grid dans Azure Data Explorer.
Prérequis
- Un abonnement Azure. Créez un compte Azure gratuit.
- Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.
- Un compte de stockage. Un abonnement aux notifications Event Grid peut être défini sur des comptes de stockage Azure pour
BlobStorage,StorageV2ou Data Lake Storage Gen2. - Espace de noms Event Hubs et hub d’événements.
Remarque
Pour des performances optimales, créez toutes les ressources dans la même région que le cluster Azure Data Explorer.
Créer un abonnement Event Grid
Dans le portail Azure, accédez à votre compte de stockage.
Dans le menu de gauche, sélectionnez Événements+ Abonnement aux événements>.
Dans la fenêtre Créer un abonnement aux événements sous l’onglet De base, spécifiez les valeurs suivantes :
Paramètre Valeur suggérée Description du champ Nom test-grid-connection Nom de l’abonnement Event Grid que vous souhaitez créer. Schéma d’événement Schéma Event Grid Le schéma qui doit être utilisé pour la grille d’événements. Type de rubrique Compte de stockage Type de rubrique Event Grid. Rempli automatiquement. Ressource source gridteststorage1 nom de votre compte de stockage. Rempli automatiquement. Nom de la rubrique système gridteststorage1... Rubrique système où Stockage Azure publie les événements. Cette rubrique système transfère ensuite l’événement à un abonné qui reçoit et traite des événements. Rempli automatiquement. Filtrer les types d’événements Objet blob créé De quels événements spécifiques être notifié. Lors de la création de l’abonnement, sélectionnez l’un des types pris en charge : Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. Le renommage d’objets blob est pris en charge uniquement pour le stockage ADLSv2. Sous DÉTAILS DU POINT DE TERMINAISON, sélectionnez Event Hubs.
Sélectionnez un point de terminaison et renseignez le hub d’événements que vous avez créé, par exemple test-hub.
Sous MANAGED IDENTITY FOR DELIVERY, sélectionnez éventuellement un type d’identité managée à l’aide des informations contenues dans le tableau suivant.
Type Description Aucun (par défaut) Les événements ne sont pas remis à l’aide d’identités managées. Attribuée par le système Les événements sont remis à l’aide d’une identité managée affectée par le système.
IMPORTANT : Avant d’utiliser cette option, veillez à activer l’identité affectée par le système sur la rubrique système Event Grid et à lui attribuer le rôle Expéditeur de données Azure Event Hubs sur le hub d’événements. Pour plus d’informations, consultez Activer une identité managée pour les rubriques système.Important
Si vous désactivez l’authentification locale sur l’espace de noms Event Hubs qui contient le hub d’événements utilisé pour les notifications de diffusion en continu, vous devez utiliser des identités managées pour remettre des événements lors de l’utilisation de cet abonnement aux événements.
Sélectionnez l’onglet Filtres si vous voulez filtrer les événements.
Utilisez Filtres d’objet pour suivre des événements d’objets spécifiques. Définissez les filtres pour les notifications comme suit :
- Sélectionnez Activer le filtrage d’objet.
- Le champ Le sujet commence par est le préfixe littéral du sujet. Comme le modèle appliqué est startswith, il peut englober plusieurs conteneurs, dossiers ou objets blob. Les caractères génériques ne sont pas autorisés.
- Pour définir un filtre sur le conteneur d’objets blob, définissez le champ comme suit :
/blobServices/default/containers/[container prefix]. - Pour définir un filtre sur un préfixe d’objet blob (ou un dossier dans Azure Data Lake Gen2), définissez le champ comme suit :
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix].
- Pour définir un filtre sur le conteneur d’objets blob, définissez le champ comme suit :
- Le champ Le sujet se termine par est le suffixe littéral de l’objet blob. Les caractères génériques ne sont pas autorisés.
- Le champ Correspondance sensible à la casse indique si les filtres de préfixe et de suffixe sont sensibles à la casse.
Pour plus d’informations sur le filtrage des événements, consultez Événements du stockage d’objets blob.
Utilisez Filtres avancés pour ajouter des filtres personnalisés qui répondent à vos besoins.
Par exemple, quand vous utilisez le SDK Azure Data Lake pour charger un fichier, la création du fichier déclenche un événement Event Grid avec la taille 0. Cet événement est ignoré par Azure Data Explorer. Le vidage de fichier déclenche un autre événement si le paramètre Close a la valeur true. Cet événement indique qu’il s’agit de la mise à jour finale et que le flux de fichier a été fermé. Pour éviter les erreurs inutiles de traitement et d’ingestion de fichier vide, filtrez les événements CreateFile à l’aide du filtre suivant :
Paramètre Valeur suggérée Description du champ Clé data.api Champ dans le schéma d’événement utilisé pour le filtrage. Opérateur La chaîne n’est pas dans Opérateur à évaluer sur la clé sélectionnée. Valeur CreateFile Valeur utilisée pour évaluer la clé. Sélectionnez Créer