Créer une connexion de données Event Grid pour Azure Data Explorer
Cet article vous montre comment ingérer des objets blob de votre compte de stockage vers Azure Data Explorer en utilisant une connexion de données Event Grid. Vous allez créer une connexion de données Event Grid qui définit un abonnement Azure Event Grid. L’abonnement Event Grid route les événements de votre compte de stockage vers Azure Data Explorer via un hub d’événements Azure.
Pour obtenir des informations générales sur l’ingestion dans Azure Data Explorer à partir d’Event Grid, consultez Se connecter à Event Grid.
Remarque
Pour obtenir des performances optimales avec la connexion Event Grid, définissez la propriété d’ingestion rawSizeBytes
via les métadonnées du blob. Pour plus d’informations, consultez Propriétés d’ingestion.
Prérequis
- Un abonnement Azure. Créez un compte Azure gratuit.
- Un cluster et une base de données Azure Data Explorer. Créez un cluster et une base de données.
- Une table de destination. Créez une table ou utilisez une table existante.
- Un mappage d’ingestion pour la table.
- Un compte de stockage. Un abonnement aux notifications Event Grid peut être défini sur des comptes de stockage Azure pour
BlobStorage
,StorageV2
ou Data Lake Storage Gen2.
Créer une connexion de données à Event Grid
Dans cette section, vous allez établir une connexion entre Event Grid et votre table Azure Data Explorer.
Sous le cluster que vous avez créé, sélectionnez Bases de données>TestDatabase.
Sélectionnez Ingestion des données>Ajouter la connexion de données.
Sous Principes de base, sélectionnez le type de connexion Stockage Blob, puis remplissez le formulaire avec les informations suivantes :
Paramètre Valeur suggérée Description du champ Nom de la connexion de données test-grid-connection Nom de la connexion que vous souhaitez créer dans Azure Data Explorer. Abonnement du compte de stockage Votre ID d’abonnement ID d’abonnement où se trouve votre compte de stockage. Compte de stockage gridteststorage1 Nom du compte de stockage que vous avez créé précédemment. Type d'événement Objet blob créé ou Objet blob renommé Type d’événement qui déclenche l’ingestion. Le renommage d’objets blob est pris en charge uniquement pour le stockage ADLSv2. Pour renommer un blob, accédez au blob dans le Portail Azure, cliquez dessus avec le bouton droit et sélectionnez Renommer. Types pris en charge : Microsoft.Storage.BlobCreated ou Microsoft.Storage.BlobRenamed. Création de ressources Automatique Spécifiez si vous voulez qu’Azure Data Explorer crée un abonnement Event Grid, un espace de noms Event Hubs et des hubs d’événements pour vous. Pour créer manuellement des ressources, consultez Créer manuellement des ressources pour l’ingestion Event Grid. Sélectionnez Paramètres de filtre si vous voulez suivre des sujets spécifiques. Définissez les filtres pour les notifications comme suit :
- Le champ Préfixe est le préfixe littéral du sujet. Comme le modèle appliqué est startswith, il peut englober plusieurs conteneurs, dossiers ou objets blob. Les caractères génériques ne sont pas autorisés.
- Pour définir un filtre sur le conteneur d’objets blob, le champ doit être défini comme suit :
/blobServices/default/containers/[container prefix]
. - Pour définir un filtre sur un préfixe d’objet blob (ou un dossier dans Azure Data Lake Gen2), le champ doit être défini comme suit :
/blobServices/default/containers/[container name]/blobs/[folder/blob prefix]
.
- Pour définir un filtre sur le conteneur d’objets blob, le champ doit être défini comme suit :
- Le champ Suffixe est le suffixe littéral de l’objet blob. Les caractères génériques ne sont pas autorisés.
- Le champ Sensible à la casse indique si les filtres de préfixe et de suffixe respectent la casse.
- Pour plus d’informations sur le filtrage des événements, consultez Événements du stockage Blob.
- Le champ Préfixe est le préfixe littéral du sujet. Comme le modèle appliqué est startswith, il peut englober plusieurs conteneurs, dossiers ou objets blob. Les caractères génériques ne sont pas autorisés.
Sélectionnez Suivant : Propriétés d’ingestion.
Renseignez le formulaire avec les informations suivantes. Les noms de table et de mappage sont sensibles à la casse :
Propriétés d’ingestion :
Paramètre Valeur suggérée Description du champ Autoriser le routage des données vers d’autres bases de données (connexion de données à plusieurs bases de données) Ne pas autoriser Activez cette option si vous voulez remplacer la base de données cible par défaut associée à la connexion de données. Pour plus d’informations sur le routage de base de données, consultez Routage des événements. Nom de table TestTable Table que vous avez créée dans TestDatabase. Format de données JSON Les formats pris en charge sont Avro, CSV, JSON, MULTILINE JSON, ORC, PARQUET, PSV, SCSV, SOHSV, TSV, TXT, TSVE, APACHEAVRO, RAW et W3CLOG. Les options de compression prises en charge sont Zip et Gzip. Mappage TestMapping Le mappage que vous avez créé dans TestDatabase, qui mappe les données entrantes aux noms de colonnes et aux types de données de TestTable. Si ce n’est pas spécifié, un mappage de données d’identité dérivé du schéma de la table est utilisé. Paramètres avancés Mes données comprennent des en-têtes Ignore les en-têtes. Pris en charge pour les fichiers de type *SV. Notes
Vous n’êtes pas obligé de spécifier tous les paramètres de routage par défaut. Des paramètres partiels sont également acceptés.
Sélectionnez Suivant : Vérifier + créer.
Sous *Vérifier + créer.
Passez en revue les ressources qui ont été créées automatiquement pour vous et sélectionnez Créer.
Attendez la fin du déploiement. Si votre déploiement a échoué, sélectionnez Détails de l’opération à côté de la phase qui a échoué pour obtenir plus d’informations sur la raison de l’échec. Sélectionnez Redéployer pour retenter de déployer les ressources. Vous pouvez modifier les paramètres avant le déploiement.
Supprimer une connexion de données Event Grid
Pour supprimer la connexion Event Grid de l’Portail Azure, procédez comme suit :
- Accédez à votre cluster. Dans le menu de gauche, sélectionnez Bases de données. Ensuite, sélectionnez la base de données qui contient la table cible.
- Dans le menu de gauche, sélectionnez Connexions de données. Ensuite, cochez la case en regard de la connexion de données Event Grid pertinente.
- Dans la barre de menus du haut, sélectionnez Supprimer.