Utiliser l’ingestion en une sélection afin de créer une connexion de données Event Hubs pour l’Explorateur de données Azure Synapse (préversion)

• Portail
• En un clic
• C#
• Python
• Modèle Azure Resource Manager

L’Explorateur de données Azure Synapse offre une ingestion (chargement de données) à partir d’Event Hubs, plateforme de streaming de Big Data et service d’ingestion d’événements. Event Hubs peut traiter des millions d’événements par seconde en quasi-temps réel. Dans cet article, vous connectez un Event Hubs à une table dans l’Explorateur de données Azure Synapse à l’aide de l’expérience d’ingestion en une sélection.

Prérequis

• Un abonnement Azure. Créez un compte Azure gratuit.

• Créez un pool Data Explorer en utilisant Synapse Studio ou le portail Azure

• Créez une base de données Data Explorer.

  1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Données.

  2. Sélectionnez +(Ajouter une nouvelle ressource) >Pool Data Explorer et utilisez les informations suivantes :

     Paramètre	Valeur suggérée	Description
     Nom du pool	contosodataexplorer	Nom du pool Data Explorer à utiliser
     Nom	TestDatabase	Ce nom de base de données doit être unique dans le cluster.
     Période de conservation par défaut	365	Intervalle de temps (en jours) pendant lequel vous avez la garantie d’avoir les données à disposition pour les interroger. Cet intervalle se mesure à partir du moment où les données sont ingérées.
     Période de cache par défaut	31	Intervalle de temps (en jours) pendant lequel les données fréquemment interrogées restent disponibles dans le stockage SSD ou la RAM, plutôt que dans un stockage à plus long terme.

  3. Sélectionnez Créer pour créer la base de données. La création prend généralement moins d’une minute.

• Event Hubs avec des données pour l’ingestion.

Remarque

L’ingestion de données à partir d’Event Hub dans des pools de l’Explorateur de données ne fonctionne pas si votre espace de travail Synapse utilise un réseau virtuel managé avec la protection contre l’exfiltration des données activée.

Ingérer de nouvelles données

1. Dans Synapse Studio, dans le volet de gauche, sélectionnez Données.

2. Sous Bases de données de l’Explorateur de données, cliquez avec le bouton droit sur la base de données appropriée, puis sélectionnez Ouvrir dans Azure Data Explorer.

   

3. Dans le menu de gauche de l’interface utilisateur web, sélectionnez l’onglet Données.

   

4. Dans la carte Ingérer des données à partir d’Event Hub, sélectionnez Ingérer.

La fenêtre Ingérer de nouvelles données s’ouvre, avec l’onglet Destination sélectionné.

Onglet Destination

1. Les champs Cluster et Base de données sont remplis automatiquement. Vous pouvez sélectionner un autre cluster ou une autre base de données dans les menus déroulants.

2. Sous Table, sélectionnez Créer une table et entrez un nom pour la nouvelle table. Vous pouvez également utiliser une table existante.

   Notes

   Les noms de table doivent comprendre entre 1 et 1024 caractères. Vous pouvez utiliser des caractères alphanumériques, des traits d’union et des traits de soulignement. Les caractères spéciaux ne sont pas pris en charge.

3. Sélectionnez Suivant : Source.

Onglet Source

1. Sous Type de source, sélectionnez Event Hub.

2. Sous Connexion de données, renseignez les champs suivants :

   

   Paramètre	Valeur suggérée	Description du champ
   Nom de la connexion de données	ContosoDataConnection	Nom qui permet d’identifier votre connexion de données.
   Abonnement		ID d’abonnement dans lequel se trouve la ressource Event Hubs.
   Espace de noms Event Hubs		Nom unique qui permet d’identifier votre espace de noms.
   Event Hubs		Event Hubs que vous souhaitez utiliser.
   Groupe de consommateurs		Groupe de consommateurs défini dans votre Event Hubs.
   Propriétés du système d’événements	Sélectionner les propriétés pertinentes	Les propriétés système Event Hubs. S’il existe plusieurs enregistrements par message d’événement, les propriétés système sont ajoutées au premier. Lors de l’ajout des propriétés système, créez ou mettez à jour le schéma de table et le mappage pour inclure les propriétés sélectionnées.

3. Sélectionnez Suivant : Schéma.

Onglet Schéma

Les données sont lues dans l’instance Event Hubs sous forme d’objets EventData. Les formats pris en charge sont CSV, JSON, PSV, SCsv, SOHsv TSV, TXT et TSVE.

1. Si les données que vous voyez dans la fenêtre d’aperçu sont incomplètes, il est possible que vous ayez besoin de davantage de données pour créer une table avec tous les champs de données nécessaires. Utilisez les commandes suivantes pour récupérer (fetch) de nouvelles données à partir de votre Event Hubs :

   • Ignorer et récupérer de nouvelles données : ignore les données présentées et recherche les nouveaux événements.
   • Récupérer plus de données : recherche d’autres événements, en plus de ceux déjà trouvés.

   Notes

   Pour que vous puissiez voir un aperçu de vos données, votre hub d’événements doit envoyer des événements.

2. Sélectionnez Suivant : Résumé.

Ingestion continue à partir d’Event Hubs

Dans la fenêtre Ingestion continue à partir d’Event Hub établie, toutes les étapes sont marquées par des coches vertes lorsque l’établissement se termine correctement. Les cartes ci-dessous vous permettent d’explorer vos données à l’aide de requêtes rapides, d’annuler les modifications apportées à l’aide d’outils ou de monitorer les connexions et les données Event Hubs.

Étapes suivantes

• Analyser avec l’Explorateur de données
• Surveiller les pools de l’Explorateur de données