Partager via

Tutoriel : écrire dans une table Delta stockée dans Azure Data Lake Storage Gen2

  • Article

Ce tutoriel montre comment créer un travail Stream Analytics pour écrire dans une table Delta dans Azure Data Lake Storage Gen2. Dans ce tutoriel, vous allez apprendre à :

  • Déployer un générateur d’événements qui envoie des exemples de données à votre hub d’événements
  • Création d’un travail Stream Analytics
  • Configurer Azure Data Lake Storage Gen2 avec une table delta
  • Exécuter la tâche Stream Analytics

Prérequis

Avant de commencer, suivez les étapes suivantes :

Création d’un travail Stream Analytics

  1. Connectez-vous au portail Azure.

  2. Sélectionnez Tous les services dans le menu de gauche.

  3. Déplacez la souris sur les Travaux Stream Analytics dans la section Analytics, puis sélectionnez + (plus).

    Capture d’écran montrant la sélection des tâches Stream Analytics dans la page Tous les services.

  4. Sélectionnez Créer une ressource dans le coin supérieur gauche du portail Azure.

  5. Dans la liste des résultats, sélectionnez Analytics>Travail Stream Analytics.

  6. Sur la page Nouveau travail Stream Analytics, procédez comme suit :

    1. Pour Abonnement, sélectionnez votre abonnement Azure.
    2. Dans le champ Groupe de ressources, sélectionnez la même ressource que celle que vous avez utilisée précédemment dans ce déploiement de TollApp.
    3. Dans le champ Nom, attribuez un nom à la clé. Le nom d’un travail Stream Analytics peut contenir uniquement des caractères alphanumériques, des traits d’union et des traits de soulignement, et doit avoir entre 3 et 63 caractères.
    4. Dans le champ Environnement d’hébergement, vérifiez que Cloud est sélectionné.
    5. Dans le champ Unités de streaming, sélectionnez 1. Les unités de streaming sont les ressources de calcul requises pour exécuter un travail. Pour en savoir plus sur la mise à l’échelle des unités de streaming, consultez l’article Understanding and adjusting streaming units (Présentation et réglage des unités de streaming).

    Capture d’écran montrant la page de création d’une tâche Stream Analytics.

  7. Au bas de la page, sélectionnez Examiner et créer.

  8. Sur la page Examiner et créer, examinez les paramètres, puis sélectionnez Créer pour créer une page Stream Analytics.

  9. Sur la page de déploiement, sélectionnez Accéder à la ressource pour accéder à la page Travail Stream Analytics.

Configurer les entrées du travail

L’étape suivante consiste à définir une source d’entrée pour le travail, afin de pouvoir lire les données à l’aide de l’Event Hub que vous avez créé dans le déploiement de TollApp.

  1. Recherchez le travail Stream Analytics créé dans la section précédente.

  2. Dans la section Topologie de la tâche de la tâche Stream Analytics, sélectionnez Entrées.

  3. Sélectionnez + Ajouter une entrée et Event Hub.

    Capture d’écran montrant la page Entrées.

  4. Remplissez le formulaire d’entrée avec les valeurs suivantes créées via le modèle Azure TollApp :

    1. Dans Alias d’entrée, entrez entrystream.

    2. Choisissez Sélectionner un hub d’événements dans vos abonnements.

    3. Pour Abonnement, sélectionnez votre abonnement Azure.

    4. Pour Espace de noms Event Hub, sélectionnez l’espace de noms du hub d’événements que vous avez créé dans la section précédente.

    5. Utilisez les options par défaut pour les autres paramètres, puis sélectionnez Créer.

      Capture d’écran montrant la sélection du hub d’événements d’entrée.

Configurer la sortie du travail

L’étape suivante consiste à définir un récepteur de sortie dans lequel le travail peut écrire des données. Dans ce didacticiel, vous écrivez la sortie dans une table Delta dans Azure Data Lake Storage Gen2.

  1. Dans la section Topologie de la tâche de la tâche Stream Analytics, sélectionnez l’option Sorties.

  2. Sélectionnez + Ajouter une sortie>Stockage blob/ADLS Gen2.

    Capture d’écran montrant la page Sorties.

  3. Remplissez le formulaire de sortie avec les valeurs suivantes, puis sélectionnez Enregistrer :

    1. Pour Alias de sortie, entrez DeltaOutput.

    2. Choisissez Sélectionner un stockage blob/ADLS Gen2 dans vos abonnements.

    3. Pour Abonnement, sélectionnez votre abonnement Azure.

    4. Pour le Compte de stockage, choisissez le compte ADLS Gen2 (celui qui commence par tollapp) que vous avez créé.

    5. Pour le conteneur, sélectionnez Créer nouveau et fournissez un nom de conteneur unique.

    6. Pour Format de sérialisation d’événement, sélectionnez Delta Lake. Bien que Delta lake soit répertorié comme l’une des options ici, il ne s’agit pas d’un format de données. Delta Lake utilise des fichiers Parquet avec versions pour stocker vos données. Pour plus d’informations sur Delta Lake.

    7. Pour Chemin d’accès à la table Delta, entrez le dossier du tutoriel/la table delta.

    8. Utilisez les options par défaut pour les autres paramètres, puis sélectionnez Créer.

      Capture d’écran montrant la configuration de la sortie.

Créer des requêtes

À ce stade, vous disposez d’un travail Stream Analytics configuré pour lire un flux de données entrantes. L’étape suivante consiste à créer une requête qui analysera les données en temps réel. Les requêtes utilisent un langage de type SQL dont certaines extensions sont propres à Stream Analytics.

  1. Sélectionnez maintenant Requête sous Topologie du travail dans le menu de gauche.

  2. Entrez la requête suivante dans la fenêtre de requête. Dans cet exemple, la requête lit les données d’Event Hubs et copie les valeurs sélectionnées dans une table Delta dans ADLS Gen2.

     SELECT State, CarModel.Make, TollAmount
 INTO DeltaOutput
 FROM EntryStream TIMESTAMP BY EntryTime

  3. Sélectionnez Enregistrer la requête sur la barre d’outils.

    Capture d’écran montrant la requête pour la tâche.

Démarrer le travail Stream Analytics et observer le résultat

  1. Revenez à la page Vue d’ensemble du travail sur le portail Azure, et sélectionnez Démarrer.

    Capture d’écran montrant la sélection du bouton Démarrer la tâche dans la page Vue d’ensemble.

  2. Sur la page Démarrer le travail, vérifiez que Maintenant est sélectionné comme Heure de début de la sortie du travail, puis sélectionnez Démarrer en bas de la page.

    Capture d’écran montrant la sélection de la page Démarrer la tâche.

  3. Au bout de quelques minutes, sur le portail, recherchez le compte de stockage et le conteneur que vous avez configuré comme sortie pour le travail. Vous pouvez maintenant voir la table Delta dans le dossier spécifié dans le conteneur. La première fois, le démarrage du travail prend quelques minutes. Une fois celui-ci démarré, il continuera à s’exécuter tant que des données arriveront.

    Capture d’écran montrant les fichiers de données de sortie dans le conteneur.

Nettoyer les ressources

Lorsque vous n’en avez plus besoin, supprimez le groupe de ressources, le travail Stream Analytics et toutes les ressources associées. La suppression du travail évite la facturation des unités de streaming consommées par le travail. Si vous envisagez d’utiliser le travail à l’avenir, vous pouvez l’arrêter et le redémarrer plus tard lorsque vous en avez besoin. Si vous ne pensez pas continuer à utiliser ce travail, supprimez toutes les ressources créées au cours de ce tutoriel en procédant comme suit :

  1. Dans le menu de gauche du portail Azure, cliquez sur Groupes de ressources, puis sur le nom de la ressource que vous avez créée.
  2. Sur la page de votre groupe de ressources, sélectionnez Supprimer, saisissez le nom de la ressource à supprimer dans la zone de texte, puis sélectionnez Supprimer.

Étapes suivantes

Dans ce tutoriel, vous avez créé un travail Stream Analytics simple, filtré les données entrantes et écrit des résultats dans une table Delta dans un compte ADLS Gen2. Pour en savoir plus sur les travaux Stream Analytics, consultez :

ASA écrit dans la sortie Delta Lake