Tutoriel : détection d’anomalies avec Azure AI services
Dans ce tutoriel, vous allez apprendre à enrichir facilement vos données dans Azure Synapse Analytics avec Azure AI services. Vous utiliserez Azure AI Détecteur d'anomalies pour détecter les anomalies. Dans Azure Synapse, un utilisateur peut simplement sélectionner une table à enrichir pour la détection d’anomalie.
Ce didacticiel contient les sections suivantes :
- Étapes à effectuer pour obtenir un jeu de données de table Spark qui contient des données de série chronologique.
- Utiliser une expérience d’assistant dans Azure Synapse pour enrichir les données à l’aide du Détecteur d’anomalies.
Si vous n’avez pas d’abonnement Azure, créez un compte gratuit avant de commencer.
Prérequis
- Espace de travail Azure Synapse Analytics avec un compte de stockage Azure Data Lake Storage Gen2 configuré comme stockage par défaut. Vous devez être le contributeur aux données Blob de stockage du système de fichiers Data Lake Storage Gen2 que vous utilisez.
- Pool Spark dans votre espace de travail Azure Synapse Analytics. Pour plus d’informations, consultez Créer un pool Spark dans Azure Synapse.
- Avoir effectué les étapes de préconfiguration indiquées dans le tutoriel Configurer Azure AI services dans Azure Synapse.
Connectez-vous au portail Azure.
Connectez-vous au portail Azure.
Créer une table Spark
Vous avez besoin d’une table Spark pour ce tutoriel.
Créez un notebook PySpark et exécutez le code suivant.
from pyspark.sql.functions import lit
df = spark.createDataFrame([
("1972-01-01T00:00:00Z", 826.0),
("1972-02-01T00:00:00Z", 799.0),
("1972-03-01T00:00:00Z", 890.0),
("1972-04-01T00:00:00Z", 900.0),
("1972-05-01T00:00:00Z", 766.0),
("1972-06-01T00:00:00Z", 805.0),
("1972-07-01T00:00:00Z", 821.0),
("1972-08-01T00:00:00Z", 20000.0),
("1972-09-01T00:00:00Z", 883.0),
("1972-10-01T00:00:00Z", 898.0),
("1972-11-01T00:00:00Z", 957.0),
("1972-12-01T00:00:00Z", 924.0),
("1973-01-01T00:00:00Z", 881.0),
("1973-02-01T00:00:00Z", 837.0),
("1973-03-01T00:00:00Z", 9000.0)
], ["timestamp", "value"]).withColumn("group", lit("series1"))
df.write.mode("overwrite").saveAsTable("anomaly_detector_testing_data")
Une table Spark nommée anomaly_detector_testing_data doit maintenant apparaître dans la base de données Spark par défaut.
Ouvrir l'assistant des services Azure AI
Cliquez avec le bouton droit sur la table Spark créée à l’étape précédente. Sélectionnez Machine Learning>Prédire avec un modèle pour ouvrir l’Assistant.
Un panneau de configuration s’affiche et vous êtes invité à sélectionner un modèle pré-entraîné. Sélectionnez le Détecteur d’anomalies.
Configurer le Détecteur d’anomalies
Fournissez les informations suivantes pour configurer le Détecteur d’anomalies :
Service lié Azure Cognitive Services : dans le cadre des étapes prérequises, vous avez créé un service lié à votre service Azure AI. Sélectionnez-le ici.
Fréquence : fréquence d’échantillonnage de vos données. Choisissez mensuelle.
Colonne timestamp : colonne qui représente l’heure de la série. Choisissez timestamp (chaîne) .
Colonne de valeur de série chronologique : colonne qui représente la valeur de la série au moment spécifié par la colonne Horodatage. Choisissez value (double) .
Colonne de regroupement : colonne qui regroupe les séries. Autrement dit, toutes les lignes qui ont la même valeur dans cette colonne doivent former une série chronologique. Choisissez group (chaîne) .
Quand vous avez terminé, sélectionnez Ouvrir le notebook. Cette opération génère automatiquement un notebook avec le code PySpark qui utilise Azure AI services pour détecter les anomalies.
Exécuter le bloc-notes
Le notebook que vous venez d’ouvrir utilise la bibliothèque SynapseML pour se connecter à Azure AI services. Le service lié Azure AI services que vous avez fourni vous permet de référencer en toute sécurité votre service Azure AI à partir de cette expérience sans divulguer de secrets.
Vous pouvez maintenant exécuter toutes les cellules pour effectuer une détection d’anomalie. Sélectionnez Exécuter tout. Découvrez-en plus sur le Détecteur d’anomalies dans Azure AI services.
