Analyser les journaux d’activité des sites web à l’aide d’Azure Data Lake Analytics

Article
12/20/2023

Découvrez comment analyser les journaux d’activité des sites web à l’aide de Data Lake Analytics, en particulier pour découvrir quels points d’accès ont rencontré des erreurs lorsqu’ils ont essayé de visiter le site web.

Important

Azure Data Lake Analytics mis hors service le 29 février 2024. Découvrez-en plus avec cette annonce.

Pour l’analytique des données, votre organization peut utiliser Azure Synapse Analytics ou Microsoft Fabric.

Prérequis

Visual Studio 2015 ou Visual Studio 2013.
Data Lake Tools pour Visual Studio .

Une fois Data Lake Tools pour Visual Studio installé, un élément Data Lake apparaît dans le menu Outils de Visual Studio :
Connaissances de base de Data Lake Analytics et des Data Lake Tools pour Visual Studio. Pour commencer, consultez :
- Développer des scripts U-SQL à l'aide des Data Lake Tools pour Visual Studio.
Un compte Data Lake Analytics. Consultez Créer un compte Azure Data Lake Analytics.
Installez les exemples de données. Dans le Portail Azure, ouvrez votre compte Data Lake Analytics, sélectionnez Exemples de scripts dans le menu de gauche, puis sélectionnez Copier des exemples de données.

Connexion à Azure

Avant de pouvoir générer et tester des scripts U-SQL, vous devez d'abord vous connecter à Azure.

Pour se connecter à Data Lake Analytics

Ouvrez Visual Studio.
Sélectionnez Options et paramètres de Data Lake>.
Sélectionnez Se connecter ou Modifier l’utilisateur si quelqu’un s’est connecté, puis suivez les instructions.
Sélectionnez OK pour fermer la boîte de dialogue Options et paramètres.

Pour parcourir vos comptes Data Lake Analytics

Dans Visual Studio, ouvrez l’Explorateur de serveurs en appuyant sur CTRL+ALT+S.
Dans l’Explorateur de serveurs, développez Azure, puis Data Lake Analytics. Le cas échéant, la liste de vos comptes Data Lake Analytics s'affiche. Vous ne pouvez pas créer Data Lake Analytics comptes à partir du studio. Pour créer un compte, consultez Prise en main d’Azure Data Lake Analytics à l’aide de Portail Azure ou Prise en main d’Azure Data Lake Analytics à l’aide de Azure PowerShell.

Développement d'application U-SQL

Une application U-SQL est essentiellement un script U-SQL. Pour en savoir plus sur U-SQL, consultez Prise en main de U-SQL.

Vous pouvez ajouter des opérateurs définis par l'utilisateur à l'application. Pour plus d'informations, consultez Développer des opérateurs définis par l'utilisateur U-SQL pour des travaux Data Lake Analytics.

Pour créer et soumettre un travail Data Lake Analytics

Sélectionnez le fichier > Nouveau > projet.
Sélectionnez le type de projet U-SQL.
Sélectionnez OK. Visual Studio crée une solution avec un fichier Script.usql.

Insérez le script suivant dans le fichier Script.usql :

// Create a database for easy reuse, so you don't need to read from a file very time.
CREATE DATABASE IF NOT EXISTS SampleDBTutorials;

// Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
RETURNS @result TABLE
(
    s_date DateTime,
    s_time string,
    s_sitename string,
    cs_method string,
    cs_uristem string,
    cs_uriquery string,
    s_port int,
    cs_username string,
    c_ip string,
    cs_useragent string,
    cs_cookie string,
    cs_referer string,
    cs_host string,
    sc_status int,
    sc_substatus int,
    sc_win32status int,
    sc_bytes int,
    cs_bytes int,
    s_timetaken int
)
AS
BEGIN

    @result = EXTRACT
        s_date DateTime,
        s_time string,
        s_sitename string,
        cs_method string,
        cs_uristem string,
        cs_uriquery string,
        s_port int,
        cs_username string,
        c_ip string,
        cs_useragent string,
        cs_cookie string,
        cs_referer string,
        cs_host string,
        sc_status int,
        sc_substatus int,
        sc_win32status int,
        sc_bytes int,
        cs_bytes int,
        s_timetaken int
    FROM @"/Samples/Data/WebLog.log"
    USING Extractors.Text(delimiter:' ');
    RETURN;
END;

// Create a table for storing referrers and status
DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
@weblog = SampleDBTutorials.dbo.WeblogsView();
CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
(
    INDEX idx1
    CLUSTERED(Year ASC)
    DISTRIBUTED BY HASH(Year)
) AS

SELECT s_date.Year AS Year,
    s_date.Month AS Month,
    s_date.Day AS Day,
    cs_referer,
    sc_status,
    COUNT(DISTINCT c_ip) AS cnt
FROM @weblog
GROUP BY s_date,
        cs_referer,
        sc_status;

Pour comprendre U-SQL, voir Prise en main du langage U-SQL Data Lake Analytics.

Ajoutez un nouveau script U-SQL dans votre projet et entrez ce qui suit :

// Query the referrers that ran into errors
@content =
    SELECT *
    FROM SampleDBTutorials.dbo.ReferrersPerDay
    WHERE sc_status >=400 AND sc_status < 500;

OUTPUT @content
TO @"/Samples/Outputs/UnsuccessfulResponses.log"
USING Outputters.Tsv();

Revenez au premier script U-SQL, puis, à côté du bouton Soumettre , spécifiez votre compte Analytics.
Dans Explorateur de solutions, sélectionnez Script.usql, puis Générer un script. Vérifiez les résultats dans le volet Sortie.
Dans Explorateur de solutions, sélectionnez Script.usql, puis Envoyer un script.
Vérifiez que le compte Analytics est celui dans lequel vous souhaitez exécuter le travail, puis sélectionnez Envoyer. Les résultats de la soumission et le lien vers la tâche sont disponibles dans la fenêtre Résultats de Data Lake Tools pour Visual Studio à l'issue de la soumission.
Attendez que la tâche soit terminée avec succès. Si le travail a échoué, il manque probablement le fichier source. Consultez la section Prérequis de ce tutoriel. Pour plus d’informations sur la résolution des problèmes, consultez Surveiller et résoudre les problèmes liés aux travaux Azure Data Lake Analytics.

Une fois la tâche terminée, l'écran suivant s'affiche :
Répétez les étapes 7 à 10 pour Script1.usql.

Pour visualiser la sortie du travail

À partir de Server Explorer, développez Azure, Data Lake Analytics, développez votre compte Data Lake Analytics, développez Comptes de stockage, cliquez avec le bouton droit sur le compte Data Lake Storage par défaut, puis sélectionnez Explorer.
Double-cliquez sur Exemples pour ouvrir le dossier, puis double-cliquez sur Sorties.
Double-cliquez sur UnsuccessfulResponses.log.
Vous pouvez également double-cliquer sur le fichier de sortie dans l'affichage graphique de la tâche afin d'accéder directement à la sortie.

Étapes suivantes

Pour commencer à utiliser Data Lake Analytics à l'aide de différents outils, consultez :

Partager via