Analysieren von Websiteprotokollen mithilfe von Azure Data Lake Analytics

Erfahren Sie, wie Sie mit Data-Lake-Analytics Websiteprotokolle analysieren, insbesondere um herauszufinden, welche Referrer auf Fehler gestoßen sind, als sie versuchten, die Website zu besuchen.

Wichtig

Azure Data Lake Analytics wurde am 29. Februar 2024 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.

Bei Datenanalysen kann Ihre Organisation Azure Synapse Analytics oder Microsoft Fabricverwenden.

Voraussetzungen

• Visual Studio 2015 oder Visual Studio 2013.

• Data Lake Tools für Visual Studio.

  Nachdem Data Lake Tools für Visual Studio installiert wurden, wird ein Data Lake-Element im Menü "Extras " in Visual Studio angezeigt:

  

• Grundlegende Kenntnisse von Data Lake Analytics und den Data Lake Tools für Visual Studio. Informationen zu den ersten Schritten finden Sie unter:

  • Entwickeln Sie U-SQL-Skript mit Data Lake-Tools für Visual Studio.

• Ein Data Lake Analytics-Konto. Siehe Erstellen eines Azure Data Lake Analytics-Kontos.

• Installieren Sie die Beispieldaten. Öffnen Sie im Azure-Portal Ihr Data Lake Analytics-Konto, und wählen Sie " Beispielskripts " im linken Menü aus, und wählen Sie dann "Beispieldaten kopieren" aus.

Herstellen einer Verbindung mit Azure

Bevor Sie U-SQL-Skripts erstellen und testen können, müssen Sie zuerst eine Verbindung mit Azure herstellen.

So stellen Sie eine Verbindung mit Data Lake Analytics her

1. Öffnen Sie Visual Studio.
2. Wählen Sie "Data Lake > "-Optionen und -Einstellungen aus.
3. Wählen Sie "Anmelden" oder "Benutzer ändern ", wenn sich jemand angemeldet hat, und folgen Sie den Anweisungen.
4. Wählen Sie 'OK' aus, um das Dialogfeld "Optionen und Einstellungen" zu schließen.

So durchsuchen Sie Ihre Data Lake Analytics-Konten

1. Öffnen Sie in Visual Studio den Server-Explorer , indem Sie STRG+ALT+S drücken.
2. Erweitern Sie im Server-ExplorerAzure, und erweitern Sie dann Data Lake Analytics. Wenn vorhanden, wird eine Liste Ihrer Data Lake Analytics-Konten angezeigt. Sie können keine Data Lake Analytics-Konten aus dem Studio erstellen. Informationen zum Erstellen eines Kontos finden Sie unter "Erste Schritte mit Azure Data Lake Analytics" mithilfe des Azure-Portals oder " Erste Schritte mit Azure Data Lake Analytics" mithilfe von Azure PowerShell.

Entwickeln einer U-SQL-Anwendung

Eine U-SQL-Anwendung ist hauptsächlich ein U-SQL-Skript. Weitere Informationen zu U-SQL finden Sie unter "Erste Schritte mit U-SQL".

Sie können der Anwendung zusätzliche benutzerdefinierte Operatoren hinzufügen. Weitere Informationen finden Sie unter Entwickeln von benutzerdefinierten U-SQL-Operatoren für Data Lake Analytics-Aufträge.

So erstellen und übermitteln Sie einen Data Lake Analytics-Auftrag

1. Wählen Sie die Option Datei > Neues > Projekt aus.

2. Wählen Sie den U-SQL-Projekttyp aus.

   

3. Wählen Sie OK aus. Visual Studio erstellt eine Lösung mit einer Script.usql-Datei.

4. Geben Sie das folgende Skript in die Datei Script.usql ein:

   // Create a database for easy reuse, so you don't need to read from a file very time.
   CREATE DATABASE IF NOT EXISTS SampleDBTutorials;
   
   // Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
   DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
   CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
   RETURNS @result TABLE
   (
       s_date DateTime,
       s_time string,
       s_sitename string,
       cs_method string,
       cs_uristem string,
       cs_uriquery string,
       s_port int,
       cs_username string,
       c_ip string,
       cs_useragent string,
       cs_cookie string,
       cs_referer string,
       cs_host string,
       sc_status int,
       sc_substatus int,
       sc_win32status int,
       sc_bytes int,
       cs_bytes int,
       s_timetaken int
   )
   AS
   BEGIN
   
       @result = EXTRACT
           s_date DateTime,
           s_time string,
           s_sitename string,
           cs_method string,
           cs_uristem string,
           cs_uriquery string,
           s_port int,
           cs_username string,
           c_ip string,
           cs_useragent string,
           cs_cookie string,
           cs_referer string,
           cs_host string,
           sc_status int,
           sc_substatus int,
           sc_win32status int,
           sc_bytes int,
           cs_bytes int,
           s_timetaken int
       FROM @"/Samples/Data/WebLog.log"
       USING Extractors.Text(delimiter:' ');
       RETURN;
   END;
   
   // Create a table for storing referrers and status
   DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
   @weblog = SampleDBTutorials.dbo.WeblogsView();
   CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
   (
       INDEX idx1
       CLUSTERED(Year ASC)
       DISTRIBUTED BY HASH(Year)
   ) AS
   
   SELECT s_date.Year AS Year,
       s_date.Month AS Month,
       s_date.Day AS Day,
       cs_referer,
       sc_status,
       COUNT(DISTINCT c_ip) AS cnt
   FROM @weblog
   GROUP BY s_date,
           cs_referer,
           sc_status;
   

   Informationen zu U-SQL finden Sie unter "Erste Schritte mit der U-SQL-Sprache von Data Lake Analytics".

5. Fügen Sie Ihrem Projekt ein neues U-SQL-Skript hinzu, und geben Sie Folgendes ein:

   // Query the referrers that ran into errors
   @content =
       SELECT *
       FROM SampleDBTutorials.dbo.ReferrersPerDay
       WHERE sc_status >=400 AND sc_status < 500;
   
   OUTPUT @content
   TO @"/Samples/Outputs/UnsuccessfulResponses.log"
   USING Outputters.Tsv();
   

6. Wechseln Sie zurück zum ersten U-SQL-Skript, und geben Sie neben der Schaltfläche " Absenden " Ihr Analysekonto an.

7. Klicken Sie im Projektmappen-Explorer mit der rechten Maustaste auf Script.usql und wählen Sie dann Skript erstellen aus. Überprüfen Sie die Ergebnisse im Ausgabebereich.

8. Wählen Sie im Projektmappen-Explorer mit einem Rechtsklick Script.usql aus, und dann Script übermitteln.

9. Überprüfen Sie, ob das Analysekonto der Ort ist, an dem Sie den Auftrag ausführen möchten, und wählen Sie dann "Absenden" aus. Übermittlungsergebnisse und Auftragslink sind im Fenster "Data Lake Tools for Visual Studio Results" verfügbar, wenn die Übermittlung abgeschlossen ist.

10. Warten Sie, bis der Auftrag erfolgreich abgeschlossen wurde. Wenn der Auftrag fehlgeschlagen ist, fehlt wahrscheinlich die Quelldatei. Lesen Sie den Abschnitt "Voraussetzungen" dieses Lernprogramms. Weitere Informationen zur Problembehandlung finden Sie unter Überwachen und Beheben von Azure Data Lake Analytics-Aufträgen.

    Wenn der Auftrag abgeschlossen ist, wird der folgende Bildschirm angezeigt:

    

11. Wiederholen Sie jetzt die Schritte 7 bis 10 für Script1.usql.

Die Auftragsausgabe anzeigen

1. Erweitern Sie im Server-ExplorerAzure, erweitern Sie Data Lake Analytics, erweitern Sie Ihr Data Lake Analytics-Konto, erweitern Sie Speicherkonten, klicken Sie mit der rechten Maustaste auf das Standardmäßige Data Lake Storage-Konto, und wählen Sie dann Explorer aus.
2. Doppelklicken Sie auf "Beispiele ", um den Ordner zu öffnen, und doppelklicken Sie dann auf "Ausgaben".
3. Doppelklicken Sie auf UnsuccessfulResponses.log.
4. Sie können auch auf die Ausgabedatei in der Diagrammansicht des Auftrags doppelklicken, um direkt zur Ausgabe zu navigieren.

Nächste Schritte

Informationen zu den ersten Schritten mit Data Lake Analytics mithilfe verschiedener Tools finden Sie unter:

• Erste Schritte mit Data Lake Analytics mithilfe des Azure-Portals
• Erste Schritte mit Data Lake Analytics mit Azure PowerShell
• Erste Schritte mit Data Lake Analytics mit .NET SDK