Analysieren von Websiteprotokollen mit Azure Data Lake Analytics

Artikel
12/20/2023

Erfahren Sie, wie Sie Websiteprotokolle mit Azure Data Lake Analytics analysieren, um insbesondere herauszufinden, bei welchen Verweisern beim Versuch des Besuchs der Website Fehler aufgetreten sind.

Wichtig

Azure Data Lake Analytics am 29. Februar 2024 eingestellt. In dieser Ankündigung erhalten Sie weitere Informationen.

Für Datenanalysen kann Ihr organization Azure Synapse Analytics oder Microsoft Fabric verwenden.

Voraussetzungen

Visual Studio 2015 oder Visual Studio 2013
Data Lake-Tools für Visual Studio

Nachdem Data Lake Tools für Visual Studio installiert wurde, wird im Menü Extras in Visual Studio ein Data Lake-Element angezeigt:
Grundkenntnisse in Data Lake Analytics und Data Lake-Tools für Visual Studio. Informationen zu den ersten Schritten finden Sie unter:
- Entwickeln von U-SQL-Skripts mit den Data Lake-Tools für Visual Studio.
Data Lake Analytics-Konto. Weitere Informationen finden Sie unter Erstellen eines Azure Data Lake Analytics-Kontos.
Installieren Sie die Beispieldaten. Öffnen Sie im Azure-Portal Ihr Data Lake Analytics Konto, und wählen Sie im linken Menü Beispielskripts und dann Beispieldaten kopieren aus.

Herstellen einer Verbindung mit Azure

Bevor Sie U-SQL-Skripts erstellen und testen können, müssen Sie zuerst eine Verbindung mit Azure herstellen.

So stellen Sie eine Verbindung mit Data Lake Analytics her

Öffnen Sie Visual Studio.
Wählen Sie Data Lake-Optionen > und -Einstellungen aus.
Wählen Sie Anmelden oder Benutzer ändern aus, wenn sich eine Person angemeldet hat, und befolgen Sie die Anweisungen.
Wählen Sie OK aus, um das Dialogfeld Optionen und Einstellungen zu schließen.

So durchsuchen Sie Ihre Data Lake Analytics-Konten

Öffnen Sie in Visual Studio den Server-Explorer, indem Sie STRG+ALT+S drücken.
Erweitern Sie in Server-Explorer erst Azure und dann Data Lake Analytics. Es wird eine Liste mit Ihren Data Lake Analytics-Konten angezeigt, falls Konten vorhanden sind. Sie können keine Data Lake Analytics Konten aus Studio erstellen. Informationen zum Erstellen eines Kontos finden Sie unter Erste Schritte mit Azure Data Lake Analytics mit Azure-Portal oder Erste Schritte mit Azure Data Lake Analytics mit Azure PowerShell.

Entwickeln einer U-SQL-Anwendung

Eine U-SQL-Anwendung ist größtenteils ein U-SQL-Skript. Weitere Informationen zu U-SQL finden Sie unter Erste Schritte mit U-SQL.

Sie können der Anwendung außerdem benutzerdefinierte Operatoren hinzufügen. Weitere Informationen finden Sie unter Entwickeln von benutzerdefinierten U-SQL-Operatoren für Data Lake Analytics-Aufträge.

So erstellen und übermitteln Sie einen Data Lake Analytics-Auftrag

Wählen Sie dateineues >> Projekt aus.
Wählen Sie den Typ „U-SQL-Projekt“ aus.
Klicken Sie auf OK. Visual Studio erstellt eine Projektmappe mit der Datei „Script.usql“.

Fügen Sie das folgende Skript in die Datei „Script.usql“ ein:

// Create a database for easy reuse, so you don't need to read from a file very time.
CREATE DATABASE IF NOT EXISTS SampleDBTutorials;

// Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
RETURNS @result TABLE
(
    s_date DateTime,
    s_time string,
    s_sitename string,
    cs_method string,
    cs_uristem string,
    cs_uriquery string,
    s_port int,
    cs_username string,
    c_ip string,
    cs_useragent string,
    cs_cookie string,
    cs_referer string,
    cs_host string,
    sc_status int,
    sc_substatus int,
    sc_win32status int,
    sc_bytes int,
    cs_bytes int,
    s_timetaken int
)
AS
BEGIN

    @result = EXTRACT
        s_date DateTime,
        s_time string,
        s_sitename string,
        cs_method string,
        cs_uristem string,
        cs_uriquery string,
        s_port int,
        cs_username string,
        c_ip string,
        cs_useragent string,
        cs_cookie string,
        cs_referer string,
        cs_host string,
        sc_status int,
        sc_substatus int,
        sc_win32status int,
        sc_bytes int,
        cs_bytes int,
        s_timetaken int
    FROM @"/Samples/Data/WebLog.log"
    USING Extractors.Text(delimiter:' ');
    RETURN;
END;

// Create a table for storing referrers and status
DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
@weblog = SampleDBTutorials.dbo.WeblogsView();
CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
(
    INDEX idx1
    CLUSTERED(Year ASC)
    DISTRIBUTED BY HASH(Year)
) AS

SELECT s_date.Year AS Year,
    s_date.Month AS Month,
    s_date.Day AS Day,
    cs_referer,
    sc_status,
    COUNT(DISTINCT c_ip) AS cnt
FROM @weblog
GROUP BY s_date,
        cs_referer,
        sc_status;

Grundlegendes zu U-SQL finden Sie unter Erste Schritte mit der Sprache U-SQL für Data Lake Analytics.

Fügen Sie Ihrem Projekt ein neues U-SQL-Skript hinzu, und geben Sie Folgendes ein:

// Query the referrers that ran into errors
@content =
    SELECT *
    FROM SampleDBTutorials.dbo.ReferrersPerDay
    WHERE sc_status >=400 AND sc_status < 500;

OUTPUT @content
TO @"/Samples/Outputs/UnsuccessfulResponses.log"
USING Outputters.Tsv();

Wechseln Sie zurück zum ersten U-SQL-Skript, und geben Sie neben der Schaltfläche Senden Ihr Analytics-Konto an.
Wählen Sie in Projektmappen-Explorer mit der rechten Maustaste Script.usql und dann Build script (Skript erstellen) aus. Überprüfen Sie das Ergebnis im Ausgabebereich.
Wählen Sie in Projektmappen-Explorer mit der rechten Maustaste Script.usql und dann Skript übermitteln aus.
Vergewissern Sie sich, dass das Analytics-Konto das Konto ist, in dem Sie den Auftrag ausführen möchten, und wählen Sie dann Übermitteln aus. Die Sendeergebnisse und die Auftragsverknüpfung sind im Ergebnisfenster der Data Lake-Tools für Visual Studio verfügbar, nachdem die Übermittlung abgeschlossen ist.
Warten Sie, bis der Auftrag erfolgreich abgeschlossen wurde. Wenn der Auftrag fehlgeschlagen ist, fehlt höchstwahrscheinlich die Quelldatei. Weitere Informationen finden Sie im Abschnitt Voraussetzungen dieses Tutorials. Weitere Informationen zur Problembehandlung finden Sie unter Überwachen und Behandeln von Problemen mit Azure Data Lake Analytics-Aufträgen.

Nach Abschluss des Auftrags sollte der folgende Bildschirm angezeigt werden:
Wiederholen Sie jetzt die Schritte 7 bis 10 für Script1.usql.

So zeigen Sie die Auftragsausgabe an

Erweitern Sie unter Server Explorer die Option Azure, erweitern Sie Data Lake Analytics, erweitern Sie Ihr Data Lake Analytics-Konto, erweitern Sie Speicherkonten, klicken Sie mit der rechten Maustaste auf das Standardkonto Data Lake Storage, und wählen Sie dann Explorer.
Doppelklicken Sie auf Beispiele, um den Ordner zu öffnen, und doppelklicken Sie dann auf Ausgaben.
Doppelklicken Sie auf UnsuccessfulResponses.log.
Sie können auch in der Diagrammansicht des Auftrags auf die Ausgabedatei doppelklicken, um direkt zur Ausgabe zu navigieren.

Nächste Schritte

Informationen zu den ersten Schritten mit Data Lake Analytics unter Verwendung unterschiedlicher Tools finden Sie unter:

Freigeben über