次の方法で共有

Azure Data Lake Analytics を使用する Web サイト ログの分析

  • [アーティクル]

Data Lake Analytics を使用して Web サイトのログを分析する方法について、特に、Web サイトへのアクセスを試みたときにエラーが発生した参照元の特定に重点を置いて説明します。

重要

Azure Data Lake Analyticsは、2024 年 2 月 29 日に廃止されました。 詳細については、このお知らせを参照してください。

データ分析の場合、organizationは Azure Synapse Analytics または Microsoft Fabric を使用できます。

前提条件

Azure に接続する

U-SQL スクリプトをビルドしてテストするには、Azure に接続しておく必要があります。

Data Lake Analytics に接続するには

  1. Visual Studio を開きます。
  2. [ Data Lake > のオプションと設定] を選択します。
  3. [サインイン] を選択するか、他のユーザーがサインインしている場合は [ユーザーの変更] を選択し、指示に従います。
  4. [ OK] を選択 して[オプションと設定] ダイアログを閉じます。

Data Lake Analytics アカウントを参照するには

  1. Visual Studio で、Ctrl + Alt + S キーを押して、サーバー エクスプローラーを開きます。
  2. サーバー エクスプローラーで、 [Azure] 、 [Data Lake Analytics] の順に展開します。 Data Lake Analytics アカウントが複数ある場合は、そのリストが表示されます。 スタジオからData Lake Analyticsアカウントを作成することはできません。 アカウントを作成するには、「Azure portalを使用した Azure Data Lake Analyticsの概要」または「Azure PowerShellを使用した Azure Data Lake Analyticsの概要」を参照してください。

U-SQL アプリケーションの作成

U SQL アプリケーションの大部分は、U-SQL スクリプトです。 U-SQL の詳細については、 U-SQL の使用に関するページを参照してください。

アプリケーションにはユーザー定義演算子を追加できます。 詳細については、「 Data Lake Analytics ジョブの U-SQL ユーザー定義演算子の開発」をご覧ください。

Data Lake Analytics ジョブを作成して送信するには

  1. [ファイル] [新しい>プロジェクト] を>選択します。

  2. プロジェクトの種類として、[U-SQL プロジェクト] を選択します。

    新しい U-SQL Visual Studio プロジェクト

  3. [OK] を選択します。 Visual Studio で、Script.usql ファイルを使用してソリューションが作成されます。

  4. 次のスクリプトを Script.usql ファイルに入力します。

    // Create a database for easy reuse, so you don't need to read from a file very time.
CREATE DATABASE IF NOT EXISTS SampleDBTutorials;

// Create a Table valued function. TVF ensures that your jobs fetch data from he weblog file with the correct schema.
DROP FUNCTION IF EXISTS SampleDBTutorials.dbo.WeblogsView;
CREATE FUNCTION SampleDBTutorials.dbo.WeblogsView()
RETURNS @result TABLE
(
    s_date DateTime,
    s_time string,
    s_sitename string,
    cs_method string,
    cs_uristem string,
    cs_uriquery string,
    s_port int,
    cs_username string,
    c_ip string,
    cs_useragent string,
    cs_cookie string,
    cs_referer string,
    cs_host string,
    sc_status int,
    sc_substatus int,
    sc_win32status int,
    sc_bytes int,
    cs_bytes int,
    s_timetaken int
)
AS
BEGIN

    @result = EXTRACT
        s_date DateTime,
        s_time string,
        s_sitename string,
        cs_method string,
        cs_uristem string,
        cs_uriquery string,
        s_port int,
        cs_username string,
        c_ip string,
        cs_useragent string,
        cs_cookie string,
        cs_referer string,
        cs_host string,
        sc_status int,
        sc_substatus int,
        sc_win32status int,
        sc_bytes int,
        cs_bytes int,
        s_timetaken int
    FROM @"/Samples/Data/WebLog.log"
    USING Extractors.Text(delimiter:' ');
    RETURN;
END;

// Create a table for storing referrers and status
DROP TABLE IF EXISTS SampleDBTutorials.dbo.ReferrersPerDay;
@weblog = SampleDBTutorials.dbo.WeblogsView();
CREATE TABLE SampleDBTutorials.dbo.ReferrersPerDay
(
    INDEX idx1
    CLUSTERED(Year ASC)
    DISTRIBUTED BY HASH(Year)
) AS

SELECT s_date.Year AS Year,
    s_date.Month AS Month,
    s_date.Day AS Day,
    cs_referer,
    sc_status,
    COUNT(DISTINCT c_ip) AS cnt
FROM @weblog
GROUP BY s_date,
        cs_referer,
        sc_status;

    U-SQL を理解するには、「 チュートリアル: Azure Data Lake Analytics U-SQL 言語の使用」をご覧ください。

  5. 新しい U-SQL スクリプトをプロジェクトに追加し、以下を入力してください。

    // Query the referrers that ran into errors
@content =
    SELECT *
    FROM SampleDBTutorials.dbo.ReferrersPerDay
    WHERE sc_status >=400 AND sc_status < 500;

OUTPUT @content
TO @"/Samples/Outputs/UnsuccessfulResponses.log"
USING Outputters.Tsv();

  6. 最初の U-SQL スクリプトに戻り、 [送信] ボタンの横に、Analytics アカウントを指定します。

  7. ソリューション エクスプローラーから[Script.usql]\(スクリプト.usql\) を右クリックし、[Build Script]\(スクリプトのビルド\) を選択します。 [出力] ウィンドウで結果を確認します。

  8. ソリューション エクスプローラーから Script.usql を右選択し、[スクリプトの送信] を選択します。

  9. Analytics アカウントがジョブを実行するアカウントであることを確認し、[送信] を選択します。 送信が完了すると、Data Lake Tools for Visual Studio の [結果] ウィンドウに送信結果とジョブのリンクが示されます。

  10. ジョブが正常に完了するまで待機します。 ジョブが失敗した場合、ソース ファイルが見つからない可能性が高くなります。 このチュートリアルの前提条件に関するセクションを参照してください。 トラブルシューティングの詳細については、「Azure Data Lake Analytics ジョブの監視とトラブルシューティング」を参照してください。

    ジョブが完了すると、次の画面が表示されます。

    Data Lake Analytics による Web サイトのログ (weblogs) の分析

  11. 次に、 Script1.usqlの手順 7 ～ 10 を繰り返します。

ジョブの出力を表示するには

  1. [サーバー エクスプローラー] で、[Azure] を展開し、[Data Lake Analytics] を展開し、Data Lake Analytics アカウントを展開し、[ストレージ アカウント] を展開し、既定のData Lake Storage アカウントを右クリックして、[エクスプローラー。
  2. [サンプル] をダブルクリックしてフォルダーを開き、 [出力] をダブルクリックします。
  3. UnsuccessfulResponses.log をダブルクリックします。
  4. ジョブのグラフ ビューで出力ファイルをダブルクリックして、出力ファイルに直接移動することもできます。

次のステップ

さまざまなツールを使用して Data Lake Analytics の使用を開始する方法については、以下をご覧ください。