Dela via

Åtkomst till diagnostikloggar för Azure Data Lake Analytics

  • Artikel

Viktigt

Azure Data Lake Analytics drog sig tillbaka den 29 februari 2024. Läs mer med det här meddelandet.

För dataanalys kan din organisation använda Azure Synapse Analytics eller Microsoft Fabric.

Med diagnostikloggning kan du samla in spårningsloggar för dataåtkomst. Dessa loggar innehåller information som:

  • En lista över användare som har åtkomst till data.
  • Hur ofta data används.
  • Hur mycket data som lagras i kontot.

Aktivera loggning

  1. Logga in på Azure Portal.

  2. Öppna ditt Data Lake Analytics konto och välj Diagnostikinställningar i avsnittet Övervakning. Välj sedan + Lägg till diagnostikinställning.

    Skärmbild som visar åtgärden

  3. Från diagnostikinställningen anger du ett namn för den här loggningskonfigurationen och väljer sedan loggningsalternativ.

    Skärmbild som visar inställningar för att aktivera diagnostik för att samla in gransknings- och begärandeloggar

    • Du kan välja att lagra/bearbeta data på fyra olika sätt.

      • Välj Arkivera till ett lagringskonto för att lagra loggar i ett Azure-lagringskonto. Använd det här alternativet om du vill arkivera data. Om du väljer det här alternativet måste du ange ett Azure Storage-konto för att spara loggarna.

      • Välj Stream till en händelsehubb för att strömma loggdata till en Azure Event Hubs. Använd det här alternativet om du har en pipeline för nedströmsbearbetning som analyserar inkommande loggar i realtid. Om du väljer det här alternativet måste du ange information om de Azure Event Hubs du vill använda.

      • Välj Skicka till Log Analytics-arbetsyta för att skicka data till Azure Monitor-tjänsten. Använd det här alternativet om du vill använda Azure Monitor-loggar för att samla in och analysera loggar.

      • Välj skicka till partnerlösning om du vill använda vår partnerintegrering. Mer information finns i den här länken.

    • Ange om du vill hämta granskningsloggar eller begärandeloggar eller båda. En begärandelogg samlar in varje API-begäran. En granskningslogg registrerar alla åtgärder som utlöses av den API-begäran.

    • För Arkivera till ett lagringskonto anger du hur många dagar data ska behållas.

    • Välj Spara.

      Anteckning

      Du måste välja antingen Arkiv till ett lagringskonto, Stream till en händelsehubb, Skicka till Log Analytics-arbetsyta eller Skicka till partnerlösning innan du väljer knappen Spara.

Använda Azure Storage-kontot som innehåller loggdata

  1. Om du vill visa de blobcontainrar som innehåller loggningsdata öppnar du det Azure Storage-konto som används för Data Lake Analytics för loggning och väljer sedan Containrar.

    • Container insights-logs-audit innehåller granskningsloggarna.
    • Container insights-logs-requests innehåller begärandeloggarna.

  2. I containrarna lagras loggarna under följande filstruktur:

    resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json

    Anteckning

    Posterna ## i sökvägen innehåller det år, den månad, den dag och den timme då loggen skapades. Data Lake Analytics skapar en fil varje timme, så m= innehåller alltid värdet 00.

    Till exempel kan den fullständiga sökvägen till en granskningslogg vara:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    På samma sätt kan den fullständiga sökvägen till en begärandelogg vara:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Bearbeta loggdata

Azure Data Lake Analytics innehåller ett exempel på hur du bearbetar och analyserar loggdata. Du hittar exemplet på https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Loggstruktur

Gransknings- och begärandeloggarna har ett strukturerat JSON-format.

Begärandeloggar

Här är en exempelpost i JSON-formaterad begärandelogg. Varje blob har ett rotobjekt som kallas poster som innehåller en matris med loggobjekt.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Schema för begärandelogg

Namn Typ Description
time Sträng Tidsstämpeln (i UTC) för loggen
resourceId Sträng Identifieraren för resursen som åtgärden ägde rum på
category Sträng Loggkategorin. Till exempel Begäranden.
operationName Sträng Namnet på den åtgärd som loggas. Till exempel GetAggregatedJobHistory.
resultType Sträng Status för åtgärden, till exempel 200.
callerIpAddress Sträng IP-adressen för klienten som gör begäran
correlationId Sträng Loggens identifierare. Det här värdet kan användas för att gruppera en uppsättning relaterade loggposter.
identity Objekt Identiteten som genererade loggen
properties JSON Mer information finns i nästa avsnitt (schema för egenskaper för begärandeloggar)

Schema för egenskaper för begärandelogg

Namn Typ Description
HttpMethod Sträng DEN HTTP-metod som används för åtgärden. Till exempel GET.
Sökväg Sträng Sökvägen som åtgärden utfördes på
RequestContentLength int Innehållslängden för HTTP-begäran
ClientRequestId Sträng Identifieraren som unikt identifierar den här begäran
StartTime Sträng Den tid då servern tog emot begäran
EndTime Sträng Tiden då servern skickade ett svar

Granskningsloggar

Här är en exempelpost i den JSON-formaterade granskningsloggen. Varje blob har ett rotobjekt som kallas poster som innehåller en matris med loggobjekt.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Schema för spårningslogg

Namn Typ Description
time Sträng Tidsstämpeln (i UTC) för loggen
resourceId Sträng Identifieraren för resursen som åtgärden ägde rum på
category Sträng Loggkategorin. Till exempel Granskning.
operationName Sträng Namnet på den åtgärd som loggas. Till exempel JobSubmitted.
resultType Sträng En understatus för jobbstatusen (operationName).
resultSignature Sträng Extra information om jobbstatus (operationName).
identity Sträng Användaren som begärde åtgärden. Till exempel susan@contoso.com.
properties JSON Mer information finns i nästa avsnitt (schema för granskningsloggegenskaper)

Anteckning

resultType och resultSignature innehåller information om resultatet av en åtgärd och innehåller bara ett värde om en åtgärd har slutförts. De innehåller till exempel bara ett värde när operationName innehåller värdet JobStarted eller JobEnded.

Schema för granskningsloggegenskaper

Namn Typ Description
JobId Sträng Det ID som tilldelats jobbet
JobName Sträng Namnet som angavs för jobbet
JobRunTime Sträng Körningen som används för att bearbeta jobbet
SubmitTime Sträng Den tid (i UTC) som jobbet skickades
StartTime Sträng Den tid då jobbet började köras efter sändning (i UTC)
EndTime Sträng Den tid då jobbet avslutades
Parallellitet Sträng Antalet Data Lake Analytics enheter som begärdes för det här jobbet under sändningen

Anteckning

SubmitTime, StartTime, EndTime och Parallelism ger information om en åtgärd. Dessa poster innehåller bara ett värde om åtgärden har startats eller slutförts. Till exempel innehåller SubmitTime bara ett värde när operationName har värdet JobSubmitted.

Nästa steg