Udostępnij za pośrednictwem

Uzyskiwanie dostępu do dzienników diagnostycznych usługi Azure Data Lake Analytics

  • Artykuł

Ważne

Usługa Azure Data Lake Analytics została wycofana 29 lutego 2024 r. Dowiedz się więcej z tym ogłoszeniem.

Na potrzeby analizy danych organizacja może używać usługi Azure Synapse Analytics lub microsoft fabric.

Rejestrowanie diagnostyczne umożliwia zbieranie logów audytu dostępu do danych. Te dzienniki zawierają informacje, takie jak:

  • Lista użytkowników, którzy uzyskiwali dostęp do danych.
  • Jak często uzyskuje się dostęp do danych.
  • Ile danych jest przechowywanych na koncie.

Włącz rejestrowanie

  1. Zaloguj się w witrynie Azure Portal.

  2. Otwórz konto usługi Data Lake Analytics i wybierz pozycję Ustawienia diagnostyczne w sekcji Monitorowanie . Następnie wybierz pozycję + Dodaj ustawienie diagnostyczne.

    Zrzut ekranu przedstawiający wybraną akcję

  3. W obszarze Ustawienia diagnostyki wprowadź nazwę dla tej konfiguracji rejestrowania, a następnie wybierz opcje rejestrowania.

    Zrzut ekranu przedstawiający ustawienia umożliwiające włączenie diagnostyki w celu zbierania dzienników inspekcji i żądań

    • Możesz przechowywać/przetwarzać dane na cztery różne sposoby.

      • Wybierz pozycję Archiwum na koncie magazynu, aby przechowywać dzienniki na koncie magazynu Azure. Użyj tej opcji, jeśli chcesz zarchiwizować dane. Jeśli wybierzesz tę opcję, musisz podać konto usługi Azure Storage, aby zapisać dzienniki.

      • Wybierz Stream to an event hub (Przesyłanie do centrum zdarzeń) aby przesyłać strumieniowo dane dziennika do usługi Azure Event Hubs. Użyj tej opcji, jeśli masz potok przetwarzania podrzędnego, który analizuje przychodzące dzienniki w czasie rzeczywistym. Jeśli wybierzesz tę opcję, musisz podać szczegóły usługi Azure Event Hubs, których chcesz użyć.

      • Wybierz pozycję Wyślij do obszaru roboczego usługi Log Analytics , aby wysłać dane do usługi Azure Monitor. Użyj tej opcji, jeśli chcesz używać dzienników usługi Azure Monitor do zbierania i analizowania dzienników.

      • Wybierz wyślij do rozwiązania partnerskiego, jeśli chcesz użyć integracji z naszym partnerem. Aby uzyskać więcej informacji, możesz skorzystać z tego linku.

    • Określ, czy chcesz uzyskać dzienniki kontroli, dzienniki żądań, czy oba typy dzienników. Dziennik żądań przechwytuje każde żądanie interfejsu API. Dziennik inspekcji rejestruje wszystkie operacje wyzwalane przez to żądanie interfejsu API.

    • W obszarze Archiwizowanie na koncie magazynu określ liczbę dni przechowywania danych.

    • Wybierz Zapisz.

      Uwaga

      Przed wybraniem przycisku Zapisz musisz Archiwizować do konta magazynu, Przeprowadzić transmisję strumieniową do centrum zdarzeń, Wysyłać do obszaru roboczego Log Analytics lub Wysyłać do rozwiązania partnerskiego.

Korzystanie z konta usługi Azure Storage zawierającego dane dziennika

  1. Aby wyświetlić kontenery obiektów blob, które przechowują dane rejestrowania, otwórz konto Azure Storage używane do rejestrowania w ramach Data Lake Analytics, a następnie wybierz Kontenery.

    • Kontener insights-logs-audit zawiera dzienniki inspekcji.
    • Kontener insights-logs-requests zawiera dzienniki żądań.

  2. W kontenerach dzienniki są przechowywane w następującej strukturze plików:

    resourceId=/
  SUBSCRIPTIONS/
    <<SUBSCRIPTION_ID>>/
      RESOURCEGROUPS/
        <<RESOURCE_GRP_NAME>>/
          PROVIDERS/
            MICROSOFT.DATALAKEANALYTICS/
              ACCOUNTS/
                <DATA_LAKE_ANALYTICS_NAME>>/
                  y=####/
                    m=##/
                      d=##/
                        h=##/
                          m=00/
                            PT1H.json

    Uwaga

    Wpisy ## w ścieżce zawierają rok, miesiąc, dzień i godzinę, w której utworzono dziennik. Usługa Data Lake Analytics tworzy jeden plik co godzinę, więc m= zawsze zawiera wartość 00.

    Na przykład pełna ścieżka do dziennika inspekcji może być następująca:

    https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=04/m=00/PT1H.json

    Podobnie pełna ścieżka do dziennika żądań może być następująca:

    https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/mydatalakeanalytics/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Przetwarzanie danych dziennika

Usługa Azure Data Lake Analytics udostępnia przykład sposobu przetwarzania i analizowania danych dziennika. Przykład można znaleźć na stronie https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Struktura dziennika

Dzienniki inspekcji i żądań mają ustrukturyzowany format JSON.

Dzienniki żądań

Oto przykładowy wpis w dzienniku żądań w formacie JSON. Każdy obiekt blob ma jeden obiekt główny o nazwie records, który zawiera tablicę obiektów dziennika.

{
"records":
  [
    . . . .
    ,
    {
         "time": "2016-07-07T21:02:53.456Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_analytics_account_name>",
         "category": "Requests",
         "operationName": "GetAggregatedJobHistory",
         "resultType": "200",
         "callerIpAddress": "::ffff:1.1.1.1",
         "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
         "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
         "properties": {
             "HttpMethod":"POST",
             "Path":"/JobAggregatedHistory",
             "RequestContentLength":122,
             "ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8",
             "StartTime":"2016-07-07T21:02:52.472Z",
             "EndTime":"2016-07-07T21:02:53.456Z"
             }
    }
    ,
    . . . .
  ]
}

Schemat dziennika żądań

Nazwa Typ Opis
Czas Sznurek Sygnatura czasowa dziennika (w formacie UTC)
identyfikator zasobu Sznurek Identyfikator zasobu, na który miała miejsce operacja
kategoria Sznurek Kategoria logów. Na przykład Żądania.
nazwa operacji Sznurek Nazwa zarejestrowanej operacji. Na przykład GetAggregatedJobHistory.
typ wyniku Sznurek Stan operacji, na przykład 200.
adres IP rozmówcy Sznurek Adres IP klienta wysyłającego żądanie
correlationId Sznurek Identyfikator dziennika. Ta wartość może służyć do grupowania zestawu powiązanych wpisów dziennika.
tożsamość Przedmiot Tożsamość, która wygenerowała dziennik
właściwości JSON Aby uzyskać szczegółowe informacje, zobacz następną sekcję (Schemat właściwości dziennika żądań)

Żądanie schematu właściwości dziennika

Nazwa Typ Opis
Metoda HTTP (HttpMethod) Sznurek Metoda HTTP używana do operacji. Na przykład GET.
Ścieżka Sznurek Ścieżka, na którą wykonano operację
DługośćZawartościŻądania Int Długość zawartości żądania HTTP
ClientRequestId Sznurek Identyfikator, który jednoznacznie identyfikuje to żądanie
Godzina rozpoczęcia Sznurek Czas odebrania żądania przez serwer
Godzina zakończenia Sznurek Czas wysłania odpowiedzi przez serwer

Dzienniki inspekcji

Oto przykładowy wpis w dzienniku inspekcji w formacie JSON. Każdy obiekt blob ma jeden obiekt główny o nazwie records, który zawiera tablicę obiektów dziennika.

{
"records":
  [
    {
         "time": "2016-07-28T19:15:16.245Z",
         "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKEANALYTICS/ACCOUNTS/<data_lake_ANALYTICS_account_name>",
         "category": "Audit",
         "operationName": "JobSubmitted",
         "identity": "user@somewhere.com",
         "properties": {
             "JobId":"D74B928F-5194-4E6C-971F-C27026C290E6",
             "JobName": "New Job",
             "JobRuntimeName": "default",
             "SubmitTime": "7/28/2016 7:14:57 PM"
             }
    }
  ]
}

Schemat dziennika inspekcji

Nazwa Typ Opis
Czas Sznurek Sygnatura czasowa dziennika (w formacie UTC)
identyfikator zasobu Sznurek Identyfikator zasobu, na który miała miejsce operacja
kategoria Sznurek Kategoria logów. Na przykład Inspekcja.
nazwa operacji Sznurek Nazwa zarejestrowanej operacji. Na przykład „JobSubmitted”.
typ wyniku Sznurek Podstatus stanu zadania (operationName).
sygnatura wyniku Sznurek Dodatkowe szczegóły dotyczące stanu zadania (operationName).
tożsamość Sznurek Użytkownik, który zażądał operacji. Na przykład susan@contoso.com.
właściwości JSON Aby uzyskać szczegółowe informacje, zobacz następną sekcję (schemat właściwości dziennika inspekcji)

Uwaga

resultType i resultSignature zawierają informacje o wyniku operacji i zawierają tylko wartość, jeśli operacja została ukończona. Na przykład zawierają one tylko wartość, gdy operationName zawiera wartość JobStarted lub JobEnded.

Schemat właściwości rejestru audytu

Nazwa Typ Opis
JobId Sznurek Identyfikator przypisany do zadania
Jobname Sznurek Nazwa podana dla zadania
CzasTrwaniaZadania Sznurek Środowisko uruchomieniowe używane do przetwarzania zadania
Czas przesłania Sznurek Godzina przesłania zadania (w formacie UTC)
Godzina rozpoczęcia Sznurek Czas uruchomienia zadania po przesłaniu (w formacie UTC)
Godzina zakończenia Sznurek Godzina zakończenia zadania
Paralelizm Sznurek Liczba jednostek usługi Data Lake Analytics, o które poproszono dla tego zadania w momencie przesyłania

Uwaga

Funkcja SubmitTime, StartTime, EndTime i Parallelism udostępnia informacje dotyczące operacji. Te wpisy zawierają tylko wartość, jeśli ta operacja została uruchomiona lub ukończona. Na przykład SubmitTime zawiera tylko wartość po tym, jak operationName ma wartość JobSubmitted.

Następne kroki