Přístup k diagnostickým protokolům pro Azure Data Lake Storage Gen1

Článek
03/26/2018

Zjistěte, jak povolit protokolování diagnostiky pro účet Azure Data Lake Storage Gen1 a jak zobrazit protokoly shromážděné pro váš účet.

Organizace můžou pro svůj účet Azure Data Lake Storage Gen1 povolit protokolování diagnostiky a shromažďovat záznamy auditu přístupu k datům, které poskytují informace, jako je seznam uživatelů, kteří k datům přistupují, jak často se k datům přistupuje, kolik dat se v účtu ukládá atd. Pokud je tato možnost povolená, diagnostika a/nebo požadavky se protokolují s maximálním úsilím. Položky protokolu Požadavků i Diagnostiky se vytvoří pouze v případě, že se na koncový bod služby provádějí požadavky.

Požadavky

Předplatné Azure. Viz Získání bezplatné zkušební verze Azure.
Azure Data Lake Storage účet Gen1. Postupujte podle pokynů v tématu Začínáme s Azure Data Lake Storage Gen1 pomocí Azure Portal.

Povolení protokolování diagnostiky pro účet Data Lake Storage Gen1

Přihlaste se k novému webu Azure Portal.
Otevřete účet Data Lake Storage Gen1 a v okně účtu Data Lake Storage Gen1 klikněte na Nastavení diagnostiky.
V okně Nastavení diagnostiky klikněte na Zapnout diagnostiku.
V okně Nastavení diagnostiky proveďte následující změny a nakonfigurujte protokolování diagnostiky.
- Do pole Název zadejte hodnotu konfigurace diagnostického protokolu.
- Data můžete ukládat nebo zpracovávat různými způsoby.
  - Vyberte možnost Archivovat do účtu úložiště , aby se protokoly ukládaly do účtu služby Azure Storage. Tuto možnost použijte, pokud chcete archivovat data, která budou později dávkově zpracována. Pokud vyberete tuto možnost, musíte zadat účet Azure Storage, do které se protokoly uloží.
  - Vyberte možnost Stream do centra událostí a streamovat data protokolů do centra událostí Azure. Tuto možnost s největší pravděpodobností použijete, pokud máte kanál pro zpracování podřízeného procesu, který analyzuje příchozí protokoly v reálném čase. Pokud vyberete tuto možnost, musíte zadat podrobnosti pro centrum událostí Azure, které chcete použít.
  - Pokud chcete použít službu Azure Monitor k analýze vygenerovaných dat protokolu, vyberte možnost Odeslat do Log Analytics . Pokud vyberete tuto možnost, musíte zadat podrobnosti pracovního prostoru služby Log Analytics, které byste použili k provedení analýzy protokolů. Podrobnosti o používání protokolů služby Azure Monitor najdete v tématu Zobrazení nebo analýza dat shromážděných pomocí protokolů služby Azure Monitor .
- Určete, jestli chcete získat protokoly auditu, protokoly požadavků, případně obojí.
- Zadejte počet dnů, po které se musí data uchovávat. Uchovávání dat protokolů se dá uchovávat jenom v případě, že k archivaci dat protokolů používáte účet úložiště Azure.
- Klikněte na Uložit.

Po povolení nastavení diagnostiky můžete protokoly watch na kartě Diagnostické protokoly.

Zobrazení diagnostických protokolů pro účet Data Lake Storage Gen1

Data protokolu pro účet Data Lake Storage Gen1 můžete zobrazit dvěma způsoby.

V zobrazení nastavení účtu Data Lake Storage Gen1
Z účtu Azure Storage, kde jsou data uložená

Použití zobrazení nastavení Data Lake Storage Gen1

V okně Nastavení účtu Data Lake Storage Gen1 klikněte na Diagnostické protokoly.
V okně Diagnostické protokoly byste měli vidět protokoly rozdělené do kategorií podle protokolů auditu a protokolů požadavků.
- Protokoly požadavků zaznamenávají všechny požadavky rozhraní API provedené v účtu Data Lake Storage Gen1.
- Protokoly auditu se podobají protokolům požadavků, ale poskytují mnohem podrobnější rozpis operací prováděných na Data Lake Storage Gen1 účtu. Například jedno volání rozhraní API pro nahrávání v protokolech požadavků může vést k několika operacím připojení v protokolech auditu.
Protokoly stáhnete kliknutím na odkaz Stáhnout u každé položky protokolu.

Z účtu Azure Storage, který obsahuje data protokolů

Otevřete okno účtu Azure Storage přidružené k Data Lake Storage Gen1 pro protokolování a pak klikněte na Objekty blob. V okně Blob Service jsou uvedeny dva kontejnery.
- Kontejner insights-logs-audit obsahuje protokoly auditu.
- Kontejner insights-logs-requests obsahuje protokoly požadavků.
V těchto kontejnerech se protokoly ukládají v následující struktuře.

Úplná cesta k protokolu auditování může být například https://adllogs.blob.core.windows.net/insights-logs-audit/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=04/m=00/PT1H.json

Podobně může být úplná cesta k protokolu požadavků https://adllogs.blob.core.windows.net/insights-logs-requests/resourceId=/SUBSCRIPTIONS/<sub-id>/RESOURCEGROUPS/myresourcegroup/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/mydatalakestorage/y=2016/m=07/d=18/h=14/m=00/PT1H.json

Vysvětlení struktury dat protokolu

Protokoly auditu a požadavků jsou ve formátu JSON. V této části se podíváme na strukturu JSON pro protokoly požadavků a auditu.

Protokoly požadavků

Tady je ukázková položka v protokolu požadavků ve formátu JSON. Každý objekt blob má jeden kořenový objekt označovaný jako záznamy , který obsahuje pole objektů protokolu.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-07T21:02:53.456Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Requests",
        "operationName": "GETCustomerIngressEgress",
        "resultType": "200",
        "callerIpAddress": "::ffff:1.1.1.1",
        "correlationId": "4a11c709-05f5-417c-a98d-6e81b3e29c58",
        "identity": "1808bd5f-62af-45f4-89d8-03c5e81bac30",
        "properties": {"HttpMethod":"GET","Path":"/webhdfs/v1/Samples/Outputs/Drivers.csv","RequestContentLength":0,"StoreIngressSize":0 ,"StoreEgressSize":4096,"ClientRequestId":"3b7adbd9-3519-4f28-a61c-bd89506163b8","StartTime":"2016-07-07T21:02:52.472Z","EndTime":"2016-07-07T21:02:53.456Z","QueryParameters":"api-version=<version>&op=<operationName>"}
    }
    ,
    . . . .
  ]
}

Schéma protokolu požadavků

Název	Typ	Description
time	Řetězec	Časové razítko protokolu (v UTC)
resourceId	Řetězec	ID prostředku, u kterého proběhla operace
category	Řetězec	Kategorie protokolu. Například Požadavky.
operationName	Řetězec	Název operace, která se protokoluje. Například getfilestatus.
resultType	Řetězec	Stav operace, například 200.
callerIpAddress	Řetězec	IP adresa klienta, který vytváří požadavek
correlationId	Řetězec	ID protokolu, které lze použít k seskupení sady souvisejících položek protokolu
identity	Objekt	Identita, která vygenerovala protokol
properties	JSON	Podrobnosti najdete níže.

Schéma vlastností protokolu požadavků

Název	Typ	Description
Metoda HTTP	Řetězec	Metoda HTTP použitá pro operaci. Například GET.
Cesta	Řetězec	Cesta, na které byla operace provedena
RequestContentLength	int	Délka obsahu požadavku HTTP
ClientRequestId	Řetězec	ID, které jednoznačně identifikuje tento požadavek
StartTime	Řetězec	Čas, kdy server přijal požadavek
EndTime	Řetězec	Čas, kdy server odeslal odpověď
StoreIngressSize	Dlouhé	Velikost v bajtech příchozích dat do Data Lake Store
StoreEgressSize	Dlouhé	Velikost v bajtech výchozích dat z Data Lake Store
QueryParameters	Řetězec	Popis: Toto jsou parametry dotazu http. Příklad 1: api-version=2014-01-01&op=getfilestatus Příklad 2: op=APPEND&append=true&syncFlag=DATA&filesessionid=bee3355a-4925-4435--bb4d-ceea52811aeb&leaseid=bee3355a-4925-4435-bb4d-ceea52811aeb&offset=28313319&api-version=2017-08-01

Protokoly auditu

Tady je ukázková položka v protokolu auditu ve formátu JSON. Každý objekt blob má jeden kořenový objekt označovaný jako záznamy , který obsahuje pole objektů protokolu.

{
"records": 
  [        
    . . . .
    ,
    {
        "time": "2016-07-08T19:08:59.359Z",
        "resourceId": "/SUBSCRIPTIONS/<subscription_id>/RESOURCEGROUPS/<resource_group_name>/PROVIDERS/MICROSOFT.DATALAKESTORE/ACCOUNTS/<data_lake_storage_gen1_account_name>",
        "category": "Audit",
        "operationName": "SeOpenStream",
        "resultType": "0",
        "resultSignature": "0",
        "correlationId": "381110fc03534e1cb99ec52376ceebdf;Append_BrEKAmg;25.66.9.145",
        "identity": "A9DAFFAF-FFEE-4BB5-A4A0-1B6CBBF24355",
        "properties": {"StreamName":"adl://<data_lake_storage_gen1_account_name>.azuredatalakestore.net/logs.csv"}
    }
    ,
    . . . .
  ]
}

Schéma protokolu auditu

Název	Typ	Description
time	Řetězec	Časové razítko (v UTC) protokolu
resourceId	Řetězec	ID prostředku, u kterého proběhla operace
category	Řetězec	Kategorie protokolu. Například Audit.
operationName	Řetězec	Název operace, která se protokoluje. Například getfilestatus.
resultType	Řetězec	Stav operace, například 200.
resultSignature	Řetězec	Další podrobnosti o operaci
correlationId	Řetězec	ID protokolu, které lze použít k seskupení sady souvisejících položek protokolu
identity	Objekt	Identita, která vygenerovala protokol
properties	JSON	Podrobnosti najdete níže.

Schéma vlastností protokolu auditu

Název	Typ	Description
Název streamu	Řetězec	Cesta, na které byla operace provedena

Ukázky pro zpracování dat protokolu

Při odesílání protokolů z Azure Data Lake Storage Gen1 do protokolů Služby Azure Monitor (viz Zobrazení nebo analýza dat shromážděných pomocí protokolů Azure Monitoru vyhledejte podrobnosti o používání protokolů služby Azure Monitor), následující dotaz vrátí tabulku obsahující seznam zobrazovaných jmen uživatelů, čas událostí a počet událostí pro čas události spolu s vizuálním grafem. Můžete ho snadno upravit tak, aby zobrazoval identifikátor GUID uživatele nebo jiné atributy:

search *
| where ( Type == "AzureDiagnostics" )
| summarize count(TimeGenerated) by identity_s, TimeGenerated

Azure Data Lake Storage Gen1 poskytuje ukázku zpracování a analýzy dat protokolu. Ukázku najdete na adrese https://github.com/Azure/AzureDataLake/tree/master/Samples/AzureDiagnosticsSample.

Sdílet prostřednictvím