Uruchamianie zadań wyszukiwania w usłudze Azure Monitor

Zadanie wyszukiwania to zapytanie asynchroniczne uruchamiane na dowolnych danych w usłudze Log Analytics — zarówno w interaktywnym, jak i długoterminowym przechowywaniu — dzięki czemu wyniki zapytania są dostępne dla interakcyjnych zapytań w nowej tabeli wyszukiwania w obszarze roboczym. Zadanie wyszukiwania używa przetwarzania równoległego i może działać przez wiele godzin w dużych zestawach danych. W tym artykule opisano sposób tworzenia zadania wyszukiwania i wykonywania zapytań dotyczących danych wynikowych.

W tym filmie wideo wyjaśniono, kiedy i jak używać zadań wyszukiwania:

Wymagane uprawnienia

Akcja	Wymagane uprawnienia
Uruchamianie zadania wyszukiwania	Microsoft.OperationalInsights/workspaces/tables/write i Microsoft.OperationalInsights/workspaces/searchJobs/write uprawnienia do obszaru roboczego usługi Log Analytics, na przykład udostępniane przez wbudowaną rolę Współautor usługi Log Analytics.

Uwaga

Zadania wyszukiwania między dzierżawami nie są obecnie obsługiwane, nawet jeśli dzierżawy entra ID są zarządzane za pośrednictwem usługi Azure Lighthouse.

Kiedy używać zadań wyszukiwania

Użyj zadań wyszukiwania, aby:

• Pobieranie rekordów z długoterminowego przechowywania i tabel z planami podstawowymi i pomocniczymi w nowej tabeli analizy, w której można korzystać z pełnych możliwości analizy dzienników usługi Azure Monitor.
• Przeskanuj duże ilości danych, jeśli limit czasu zapytania dziennika nie jest wystarczający.

Jak działa zadanie wyszukiwania?

Zadanie wyszukiwania wysyła wyniki do nowej tabeli w tym samym obszarze roboczym, w którym znajdują się dane źródłowe. Tabela wyników jest dostępna zaraz po rozpoczęciu zadania wyszukiwania, ale wyświetlenie wyników może zająć trochę czasu.

Tabela wyników zadania wyszukiwania to tabela Analizy, która jest dostępna dla zapytań dzienników i innych funkcji usługi Azure Monitor, które używają tabel w obszarze roboczym. Tabela używa wartości przechowywania ustawionej dla obszaru roboczego, ale można ją zmodyfikować po utworzeniu tabeli.

Schemat tabeli wyników wyszukiwania jest oparty na schemacie tabeli źródłowej i określonym zapytaniu. Poniższe inne kolumny ułatwiają śledzenie rekordów źródłowych:

Kolumna	Wartość
_OriginalType	Wpisz wartość z tabeli źródłowej.
_OriginalItemId	_ItemID wartość z tabeli źródłowej.
_OriginalTimeGenerated	TimeGenerated wartość z tabeli źródłowej.
TimeGenerated	Godzina uruchomienia zadania wyszukiwania.

Zapytania dotyczące tabeli wyników są wyświetlane w inspekcji zapytań dzienników, ale nie w początkowym zadaniu wyszukiwania.

Uruchamianie zadania wyszukiwania

Uruchom zadanie wyszukiwania, aby pobrać rekordy z dużych zestawów danych do nowej tabeli wyników wyszukiwania w obszarze roboczym.

Napiwek

Opłaty są naliczane za uruchomienie zadania wyszukiwania. W związku z tym napisz i zoptymalizuj zapytanie w trybie interaktywnym przed uruchomieniem zadania wyszukiwania.

Portal

Aby uruchomić zadanie wyszukiwania, w witrynie Azure Portal:

1. Z menu obszaru roboczego usługi Log Analytics wybierz pozycję Dzienniki.

2. Wybierz menu wielokropka po prawej stronie ekranu i przełącz tryb zadania wyszukiwania.

   

   Funkcja IntelliSense dzienników usługi Azure Monitor obsługuje ograniczenia zapytań KQL w trybie zadania wyszukiwania, które ułatwiają pisanie zapytania zadania wyszukiwania.

3. Określ zakres dat zadania wyszukiwania przy użyciu selektora czasu.

4. Wpisz zapytanie zadania wyszukiwania i wybierz przycisk Wyszukaj zadanie .

   Dzienniki usługi Azure Monitor monituje o podanie nazwy tabeli zestawu wyników i informuje o tym, że zadanie wyszukiwania podlega rozliczeniam.

   

5. Wprowadź nazwę tabeli wyników zadania wyszukiwania i wybierz pozycję Uruchom zadanie wyszukiwania.

   Dzienniki usługi Azure Monitor uruchamiają zadanie wyszukiwania i tworzą nową tabelę w obszarze roboczym dla wyników zadania wyszukiwania.

   

6. Gdy nowa tabela będzie gotowa, wybierz pozycję Wyświetl tablename_SRCH , aby wyświetlić tabelę w usłudze Log Analytics.

   

   Wyniki zadania wyszukiwania można zobaczyć, gdy zaczynają przepływać do nowo utworzonej tabeli wyników zadania wyszukiwania.

   

   Dzienniki usługi Azure Monitor pokazują, że zadanie wyszukiwania jest wykonywane na końcu zadania wyszukiwania. Tabela wyników jest teraz gotowa ze wszystkimi rekordami zgodnymi z zapytaniem wyszukiwania.

   

API

Aby uruchomić zadanie wyszukiwania, wywołaj interfejs API Tabele — tworzenie lub aktualizowanie . Wywołanie zawiera nazwę tabeli wyników do utworzenia. Nazwa tabeli wyników musi kończyć się _SRCH.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Treść żądania

Uwzględnij następujące wartości w treści żądania:

Nazwisko	Pisz	Opis
properties.searchResults.query	string	Zapytanie dziennika zapisane w języku KQL w celu pobrania danych.
properties.searchResults.limit	integer	Maksymalna liczba rekordów w zestawie wyników, do miliona rekordów. (Opcjonalne)
properties.searchResults.startSearchTime	string	Początek zakresu czasu do wyszukania.
properties.searchResults.endSearchTime	string	Koniec zakresu czasu do wyszukania.

Przykładowe żądanie

W tym przykładzie tworzona jest tabela o nazwie Syslog_suspected_SRCH z wynikami zapytania, które wyszukuje określone rekordy w tabeli Syslog .

Zażądaj

PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_suspected_SRCH?api-version=2021-12-01-preview

Treść żądania

{
    "properties": { 
        "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "2020-01-01T00:00:00Z",
                "endSearchTime": "2020-01-31T00:00:00Z"
            }
    }
}

Response

Kod stanu: Zaakceptowano kod stanu 202.

Interfejs wiersza polecenia

Aby uruchomić zadanie wyszukiwania, uruchom polecenie az monitor log-analytics workspace table search-job create . Nazwa tabeli wyników, która została ustawiona przy użyciu parametru --name , musi kończyć się _SRCH.

Przykład

az monitor log-analytics workspace table search-job create --subscription ContosoSID --resource-group ContosoRG  --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --search-query 'Heartbeat | where ComputerIP has "00.000.00.000"' --limit 1500 --start-search-time "2022-01-01T00:00:00.000Z" --end-search-time "2022-01-08T00:00:00.000Z" --no-wait

Program PowerShell

Aby uruchomić zadanie wyszukiwania, uruchom polecenie New-AzOperationalInsightsSearchTable . Nazwa tabeli wyników, która została ustawiona przy użyciu parametru TableName , musi kończyć się _SRCH.

Przykład

New-AzOperationalInsightsSearchTable -ResourceGroupName ContosoRG -WorkspaceName ContosoWorkspace -TableName HeartbeatByIp_SRCH -SearchQuery "Heartbeat" -StartSearchTime "01-01-2022 00:00:00" -EndSearchTime "01-01-2022 00:00:00"

Pobieranie stanu i szczegółów zadania wyszukiwania

Portal

1. Z menu obszaru roboczego usługi Log Analytics wybierz pozycję Dzienniki.

2. Na karcie Tabele wybierz pozycję Wyniki wyszukiwania, aby wyświetlić wszystkie tabele wyników zadań wyszukiwania.

   Ikona w tabeli wyników zadania wyszukiwania wyświetla wskazanie aktualizacji do momentu ukończenia zadania wyszukiwania.

   

API

Wywołaj tabele — pobierz interfejs API, aby uzyskać stan i szczegóły zadania wyszukiwania:

GET https://management.azure.com/subscriptions/{subscriptionId}/resourcegroups/{resourceGroupName}/providers/Microsoft.OperationalInsights/workspaces/{workspaceName}/tables/<TableName>_SRCH?api-version=2021-12-01-preview

Stan tabeli

Każda tabela zadań wyszukiwania ma właściwość o nazwie provisioningState, która może mieć jedną z następujących wartości:

Stan	opis
Aktualizowanie	Wypełnianie tabeli i jej schematu.
InProgress	Zadanie wyszukiwania jest uruchomione, pobierając dane.
Powodzenie	Ukończono zadanie wyszukiwania.
Usuwanie	Usuwanie tabeli zadań wyszukiwania.

Przykładowe żądanie

Ten przykład pobiera stan tabeli dla zadania wyszukiwania w poprzednim przykładzie.

Zażądaj

GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH?api-version=2021-12-01-preview

Response

{
        "properties": {
        "retentionInDays": 30,
        "totalRetentionInDays": 30,
        "archiveRetentionInDays": 0,
        "plan": "Analytics",
        "lastPlanModifiedDate": "Mon, 01 Nov 2021 16:38:01 GMT",
        "schema": {
            "name": "Syslog_SRCH",
            "tableType": "SearchResults",
            "description": "This table was created using a Search Job with the following query: 'Syslog | where * has 'suspected.exe'.'",
            "columns": [...],
            "standardColumns": [...],
            "solutions": [
                "LogManagement"
            ],
            "searchResults": {
                "query": "Syslog | where * has 'suspected.exe'",
                "limit": 1000,
                "startSearchTime": "Wed, 01 Jan 2020 00:00:00 GMT",
                "endSearchTime": "Fri, 31 Jan 2020 00:00:00 GMT",
                "sourceTable": "Syslog"
            }
        },
        "provisioningState": "Succeeded"
    },
    "id": "subscriptions/00000000-0000-0000-0000-00000000000/resourcegroups/testRG/providers/Microsoft.OperationalInsights/workspaces/testWS/tables/Syslog_SRCH",
    "name": "Syslog_SRCH"
}

Interfejs wiersza polecenia

Aby sprawdzić stan i szczegóły tabeli zadań wyszukiwania, uruchom polecenie az monitor log-analytics workspace table show .

Przykład

az monitor log-analytics workspace table show --subscription ContosoSID --resource-group ContosoRG --workspace-name ContosoWorkspace --name HeartbeatByIp_SRCH --output table \

Program PowerShell

Aby sprawdzić stan i szczegóły tabeli zadań wyszukiwania, uruchom polecenie Get-AzOperationalInsightsTable .

Przykład

Get-AzOperationalInsightsTable -ResourceGroupName "ContosoRG" -WorkspaceName "ContosoWorkspace" -tableName "HeartbeatByIp_SRCH"

Uwaga

Jeśli parametr "-TableName" nie zostanie podany, zamiast tego polecenie wyświetli listę wszystkich tabel skojarzonych z obszarem roboczym.

Usuwanie tabeli zadań wyszukiwania

Zalecamy usunięcie tabeli zadań wyszukiwania po zakończeniu wykonywania zapytań dotyczących tabeli. Zmniejsza to bałagan obszaru roboczego i dodatkowe opłaty za przechowywanie danych.

Ograniczenia

Zadania wyszukiwania podlegają następującym ograniczeniom:

• Zoptymalizowane pod kątem wykonywania zapytań względem jednej tabeli naraz.
• Zakres dat wyszukiwania wynosi do jednego roku.
• Obsługuje długotrwałe wyszukiwanie do 24-godzinnego limitu czasu.
• Wyniki są ograniczone do miliona rekordów w zestawie rekordów.
• Współbieżne wykonywanie jest ograniczone do pięciu zadań wyszukiwania na obszar roboczy.
• Ograniczenie do 100 tabel wyników wyszukiwania na obszar roboczy.
• Ograniczone do 100 wykonań zadań wyszukiwania dziennie na obszar roboczy.

Po osiągnięciu limitu rekordu platforma Azure przerywa zadanie ze stanem częściowego powodzenia, a tabela zawiera tylko rekordy pozyskane do tego momentu.

Ograniczenia zapytań języka KQL

Zadania wyszukiwania są przeznaczone do skanowania dużych ilości danych w określonej tabeli. W związku z tym zapytania dotyczące zadań wyszukiwania muszą zawsze zaczynać się od nazwy tabeli. Aby włączyć asynchroniczne wykonywanie przy użyciu dystrybucji i segmentacji, zapytanie obsługuje podzestaw języka KQL, w tym operatory:

• gdzie
• rozszerzyć
• projekt
• odchodzi od projektu
• utrzymanie projektu
• zmiana nazwy projektu
• zmiana kolejności projektu
• Parse
• parse-where

W tych operatorach można używać wszystkich funkcji i operatorów binarnych.

Model cen

Opłata za zadanie wyszukiwania jest oparta na:

• Wykonywanie zadania wyszukiwania:

  • Plan analizy — ilość danych skanowanych przez zadanie wyszukiwania, które są w długoterminowym przechowywaniu. Nie są naliczane opłaty za skanowanie danych, które są w interaktywnym przechowywaniu w tabelach analizy.

  • Plany podstawowe lub pomocnicze — wszystkie dane, które skanują zadania wyszukiwania zarówno w interaktywnym, jak i długoterminowym przechowywaniu.

    Zeskanowane dane są definiowane jako ilość danych pozyskanych w zakresie czasu określonym przez zapytanie dla tabeli, której dotyczy zapytanie. Aby uzyskać więcej informacji na temat interakcyjnego i długoterminowego przechowywania, zobacz Zarządzanie przechowywaniem danych w obszarze roboczym usługi Log Analytics.

• Wyniki zadania wyszukiwania — ilość danych, które znajduje zadanie wyszukiwania i które jest pozyskiwane do tabeli wyników na podstawie współczynnika pozyskiwania danych dla tabel analizy.

Jeśli na przykład wyszukiwanie w tabeli Podstawowa obejmuje 30 dni, a tabela zawiera 500 GB danych dziennie, opłata jest naliczana za 15 000 GB zeskanowanych danych. Jeśli zadanie wyszukiwania zwróci 1000 rekordów, opłata jest naliczana za pozyskiwanie tych 1000 rekordów do tabeli wyników.

Aby uzyskać więcej informacji, zobacz Cennik usługi Azure Monitor.

Następne kroki

• Dowiedz się więcej na temat zarządzania przechowywaniem danych w obszarze roboczym usługi Log Analytics.
• Dowiedz się więcej na temat bezpośredniego wykonywania zapytań dotyczących tabel podstawowych i pomocniczych.