Freigeben über

Konfigurieren der Diagnoseprotokollübermittlung

  • Artikel

In diesem Artikel wird beschrieben, wie Sie die Übermittlung von Diagnoseprotokollen für Ihre Azure Databricks-Arbeitsbereiche aktivieren.

Hinweis

Für Diagnoseprotokolle ist der Premium-Plan erforderlich.

  1. Melden Sie sich beim Azure-Portal als Besitzer, Mitwirkender oder als Benutzer mit einer benutzerdefinierten Rolle mit der Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action-Berechtigung für den Azure Databricks-Arbeitsbereich an. Klicken Sie dann auf Ihre Azure Databricks-Dienstressource.

  2. Klicken Sie auf der Randleiste im Abschnitt „Überwachung“ auf die Registerkarte Diagnoseeinstellungen.

  3. Klicken Sie auf Diagnose aktivieren.

    Azure Databricks – Aktivieren der Diagnose

  4. Geben Sie auf der Seite „Diagnoseeinstellungen“ die folgende Konfiguration an:

    Name

    Geben Sie einen Namen für die zu erstellenden Protokolle ein.

    In einem Speicherkonto archivieren

    Sie benötigen ein vorhandenes Speicherkonto, mit dem eine Verbindung hergestellt werden kann, um diese Option verwenden zu können. Informationen zum Erstellen eines neuen Speicherkontos im Portal finden Sie unter Erstellen eines Speicherkontos. Befolgen Sie die Anweisungen zum Erstellen eines Azure Resource Manager-Kontos für allgemeine Zwecke. Kehren Sie anschließend auf diese Seite im Portal zurück, und wählen Sie Ihr Speicherkonto aus. Es dauert möglicherweise einige Minuten, bis neu erstellte Speicherkonten im Dropdownmenü angezeigt werden. Informationen zu zusätzlichen Kosten, die durch das Schreiben in ein Speicherkonto anfallen, finden Sie unter Azure Blob Storage – Preise.

    An einen Event Hub streamen

    Für diese Option benötigen Sie einen vorhandenen Azure Event Hubs-Namespace und einen Event Hub, mit dem eine Verbindung hergestellt werden kann. Weitere Informationen zum Erstellen eines Event Hubs-Namespaces finden Sie unter Erstellen eines Event Hubs-Namespaces und eines Event Hubs mithilfe des Azure-Portals. Kehren Sie anschließend auf diese Seite im Portal zurück, um den Event Hubs-Namespace und den Richtliniennamen auszuwählen. Informationen zu zusätzlichen Kosten, die durch das Schreiben in einen Event Hub anfallen, finden Sie unter Event Hubs – Preise.

    An Log Analytics senden

    Für diese Option können Sie entweder einen vorhandenen Log Analytics-Arbeitsbereich verwenden oder über das Portal mithilfe der Schritte zum Erstellen eines neuen Arbeitsbereichs einen neuen Arbeitsbereich erstellen. Informationen zu zusätzlichen Kosten, die durch das Senden von Protokollen an Log Analytics anfallen, finden Sie unter Azure Monitor – Preise.

    Azure Databricks – Diagnoseeinstellungen

  5. Wählen Sie die Dienste aus, für die Diagnoseprotokolle erstellt werden sollen.

  6. Wählen Sie Speichern aus.

  7. Möglicherweise wird eine solche Fehlermeldung angezeigt: „Fehler beim Aktualisieren der Diagnose für <workspace name>. Das Abonnement <subscription id> ist nicht für die Verwendung von microsoft.insights registriert.“ Führen Sie die Anweisungen unter Problembehandlung der Azure-Diagnose aus, um das Konto zu registrieren, und wiederholen Sie dann dieses Verfahren.

  8. Wenn Sie ändern möchten, wie die Diagnoseprotokolle zu einem beliebigen zukünftigen Zeitpunkt gespeichert werden, kehren Sie zum Ändern der Einstellungen des Diagnoseprotokolls für Ihr Konto zu dieser Seite zurück.

Hinweis

Wenn Sie Speicheraufbewahrungsrichtlinien festlegen möchten, konfigurieren Sie eine Azure-Lifecycle-Verwaltungsrichtlinie.

Aktivieren der Protokollierung mit PowerShell

  1. Starten Sie eine Azure PowerShell-Sitzung, und melden Sie sich mit dem folgenden Befehl bei Ihrem Azure-Konto an:

     Connect-AzAccount

    Informationen zum Anmelden bei Ihrem Azure-Konto als Benutzer finden Sie unter PowerShell-Anmeldung mit einem Azure Databricks-Benutzerkonto. Informationen zum Anmelden bei Ihrem Azure-Konto als Dienstprinzipal finden Sie unter PowerShell-Anmeldung mit einem Microsoft Entra ID-Dienstprinzipal.

    Wenn Sie Azure PowerShell noch nicht installiert haben, verwenden Sie die folgenden Befehle, um es zu installieren.

     Install-Module -Name Az -AllowClobber

  2. Geben Sie im Popup-Browserfenster den Benutzernamen und das Kennwort Ihres Azure-Kontos ein. Azure PowerShell ruft alle Abonnements ab, die diesem Konto zugeordnet sind, und verwendet standardmäßig das erste Abonnement.

    Wenn Sie über mehrere Abonnements verfügen, müssen Sie möglicherweise das Abonnement angeben, das zum Erstellen Ihrer Azure Key Vault-Instanz verwendet wurde. Geben Sie den folgenden Befehl ein, um die Abonnements für Ihr Konto anzuzeigen:

    Get-AzSubscription

    Geben Sie anschließend den folgenden Befehl ein, um das Abonnement anzugeben, das dem protokollierten Azure Databricks-Konto zugeordnet ist:

    Set-AzContext -SubscriptionId <subscription ID>

  3. Legen Sie den Namen Ihrer Log Analytics-Ressource auf eine Variable mit dem Namen logAnalytics fest, wobei ResourceName der Name des Log Analytics-Arbeitsbereichs ist.

    $logAnalytics = Get-AzResource -ResourceGroupName <resource group name> -ResourceName <resource name> -ResourceType "Microsoft.OperationalInsights/workspaces"

  4. Legen Sie den Azure Databricks-Dienstressourcennamen auf eine Variable mit dem Namen databricks fest, wobei ResourceName der Name des Azure Databricks-Diensts ist.

    $databricks = Get-AzResource -ResourceGroupName <your resource group name> -ResourceName <your Azure Databricks service name> -ResourceType "Microsoft.Databricks/workspaces"

  5. Um die Protokollierung für Azure Databricks zu aktivieren, verwenden Sie das Cmdlet New-AzDiagnosticSetting mit den Variablen für das neue Speicherkonto, den Azure Databricks-Dienst und die Kategorie, für welche die Protokollierung aktiviert werden soll. Führen Sie den folgenden Befehl aus, und legen Sie das Flag -Enabled auf $true fest:

    New-AzDiagnosticSetting -ResourceId $databricks.ResourceId -WorkspaceId $logAnalytics.ResourceId -Enabled $true -name "<diagnostic setting name>" -Category <comma separated list>

Aktivieren der Protokollierung mithilfe der Azure CLI

  1. Öffnen Sie PowerShell.

  2. Verwenden Sie den folgenden Befehl, um eine Verbindung mit Ihrem Azure-Konto herzustellen:

    az login

    Informationen zum Verbinden mit einem Microsoft Entra ID-Dienstprinzipal finden Sie unter Azure CLI-Anmeldung mit einem Microsoft Entra ID-Dienstprinzipal.

    Informationen zum Herstellen einer Verbindung mit einem Azure Databricks-Benutzerkonto finden Sie unter Azure CLI-Anmeldung mit einem Azure Databricks-Benutzerkonto.

  3. Führen Sie den folgenden Diagnoseeinstellungsbefehl aus:

    az monitor diagnostic-settings create --name <diagnostic name>
--resource-group <log analytics workspace resource group>
--workspace <log analytics name or object ID>
--resource <target resource object ID>
--logs '[
{
 \"category\": <category name>,
  \"enabled\": true
}
]'

REST-API

Verwenden Sie die LogSettings-API.

Anforderung

PUT https://management.azure.com/{resourceUri}/providers/microsoft.insights/diagnosticSettings/{name}?api-version=2017-05-01-preview

Anforderungstext

{
    "properties": {
    "workspaceId": "<log analytics resourceId>",
    "logs": [
      {
        "category": "<category name>",
        "enabled": true,
        "retentionPolicy": {
          "enabled": false,
          "days": 0
        }
      }
    ]
  }
}

Latenz bei Diagnoseprotokollen

Sobald die Protokollierung für Ihr Konto aktiviert ist, sendet Azure Databricks automatisch Diagnoseprotokolle an Ihren Speicherort. Protokolle sind meist innerhalb von 15 Minuten nach der Aktivierung verfügbar. Überprüfbare Azure Databricks-Ereignisse werden in Azure Commercial-Regionen in der Regel innerhalb von 15 Minuten in Diagnoseprotokollen angezeigt.

SSH-Anmeldeprotokolle werden mit hoher Latenz übermittelt.

Hinweis

Während die meisten Protokolle voraussichtlich innerhalb von 15 Minuten übermittelt werden sollen, garantiert Azure Databricks keinen Zeitrahmen für die Protokollübermittlung.