Überwachen von SSIS-Vorgängen mit Azure Monitor
Hinweis
Sie können den SSIS-Vorgang nur mit Azure Monitor in Azure Data Factory überwachen, nicht in Azure Synapse-Pipelines.
Um Ihre SSIS-Workloads per Lift & Shift zu verschieben, können Sie die SSIS IR in ADF bereitstellen und somit Folgendes unterstützen:
- Ausführen von Paketen, die im SSIS-Katalog (SSISDB) bereitgestellt werden, wobei zum Hosten ein Azure SQL-Datenbank-Server/eine verwaltete Instanz verwendet wird (Projektbereitstellungsmodell)
- Ausführen von Paketen, die im Dateisystem, in Azure Files oder in SQL Server-Datenbank (MSDB) bereitgestellt werden, wobei zum Hosten Azure SQL Managed Instance verwendet wird (Paketbereitstellungsmodell)
Nach der Bereitstellung können Sie den SSIS IR-Betriebsstatus mit Azure PowerShell oder im Monitor-Hub des ADF-Portals überprüfen. Beim Projektbereitstellungsmodell werden Protokolle für SSIS-Paketausführungen in internen SSISDB-Tabellen oder -Sichten gespeichert, damit sie mit geeigneten Tools wie SSMS abgefragt, analysiert und visuell dargestellt werden können. Beim Paketbereitstellungsmodell können Protokolle für SSIS-Paketausführungen im Dateisystem oder in Azure Files als CSV-Dateien gespeichert werden, die noch mit anderen geeigneten Tools analysiert und verarbeitet werden müssen, bevor sie abgefragt, analysiert und visuell dargestellt werden können.
Mit der Azure Monitor-Integration können nun alle Metriken und Protokolle, die bei SSIS IR-Vorgängen und SSIS-Paketausführungen generiert werden, über das Azure-Portal abgefragt, analysiert und visuell dargestellt werden. Darüber hinaus können Sie auch Warnungen für sie ausgeben.
Konfigurieren von Diagnoseeinstellungen und des Arbeitsbereichs für SSIS-Vorgänge
Um alle Metriken und Protokolle an Azure Monitor zu senden, die bei SSIS IR-Vorgängen und SSIS-Paketausführungen generiert werden, müssen Sie Diagnoseeinstellungen und einen Arbeitsbereich für ADF konfigurieren.
Metriken zum SSIS-Betrieb
Metriken zum SSIS-Betrieb sind Leistungsindikatoren oder numerische Werte, die den Status von SSIS IR-Start- und -Beendigungsvorgängen sowie SSIS-Paketausführungen zu einem bestimmten Zeitpunkt beschreiben. Sie sind Teil der Azure Monitor-Metriken.
Beim Konfigurieren der Diagnoseeinstellungen und des Arbeitsbereichs für Ihre ADF-Instanz in Azure Monitor können Sie das Kontrollkästchen AllMetrics aktivieren, um die Metriken zum SSIS-Betrieb für die interaktive Analyse per Azure-Metrik-Explorer, die Darstellung auf Azure-Dashboards und Benachrichtigungen nahezu in Echtzeit verfügbar zu machen.
Warnungen zum SSIS-Betrieb
Wählen Sie die Seite Warnungen und Metriken im Monitor-Hub von ADF aus, und befolgen Sie die angegebene Schritt-für-Schritt-Anleitung, um über das ADF-Portal Warnungen zu SSIS-Betriebsmetriken auszulösen.
Wählen Sie die Seite Warnungen im Azure Monitor-Hub aus, und befolgen Sie die angegebene Schritt-für-Schritt-Anleitung, um über das Azure-Portal Warnungen zu SSIS-Betriebsmetriken auszulösen.
Protokolle zum SSIS-Betrieb
Protokolle zum SSIS-Betrieb sind Ereignisse, die bei SSIS IR-Vorgängen und SSIS-Paketausführungen generiert werden. Sie enthalten genügend Kontext zu den identifizierten Problemen und sind für die Grundursachenanalyse nützlich.
Beim Konfigurieren der Diagnoseeinstellungen und des Arbeitsbereichs für Ihre ADF-Instanz in Azure Monitor können Sie die relevanten Protokolle zum SSIS-Betrieb auswählen und an die Log Analytics-Instanz senden, die auf Azure Data Explorer basiert. Dort werden diese Daten für die Analyse mit einer leistungsstarken Abfragesprache, die Darstellung in Azure-Dashboards und Benachrichtigungen nahezu in Echtzeit verfügbar gemacht.
Die Schemas und der Inhalt von Protokollen für SSIS-Paketausführungen in Azure Monitor und Log Analytics ähneln den Schemas der internen Tabellen und Sichten der SSISDB.
| Azure Monitor-Protokollkategorien | Log Analytics-Tabellen | Interne SSISDB-Tabellen/-Sichten |
|---|---|---|
SSISIntegrationRuntimeLogs |
ADFSSISIntegrationRuntimeLogs |
|
SSISPackageEventMessageContext |
ADFSSISPackageEventMessageContext |
[internal].[event_message_context] |
SSISPackageEventMessages |
ADFSSISPackageEventMessages |
[internal].[event_messages] |
SSISPackageExecutableStatistics |
ADFSSISPackageExecutableStatistics |
[internal].[executable_statistics] |
SSISPackageExecutionComponentPhases |
ADFSSISPackageExecutionComponentPhases |
[internal].[execution_component_phases] |
SSISPackageExecutionDataStatistics |
ADFSSISPackageExecutionDataStatistics |
[internal].[execution_data_statistics] |
Weitere Informationen zu den Attributen bzw. Eigenschaften von SSIS-Betriebsprotokollen finden Sie unter Ressourcenprotokolle.
Die ausgewählten Protokolle zur SSIS-Paketausführung werden unabhängig von den Aufrufmethoden immer an Log Analytics gesendet. Beispielsweise können Sie Paketausführungen in den für Azure aktivierten SSDT, über T-SQL für SSMS, SQL Server-Agent oder andere spezielle Tools und als ausgelöste oder Debugausführungen von SSIS-Paketausführungsaktivitäten in ADF-Pipelines aufrufen.
Beim Abfragen von Protokollen für SSIS IR-Vorgänge in Log Analytics können Sie die Eigenschaften OperationName und ResultType verwenden, die auf Start/Stop/Maintenance/Heartbeat bzw. Started/InProgress/Succeeded/Failed/Healthy/Unhealthy festgelegt sind.
Um den Status des SSIS IR-Knotens abzufragen, können Sie die Eigenschaft OperationName auf Heartbeat festlegen. Jeder Knoten sendet normalerweise pro Minute einen Heartbeat-Datensatz an Log Analytics, wobei die Eigenschaft ResultType den Knotenstatus widerspiegelt. Dieser lautet Healthy, wenn der Knoten für Paketausführungen verfügbar ist und Unhealthy, wenn der Knoten nicht verfügbar ist. Wenn Ihre SSIS IR beispielsweise zwei verfügbare Knoten umfasst, werden Ihnen in einem beliebigen Zeitraum von 1 Minute immer zwei Heartbeat-Datensätze angezeigt, bei denen die Eigenschaft ResultType den Wert Healthy aufweist.
Sie können die folgenden Muster abfragen, um eine Nichtverfügbarkeit Ihrer SSIS IR-Knoten zu erkennen:
- Es fehlen in zahlreichen 1-Minuten-Zeiträumen
Heartbeat-Datensätze, während Ihre SSIS IR noch ausgeführt wird. - Es sind in zahlreichen 1-Minuten-Zeiträumen
Heartbeat-Datensätze mit dem WertUnhealthyfür die ResultType-Eigenschaft vorhanden, während Ihre SSIS IR noch ausgeführt wird.
Sie können die obigen Abfragen in Warnungen umwandeln und zu Ihrer SSIS IR-Überwachungsseite wechseln, um den Erhalt dieser Warnungen zu bestätigen.
Beim Abfragen von Protokollen zu SSIS-Paketausführungen in Logs Analytics können Sie diese mit den Eigenschaften OperationId/ExecutionId/CorrelationId verknüpfen. OperationId/ExecutionId sind für alle Vorgänge bzw. Ausführungen im Zusammenhang mit Paketen, die nicht in der SSISDB gespeichert sind oder über T-SQL aufgerufen werden, immer auf 1 festgelegt.
