Allgemeine Fragen zur Erfassung von Azure Data Explorer

Die Batchverarbeitungs-Manager-Puffer und Batches gehen daten basierend auf den Aufnahmeeinstellungen in der Batchverarbeitungsrichtlinie ein. Die Batchverarbeitungsrichtlinie legt Batchgrenzwerte gemäß drei Begrenzungsfaktoren fest, je nachdem, was zuerst erreicht wird: Zeit, die seit der Batcherstellung verstrichen ist, akkumulierte Anzahl von Elementen (Blobs) oder gesamter Batchgröße. Die Standardeinstellungen für batchverarbeitung sind 5 Minuten / 1 GB / 1.000 Blobs, was bedeutet, dass es mindestens eine 5-minütige Verzögerung bei der Warteschlange einer Beispieldaten für die Aufnahme gibt.

Die in der Warteschlange eingereihte Aufnahme ist für den hohen Aufnahmedurchsatz optimiert und ist der bevorzugte und leistungsstärkste Typ der Aufnahme. Im Gegensatz dazu ist die Aufnahme von Streaming für niedrige Aufnahmelatenz optimiert. Erfahren Sie mehr über die Warteschlange im Vergleich zur Streamingaufnahme.

Wenn die Standardeinstellungen für die Batchverarbeitungsrichtlinie für die Aufnahme nicht Ihren Anforderungen entsprechen, können Sie versuchen, die Batchverarbeitungsrichtlinie time zu verringern. Siehe Optimieren des Durchsatzes. Sie sollten auch Einstellungen aktualisieren, wenn Sie die Aufnahme nach oben skalieren. Wenn Sie die Richtlinieneinstellungen für die Batchverarbeitung ändern, kann es bis zu 5 Minuten dauern, bis sie wirksam werden.

Die Erfassungslatenz kann aus den Richtlinieneinstellungen für die Erfassung von Batchverarbeitungen oder einem Datensicherungsaufbau resultieren. Um dies zu beheben, passen Sie die Batchrichtlinieneinstellungen an. Latenzen, die Teil des Aufnahmeprozesses sind, können überwacht werden.

Informationen zum Anzeigen von Ingestionslatenzmetriken in der Warteschlange finden Sie unter Überwachung der Erfassungslatenz. Die Metriken Stage Latency und Discovery Latency anzeigen Latenzen im Aufnahmeprozess und zeigen an, ob lange Wartezeiten vorhanden sind.

Sie können mehr über Latenzen erfahren und Einstellungen in der Batchrichtlinie für die Behandlung von Problemen anpassen, die Latenzen verursachen, z. B. Datenrückgänge, ineffiziente Batchverarbeitung, Batchverarbeitung großer Mengen von nicht komprimierten Daten oder das Aufnehmen sehr kleiner Datenmengen.

Die Datengröße der Batchrichtlinie wird für nicht komprimierte Daten festgelegt. Beim Aufnehmen von komprimierten Daten wird die nicht komprimierte Datengröße aus den Aufnahmebatchparametern, ZIP-Dateien-Metadaten oder dem Faktor über die komprimierte Dateigröße berechnet .

Sie können die Aufnahme mithilfe von Metriken überwachen und Diagnoseprotokolle für die Erfassung auf detaillierter Tabellenebene einrichten und verwenden, detaillierte Erfassungsfehlercodes anzeigen usw. Sie können bestimmte Metriken zum Nachverfolgen auswählen, auswählen, wie Ihre Ergebnisse aggregiert werden sollen, und Metrikdiagramme erstellen, die auf Ihrem Dashboard angezeigt werden sollen. Weitere Informationen zu Streamingmetriken und zum Überwachen der Aufnahme in die Warteschlange.

Sie können die Azure Monitor Insights des Portals verwenden, um zu verstehen, wie Der Azure-Daten-Explorer funktioniert und wie es verwendet wird. Die Insights-Ansicht basiert auf Metriken und Diagnoseprotokollen, die in einen Log Analytics-Arbeitsbereich gestreamt werden können. Verwenden Sie den BEFEHL ".dup-next-ingest ", um die nächste Aufnahme in einen Speichercontainer zu duplizieren und die Details und Metadaten der Aufnahme zu überprüfen.

Der vollständige Aufnahmevorgang kann mithilfe von Aufnahmemetriken und Diagnoseprotokollen überwacht werden. Aufnahmefehler können mithilfe der IngestionResult Metrik oder des FailedIngestion Diagnoseprotokolls überwacht werden. Der .show ingestion failures Befehl zeigt Aufnahmefehler an, die den Datenaufnahmeverwaltungsbefehlen zugeordnet sind, und wird für die Überwachung von Fehlern nicht empfohlen. Der .dup-next-failed-ingest Befehl enthält Informationen zur nächsten fehlgeschlagenen Erfassung durch Hochladen von Aufnahmedateien und Metadaten in einen Speichercontainer. Dies kann hilfreich sein, um einen Aufnahmefluss zu überprüfen, wird jedoch nicht für eine stetige Überwachung empfohlen.

Metriken , die den metrischen Status enthalten, geben an, dass die RetryAttemptsExceeded Aufnahme das Wiederholungsversuchslimit oder die Zeitspanne nach einem wiederkehrenden vorübergehenden Fehler überschritten hat. Wenn dieser Fehler auch im Diagnoseprotokoll mit Fehlercode General_RetryAttemptsExceeded und den Details "Fehler beim Zugriff auf Speicher und Abrufen von Informationen für das Blob" angezeigt wird, gibt dies ein Problem mit hohem Speicherzugriff an. Während der Ereignisrasteraufnahme fordert Azure Data Explorer BLOB-Details aus dem Speicherkonto an. Wenn die Last für ein Speicherkonto zu hoch ist, kann der Speicherzugriff fehlschlagen, und informationen, die für die Aufnahme erforderlich sind, können nicht abgerufen werden. Wenn Versuche die maximale Anzahl von Wiederholungen übergeben, die definiert sind, beendet Azure Data Explorer den Versuch, das fehlgeschlagene BLOB aufzunehmen. Um ein Ladeproblem zu verhindern, verwenden Sie ein Premium-Speicherkonto, oder teilen Sie die erfassten Daten über mehr Speicherkonten auf. Um verwandte Fehler zu ermitteln, überprüfen Sie die FailedIngestion Diagnoseprotokolle auf Fehlercodes und auf die Pfade aller fehlgeschlagenen Blobs.

Verwenden Sie LightIngest, um große Mengen historischer Daten effizient aufzunehmen. Weitere Informationen finden Sie unter "Erfassen von historischen Daten". Um die Leistung für viele kleine Dateien zu verbessern, passen Sie die Batchrichtlinie an, ändern Sie Batchverarbeitungsbedingungen und Adresslatenzen. Um die Aufnahmeleistung beim Aufnehmen extrem großer Datendateien zu verbessern, verwenden Sie Azure Data Factory (ADF), einen cloudbasierten Datenintegrationsdienst.

Falsch formatierte Daten, nicht analysiert, zu groß oder nicht dem Schema entsprechen, können möglicherweise nicht ordnungsgemäß aufgenommen werden. Weitere Informationen finden Sie unter "Erfassung ungültiger Daten".

Beim Aufnehmen über das SDK können Sie die Einstellungen für die Aufnahme von Batchverarbeitungsrichtlinien verwenden, um die Leistung zu verbessern. Versuchen Sie, die Größe der in der Tabelle oder in der Datenbankbatchverarbeitungsrichtlinie aufgenommenen Daten inkrementell auf 250 MB zu verringern. Überprüfen Sie, ob es eine Verbesserung gibt.

Kafka Sink-Benutzer sollten den Connector so optimieren, dass er mit der Aufnahmebatchingrichtlinie zusammenarbeitet, indem die Batchzeit, die Größe und die Elementnummer optimiert werden.