Běžné dotazy k příjmu dat v Azure Data Exploreru

Správce dávek do vyrovnávací paměti a dávky příchozích dat na základě nastavení příjmu dat v zásadách dávkování příjmu dat. Zásady dávkování příjmu dat nastavují limity dávek podle tří omezujících faktorů, podle toho, co se poprvé dosáhne: doba, která uplynula od vytvoření dávky, kumulovaný počet položek (objektů blob) nebo celková velikost dávky. Výchozí nastavení dávkování je 5 minut / 1 GB / 1 000 objektů blob, což znamená, že při zařazení ukázkových dat do fronty pro příjem dat bude alespoň 5 minut zpoždění.

Příjem dat ve frontě je optimalizovaný pro vysokou propustnost příjmu dat a je upřednostňovaným a nejvýkonnějším typem příjmu dat. Naproti tomu příjem dat streamování je optimalizovaný pro nízkou latenci příjmu dat. Přečtěte si další informace o příjmu dat ve frontě a streamování.

Pokud výchozí nastavení zásad dávkování příjmu dat nevyhovuje vašim potřebám, můžete zkusit snížit zásady timedávkování . Viz Optimalizace propustnosti. Při vertikálním navyšování příjmu dat byste také měli aktualizovat nastavení. Když změníte nastavení zásad dávkování, může trvat až 5 minut, než se projeví.

Latence příjmu dat může mít za následek nastavení zásad dávkování příjmu dat nebo sestavení backlogu dat. Pokud to chcete vyřešit, upravte nastavení zásad dávkování. Latence, které jsou součástí procesu příjmu dat, je možné monitorovat.

Pokud chcete zobrazit metriky latence příjmu dat ve frontě, podívejte se na monitorování latence příjmu dat. Metriky Stage Latency a Discovery Latency zobrazují latence v procesu příjmu dat a odhalí, jestli existují nějaké dlouhé latence.

Můžete se dozvědět o latencích a upravit nastavení v zásadách dávkování pro řešení problémů, které způsobují latence, jako jsou backlogy dat, neefektivní dávkování, dávkování velkých objemů nekomprimovaných dat nebo příjem velmi malých objemů dat.

Velikost dat zásad dávkování je nastavená pro nekomprimovaná data. Při ingestování komprimovaných dat se nekomprimovaná velikost dat počítá z parametrů dávkování příjmu dat, metadat souborů ZIP nebo faktoru nad komprimovanou velikostí souboru.

Příjem dat můžete monitorovat pomocí metrik a nastavením a použitím diagnostických protokolů příjmu pro podrobné monitorování na úrovni tabulky, zobrazením podrobných kódů chyb příjmu atd. Můžete vybrat konkrétní metriky, které chcete sledovat, zvolit, jak agregovat výsledky, a vytvořit grafy metrik pro zobrazení na řídicím panelu. Přečtěte si další informace o metrikách streamování a o tom, jak monitorovat příjem dat ve frontě.

Přehledy azure Monitoru na portálu vám pomůžou pochopit, jak Azure Data Explorer funguje a jak se používá. Zobrazení Přehled je založené na metrikách a diagnostických protokolech , které je možné streamovat do pracovního prostoru služby Log Analytics. Pomocí příkazu .dup-next-ingest duplikujte další příjem dat do kontejneru úložiště a zkontrolujte podrobnosti a metadata příjmu dat.

Celý proces příjmu dat je možné monitorovat pomocí metrik příjmu dat a diagnostických protokolů. Selhání příjmu dat je možné monitorovat pomocí IngestionResult metriky nebo diagnostického FailedIngestion protokolu. Příkaz .show ingestion failures zobrazuje chyby příjmu dat spojené s příkazy pro správu příjmu dat a nedoporučuje se pro chyby monitorování. Příkaz .dup-next-failed-ingest poskytuje informace o dalším neúspěšném příjmu dat nahráním souborů a metadat příjmu do kontejneru úložiště. To může být užitečné při kontrole toku příjmu dat, ale nedoporučuje se pro stabilní monitorování.

Metriky , které zahrnují RetryAttemptsExceeded stav metriky mnohokrát značí, že příjem dat překročil limit počtu pokusů o opakování nebo časový limit po opakované přechodné chybě. Pokud se tato chyba zobrazí také v diagnostickém protokolu s kódem General_RetryAttemptsExceeded chyby a podrobnosti "Nepodařilo se získat přístup k úložišti a získání informací o objektu blob", značí to problém s přístupem k úložišti s vysokým zatížením. Během příjmu dat služby Event Grid azure Data Explorer požádá o podrobnosti o objektu blob z účtu úložiště. Pokud je zatížení účtu úložiště příliš vysoké, může dojít k selhání přístupu k úložišti a informace potřebné pro příjem dat se nedají načíst. Pokud pokusy projdou maximálním počtem definovaných opakování, Azure Data Explorer se přestane pokoušet ingestovat neúspěšný objekt blob. Pokud chcete zabránit problému s načtením, použijte účet premium storage nebo rozdělte ingestované data na více účtů úložiště. Pokud chcete zjistit související chyby, zkontrolujte FailedIngestion v diagnostických protokolech kódy chyb a cesty všech neúspěšných objektů blob.

Pokud chcete efektivně ingestovat velké množství historických dat, použijte LightIngest. Další informace najdete v tématu ingestování historických dat. Pokud chcete zvýšit výkon pro mnoho malých souborů, upravte zásady dávkování, změňte podmínky dávkování a latence adres. Pokud chcete zvýšit výkon příjmu dat při ingestování extrémně velkých datových souborů, použijte azure Data Factory (ADF), cloudovou službu pro integraci dat.

Neformulovaná data, neparsovatelná, příliš velká nebo neodpovídají schématu, se nemusí správně ingestovat. Další informace najdete v tématu Příjem neplatných dat.

Při ingestování prostřednictvím sady SDK můžete ke zlepšení výkonu použít nastavení zásad dávkování příjmu dat. Zkuste přírůstkově snížit velikost přijatých dat v zásadách dávkování tabulky nebo databáze směrem dolů na 250 MB. Zkontrolujte, jestli nedošlo ke zlepšení.

Uživatelé jímky Kafka by měli vyladit konektor tak, aby spolupracoval se zásadami dávkování příjmu dat laděním času, velikosti a čísla položky.