Získání dat z úložiště Azure
Příjem dat je proces, který slouží k načtení dat z jednoho nebo více zdrojů do tabulky v Azure Data Exploreru. Po ingestování se data zpřístupní pro dotaz. V tomto článku se dozvíte, jak získat data z úložiště Azure (kontejner ADLS Gen2, kontejner objektů blob nebo jednotlivé objekty blob) do nové nebo existující tabulky.
Příjem dat z účtu úložiště Azure je jednorázová operace. Pokud chcete přijímat data trvale, viz Konfigurace datového streamu.
Obecné informace o příjmu dat najdete v přehledu příjmu dat v Azure Data Exploreru.
Požadavky
- Účet Microsoft nebo identita uživatele Microsoft Entra. Předplatné Azure není povinné.
- Přihlaste se k webovému uživatelskému rozhraní Azure Data Exploreru.
- Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
- Účet úložiště.
Získat data
V nabídce vlevo vyberte Dotaz.
Klikněte pravým tlačítkem na databázi, ve které chcete data ingestovat. Vyberte Získat data.
Zdroj
V okně Načíst data je vybrána karta Zdroj .
Vyberte zdroj dat z dostupného seznamu. V tomto příkladu ingestujete data z úložiště Azure.
Konfigurovat
Vyberte cílovou databázi a tabulku. Pokud chcete ingestovat data do nové tabulky, vyberte + Nová tabulka a zadejte název tabulky.
Poznámka:
Názvy tabulek můžou mít maximálně 1024 znaků včetně mezer, alfanumerických znaků, pomlček a podtržítka. Speciální znaky nejsou podporované.
Pokud chcete přidat zdroj, vyberte Vybrat kontejner nebo Přidat identifikátor URI.
Pokud jste vybrali vybrat kontejner, vyplňte následující pole:
Nastavení Popis pole Předplatné ID předplatného, ve kterém se nachází účet úložiště. Účet úložiště Název, který identifikuje váš účet úložiště. Kontejner Kontejner úložiště, který chcete ingestovat. Filtry souborů (volitelné) Folder path Filtruje data na ingestování souborů s konkrétní cestou ke složce. Přípona souboru Filtruje data pouze na ingestování souborů s konkrétní příponou souboru. Pokud jste vybrali Přidat identifikátor URIz účtu úložiště, vygenerujte adresu URL SAS pro kontejner nebo jednotlivé objekty blob, které chcete ingestovat. Nastavte oprávnění na
čtení a seznamu pro kontejnery nebo čtení pro jednotlivé objekty blob. Další informace najdete v tématu Vygenerování tokenu SAS.- Vložte adresu URL do pole identifikátoru URI a pak vyberte plus (+). Pro jednotlivé objekty blob můžete přidat několik identifikátorů URI nebo jeden identifikátor URI kontejneru.
Poznámka:
- Můžete přidat až 10 jednotlivých objektů blob. Každý objekt blob může být maximálně 1 GB nekomprimovaný.
- Z jednoho kontejneru můžete ingestovat až 5 000 objektů blob.
- Ve stejném příjmu dat nemůžete ingestovat jednotlivé objekty blob a kontejnery.
Vyberte Další.
Inspekce
Otevře se karta Kontrola s náhledem dat.
Proces příjmu dat dokončíte výběrem možnosti Dokončit.
Nepovinná možnost:
- Výběrem prohlížeče příkazů zobrazíte a zkopírujete automatické příkazy vygenerované z vašich vstupů.
- Pomocí rozevíracího seznamu Definiční soubor schématu změňte soubor, ze kterého je schéma odvozeno.
- Změňte automaticky odvozený formát dat výběrem požadovaného formátu z rozevíracího seznamu. Viz Formáty dat podporované Azure Data Explorerem pro příjem dat.
- Upravte sloupce.
- Prozkoumejte pokročilé možnosti na základě datového typu.
Upravit sloupce
Poznámka:
- U tabulkových formátů (CSV, TSV, PSV) nemůžete namapovat sloupec dvakrát. Pokud chcete namapovat na existující sloupec, nejprve odstraňte nový sloupec.
- Existující typ sloupce nelze změnit. Pokud se pokusíte namapovat na sloupec s jiným formátem, můžete skončit s prázdnými sloupci.
Změny, které můžete provést v tabulce, závisí na následujících parametrech:
- Typ tabulky je nový nebo existující
- Typ mapování je nový nebo existující
| Typ tabulky | Typ mapování | Dostupné úpravy |
|---|---|---|
| Nová tabulka | Nové mapování | Přejmenování sloupce, změna datového typu, změna zdroje dat, transformace mapování, přidání sloupce, odstranění sloupce |
| Existující tabulka | Nové mapování | Přidejte sloupec (u kterého pak můžete změnit datový typ, přejmenovat a aktualizovat) |
| Existující tabulka | Existující mapování | Žádná |
Mapování transformací
Některá mapování formátu dat (Parquet, JSON a Avro) podporují jednoduché transformace v čase ingestování. Pokud chcete použít transformace mapování, vytvořte nebo aktualizujte sloupec v okně Upravit sloupce .
Transformace mapování je možné provést u sloupce typu řetězec nebo datum a čas, přičemž zdroj má datový typ int nebo long. Podporované transformace mapování jsou:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Rozšířené možnosti založené na datovém typu
Tabulkový (CSV, TSV, PSV):
Pokud ingestujete tabulkové formáty v existující tabulce, můžete vybrat rozšířené>zachování aktuálního schématu tabulky. Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud je tato možnost zaškrtnutá, mapování se provádí podle pořadí a schéma tabulky zůstane stejné. Pokud tato možnost není zaškrtnutá, vytvoří se nové sloupce pro příchozí data bez ohledu na strukturu dat.
Pokud chcete použít první řádek jako názvy sloupců, vyberte Upřesnit>první řádek je záhlaví sloupce.
JSON:
Pokud chcete určit rozdělení sloupců dat JSON, vyberte pokročilé>vnořené úrovně od 1 do 100.
Pokud vyberete chyby rozšířeného>ignorovat formát dat, data se ingestují ve formátu JSON. Pokud toto políčko nezaškrtnete, data se ingestují ve vícejsonovém formátu.
Shrnutí
V okně přípravy dat jsou všechny tři kroky označené zelenými značkami zaškrtnutí, jakmile se příjem dat úspěšně dokončí. Můžete zobrazit příkazy použité pro jednotlivé kroky nebo vybrat kartu pro dotazování, vizualizaci nebo vyřazení přijatých dat.
