Hämta data från Amazon S3
Datainmatning är den process som används för att läsa in data från en eller flera källor till en tabell i Azure Data Explorer. När data har matats in blir de tillgängliga för frågor. I den här artikeln får du lära dig hur du hämtar data från Amazon S3 till en ny eller befintlig tabell.
Mer information om Amazon S3 finns i Vad är Amazon S3?.
Allmän information om datainmatning finns i Översikt över Datainmatning i Azure Data Explorer.
Förutsättningar
- Ett Microsoft-konto eller en Microsoft Entra användaridentitet. En Azure-prenumeration krävs inte.
- Logga in på webbgränssnittet för Azure Data Explorer.
- Ett Azure Data Explorer-kluster och en databas. Skapa ett kluster och en databas.
Hämta data
Välj Fråga på den vänstra menyn.
Högerklicka på databasen där du vill mata in data och välj sedan Hämta data.
Källa
I fönstret Hämta data är fliken Källa markerad.
Välj datakällan i den tillgängliga listan. I det här exemplet matar du in data från Amazon S3.
Konfigurera
Välj en måldatabas och tabell. Om du vill mata in data i en ny tabell väljer du +Ny tabell och anger ett tabellnamn.
Anteckning
Tabellnamn kan innehålla upp till 1 024 tecken, inklusive blanksteg, alfanumeriska tecken, bindestreck och understreck. Specialtecken stöds inte.
I URI-fältet klistrar du in anslutningssträng för en enskild bucket eller ett enskilt objekt i följande format.
Bucket:
https://BucketName.s3.RegionName.amazonaws.comObjekt: ObjectName
;AwsCredentials=AwsAccessID,AwsSecretKeyDu kan också använda bucketfilter för att filtrera data enligt ett specifikt filnamnstillägg.
Anteckning
Inmatning stöder en maximal filstorlek på 6 GB. Rekommendationen är att mata in filer mellan 100 MB och 1 GB.
Välj Nästa.
Inspektera
Fliken Inspektera öppnas med en förhandsgranskning av data.
Slutför inmatningsprocessen genom att välja Slutför.
Valfritt:
- Välj Kommandovisningsprogram för att visa och kopiera de automatiska kommandon som genereras från dina indata.
- Använd listrutan Schemadefinitionsfil för att ändra filen som schemat härleds från.
- Ändra det automatiskt härledda dataformatet genom att välja önskat format i listrutan. Information om inmatning finns i Dataformat som stöds av Azure Data Explorer.
- Redigera kolumner.
- Utforska Avancerade alternativ baserat på datatyp.
Redigera kolumner
Anteckning
- För tabellformat (CSV, TSV, PSV) kan du inte mappa en kolumn två gånger. Om du vill mappa till en befintlig kolumn tar du först bort den nya kolumnen.
- Du kan inte ändra en befintlig kolumntyp. Om du försöker mappa till en kolumn med ett annat format kan det hända att du får tomma kolumner.
Vilka ändringar du kan göra i en tabell beror på följande parametrar:
- Tabelltypen är ny eller befintlig
- Mappningstypen är ny eller befintlig
| Tabelltyp | Mappningstyp | Tillgängliga justeringar |
|---|---|---|
| Ny tabell | Ny mappning | Byt namn på kolumn, ändra datatyp, ändra datakälla, mappningstransformering, lägg till kolumn, ta bort kolumn |
| Befintlig tabell | Ny mappning | Lägg till kolumn (där du sedan kan ändra datatyp, byta namn på och uppdatera) |
| Befintlig tabell | Befintlig mappning | inget |
Mappa transformeringar
Vissa dataformatmappningar (Parquet, JSON och Avro) stöder enkla inmatningstidstransformeringar. Om du vill använda mappningstransformeringar skapar eller uppdaterar du en kolumn i fönstret Redigera kolumner .
Mappningstransformeringar kan utföras på en kolumn av typen sträng eller datetime, där källan har datatypen int eller long. Mappningstransformeringar som stöds är:
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
Avancerade alternativ baserat på datatyp
Tabell (CSV, TSV, PSV):
Om du matar in tabellformat i en befintlig tabell kan du välja Avancerat>Behåll aktuellt tabellschema. Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. När det här alternativet är markerat görs mappningen i ordning och tabellschemat förblir detsamma. Om det här alternativet är avmarkerat skapas nya kolumner för inkommande data, oavsett datastruktur.
Om du vill använda den första raden som kolumnnamn väljer du Avancerad>första rad är kolumnrubrik.
JSON:
Om du vill fastställa kolumndivisionen för JSON-data väljer du Avancerade>kapslade nivåer, från 1 till 100.
Om du väljer Fel i avancerat>ignorera dataformat matas data in i JSON-format. Om du lämnar den här kryssrutan omarkerad matas data in i multijson-format.
Sammanfattning
I fönstret Dataförberedelse markeras alla tre stegen med gröna bockmarkeringar när datainmatningen har slutförts. Du kan visa de kommandon som användes för varje steg eller välja ett kort för att fråga, visualisera eller släppa inmatade data.
