Använda Azure Data Lake Storage Gen1 för att samla in data från Event Hubs
Lär dig hur du använder Azure Data Lake Storage Gen1 för att samla in data som tas emot av Azure Event Hubs.
Förutsättningar
Prenumeration för Azure. Se Hämta en kostnadsfri utvärderingsversion av Azure.
Ett Azure Data Lake Storage Gen1-konto. Anvisningar om hur du skapar en finns i Komma igång med Azure Data Lake Storage Gen1.
Ett Event Hubs-namnområde. Anvisningar finns i Skapa ett Event Hubs-namnområde. Kontrollera att Data Lake Storage Gen1-kontot och Event Hubs-namnområdet finns i samma Azure-prenumeration.
Tilldela behörigheter till Event Hubs
I det här avsnittet skapar du en mapp i kontot där du vill samla in data från Event Hubs. Du tilldelar också behörigheter till Event Hubs så att de kan skriva data till ett Data Lake Storage Gen1-konto.
Öppna Data Lake Storage Gen1-kontot där du vill samla in data från Event Hubs och klicka sedan på Data Explorer.
Klicka på Ny mapp och ange sedan ett namn för mappen där du vill samla in data.
Tilldela behörigheter vid roten för Data Lake Storage Gen1.
a. Klicka på Data Explorer, välj roten för Data Lake Storage Gen1-kontot och klicka sedan på Access.
b) Under Accessklickar du på Lägg till, klickar på Välj användare eller gruppoch söker sedan efter
Microsoft.EventHubs
.Klicka på Välj.
c. Under Tilldela behörigheterklickar du på Välj behörigheter. Ange behörigheter till Kör. Ställ in Lägg till till Den här mappen och alla undermappar. Ange Lägg till som till En åtkomstbehörighetspost och en standardbehörighetspost.
Viktigt!
När du skapar en ny mapphierarki för att samla in data som tas emot av Azure Event Hubs är det här ett enkelt sätt att säkerställa åtkomst till målmappen. Det kan dock ta lång tid att lägga till behörigheter till alla underordnade i en mapp på den översta nivån med många underordnade filer och mappar. Om rotmappen innehåller ett stort antal filer och mappar kan det gå snabbare att lägga till Kör behörigheter för
Microsoft.EventHubs
individuellt till varje mapp i sökvägen till den slutliga målmappen.sv-SE:
Klicka på OK.
Tilldela behörigheter för mappen under Data Lake Storage Gen1-kontot där du vill samla in data.
a. Klicka på Data Explorer, välj mappen i Data Lake Storage Gen1-kontot och klicka sedan på Access.
b) Under Accessklickar du på Lägg till, klickar på Välj användare eller gruppoch söker sedan efter
Microsoft.EventHubs
.Klicka på Välj.
c. Under Tilldela behörigheterklickar du på Välj behörigheter. Ange behörigheter till Läsa, Skriva, och Kör. Ställ in , lägg till i till - den här mappen och alla underordnade. Ställ slutligen in Lägg till som till en åtkomstbehörighetspost och en standardbehörighetspost.
Klicka på OK.
Konfigurera Event Hubs för att samla in data till Data Lake Storage Gen1
I det här avsnittet skapar du en händelsehubb i ett Event Hubs-namnområde. Du konfigurerar också Event Hub för att samla in data till ett Azure Data Lake Storage Gen1-konto. Det här avsnittet förutsätter att du redan har skapat ett Event Hubs-namnområde.
Klicka på + Event Hubi fönstret Översikt i händelsehubbens namnområde.
Ange följande värden för att konfigurera Event Hubs för att samla in data till Data Lake Storage Gen1.
a. Ange ett namn för händelsehubben.
b) I den här handledningen ska du ställa in partitionsnummer och meddelandekvarhållning till standardvärdena.
c. Ange Capture till På. Ange tidsfönster (hur ofta du vill samla in) och storleksfönster (datastorlek som ska avbildas).
d. För Capture Providerväljer du Azure Data Lake Store och väljer sedan det Data Lake Storage Gen1-konto som du skapade tidigare. För Data Lake Pathanger du namnet på mappen som du skapade i Data Lake Storage Gen1-kontot. Du behöver bara ange den relativa sökvägen till mappen.
e. Lämna Exempel på filnamnsformat som standardvärde. Det här alternativet styr mappstrukturen som skapas under avbildningsmappen.
f. Klicka på Skapa.
Testa konfigurationen
Nu kan du testa lösningen genom att skicka data till Azure Event Hub. Följ anvisningarna i Skicka händelser till Azure Event Hubs. När du börjar skicka data visas data som återspeglas i Data Lake Storage Gen1 med hjälp av den mappstruktur som du har angett. Du ser till exempel en mappstruktur, som du ser i följande skärmbild, i ditt Data Lake Storage Gen1-konto.
Anmärkning
Även om du inte har meddelanden som kommer till Event Hubs skriver Event Hubs tomma filer med bara rubrikerna till Data Lake Storage Gen1-kontot. Filerna skrivs samtidigt som du angav när du skapade Event Hubs.
Analysera data i Data Lake Storage Gen1
När data finns i Data Lake Storage Gen1 kan du köra analysjobb för att bearbeta och krossa data. Se USQL Avro-exempel om hur man gör detta med hjälp av Azure Data Lake Analytics.