Exportera till Azure Blob Storage
Viktigt
Stödet för Machine Learning Studio (klassisk) upphör den 31 augusti 2024. Vi rekommenderar att du byter till Azure Machine Learning innan dess.
Från och med den 1 december 2021 kan du inte längre skapa nya Machine Learning Studio-resurser (klassisk). Du kan fortsätta att använda befintliga Machine Learning Studio-resurser (klassisk) till och med den 31 augusti 2024.
- Se information om hur du flyttar maskininlärningsprojekt från ML Studio (klassisk) till Azure Machine Learning.
- Läs mer om Azure Machine Learning.
Dokumentationen om ML Studio (klassisk) håller på att dras tillbaka och kanske inte uppdateras i framtiden.
Den här artikeln beskriver hur du använder alternativet Exportera till Azure Blob Storage i modulen Exportera data i Machine Learning Studio (klassisk).
Anteckning
Gäller endast för: Machine Learning Studio (klassisk)
Liknande dra och släpp-moduler är tillgängliga i Azure Machine Learning designer.
Det här alternativet är användbart när du vill exportera data från ett maskininlärningsexperiment till Azure Blob Storage. Du kanske till exempel vill dela utdata för maskininlärning med andra program eller lagra mellanliggande data eller rensade datamängder för användning i andra experiment.
Du kan komma åt Azure-blobar var du än är, antingen via HTTP eller HTTPS. Eftersom Azure Blob Storage är ett ostrukturerat datalager kan du exportera data i olika format. Csv-, TSV- och ARFF-format stöds för närvarande.
Om du vill exportera data till En Azure-blob för användning av andra program använder du modulen Exportera data för att spara data till Azure Blob Storage. Använd sedan alla verktyg som kan läsa data från Azure Storage (till exempel Excel, molnlagringsverktyg eller andra molntjänster) för att läsa in och använda data.
Anteckning
Modulerna Importera dataoch Exportera data kan endast läsa och skriva data från Azure Storage som skapats med hjälp av den klassiska distributionsmodellen. Med andra ord stöds inte den nya Azure Blob Storage-kontotyp som erbjuder åtkomstnivåer för varm och kall lagring ännu inte.
I allmänhet bör inte azure-lagringskonton som du har skapat innan det här tjänstalternativet blev tillgängligt påverkas.
Men om du behöver skapa ett nytt konto för användning med Machine Learning rekommenderar vi att du antingen väljer Klassisk för distributionsmodellen eller använderResource Manager och väljer Generell användning i stället för Blob Storage som Konto.
Så här exporterar du data till Azure Blob Storage
Azure Blob Service är till för lagring av stora mängder data, inklusive binära data. Det finns två typer av bloblagring: offentliga blobar och blobar som kräver inloggningsuppgifter.
Lägg till modulen Exportera data i experimentet. Du hittar den här modulen i kategorin Indata och utdata i Studio (klassisk).
Anslut Exportera data till den modul som producerar de data som du vill exportera till Azure Blob Storage.
Öppna fönstret Egenskaper i Exportera data. Som datamål väljer du Azure Blob Storage.
Som Autentiseringstyp väljer du Offentlig (SAS-URL) om du vet att lagringen stöder åtkomst via en SAS-URL.
En SAS-URL är en särskild typ av URL som kan genereras med hjälp av ett Azure Storage-verktyg och som bara är tillgänglig under en begränsad tid. Den innehåller all information som behövs för autentisering och nedladdning.
För URI skriver eller klistrar du in den fullständiga URI som definierar kontot och den offentliga bloben.
För privata konton väljer du Konto och anger kontonamnet och kontonyckeln så att experimentet kan skriva till lagringskontot.
Kontonamn: Skriv eller klistra in namnet på det konto där du vill spara data. Om den fullständiga URL:en för lagringskontot till exempel är
https://myshared.blob.core.windows.net
skriver dumyshared
.Kontonyckel: Klistra in lagringsåtkomstnyckeln som är associerad med kontot.
Sökväg till container, katalog eller blob: Ange namnet på bloben där exporterade data ska lagras. Om du till exempel vill spara resultatet av experimentet till en ny blob med namnetresults01.csvi containerförutsägelserna i ett konto med namnet mymldata blir den fullständiga URL:en för bloben
https://mymldata.blob.core.windows.net/predictions/results01.csv
.I fältet Sökväg till container, katalog eller blob anger du därför containern och blobnamnet på följande sätt:
predictions/results01.csv
Om du anger namnet på en blob som inte redan finns skapar Azure bloben åt dig.
När du skriver till en befintlig blob kan du ange att det aktuella innehållet i bloben ska skrivas över genom att ange egenskapen Azure Blob Storage skrivläge. Som standard är den här egenskapen inställd på Fel, vilket innebär att ett fel utlöses när en befintlig blobfil med samma namn hittas.
För Filformat för blobfil väljer du det format som data ska lagras i.
CSV: Kommaavgränsade värden (CSV) är standardlagringsformatet. Om du vill exportera kolumnrubriker tillsammans med data väljer du alternativet Skriv blobrubrikrad. Mer information om det kommaavgränsade formatet som används i Machine Learning finns i Konvertera till CSV.
TSV: Formatet tabbavgränsade värden (TSV) är kompatibelt med många maskininlärningsverktyg. Om du vill exportera kolumnrubriker tillsammans med data väljer du alternativet Skriv blobrubrikrad. Mer information om det tabbavgränsade formatet som används i Machine Learning finns i Konvertera till TSV.
ARFF: Det här formatet har stöd för att spara filer i det format som används av Weka-verktygsuppsättningen. Det här formatet stöds inte för filer som lagras i en SAS-URL. Mer information om ARFF-formatet finns i Konvertera till ARFF.
Använd cachelagrade resultat: Välj det här alternativet om du vill undvika att skriva om resultatet till blobfilen varje gång du kör experimentet. Om det inte finns några andra ändringar av modulparametrarna skriver experimentet bara resultatet första gången modulen körs, eller när det finns ändringar i data.
Exempel
Exempel på hur du använder modulen Exportera data finns i Azure AI Gallery:
Konvertera datauppsättning till VW-format: Det här experimentet använder Python-skript tillsammans med modulen Exportera data för att skapa data som kan användas av Vowpal Wabbit.
Konfigurera pipelines för förutsägelseanalys med Azure SQL Data Warehouse: Det här scenariot beskriver dataförflyttning mellan flera komponenter, inklusive Machine Learning och SQL Data Warehouse.
Batchbedömning utan kod: Den här självstudien visar hur du kan använda Azure Logic Apps för att automatisera både import av data som används av experiment och skriva experimentresultat till bloblagring.
Operationalisera Azure ML-lösning med lokal SQL Server med Hjälp av Azure Data Factory: I den här artikeln beskrivs en mer komplex datapipeline som skickar tillbaka data till en lokal SQL Server-databas med bloblagring som ett mellanliggande steg. Användning av en lokal databas kräver konfiguration av en datagateway, men du kan hoppa över den delen av exemplet och bara använda bloblagring.
Teknisk information
Det här avsnittet innehåller implementeringsinformation, tips och svar på vanliga frågor.
Vanliga frågor
Hur kan jag undvika att skriva data om experimentet inte har ändrats
När experimentresultatet ändras sparar Exportera data alltid den nya datauppsättningen. Men om du kör experimentet upprepade gånger utan att göra ändringar som påverkar utdata kan du välja alternativet Använd cachelagrade resultat.
Modulen kontrollerar om experimentet har körts tidigare med samma data och samma alternativ, och om en tidigare körning hittas upprepas inte skrivåtgärden.
Kan jag spara data till ett konto i en annan geografisk region
Ja, du kan skriva data till konton i olika regioner. Men om lagringskontot finns i en annan region än beräkningsnoden som används för maskininlärningsexperimentet kan dataåtkomsten vara långsammare. Dessutom debiteras du för in- och utgående data i prenumerationen.
Modulparametrar
Allmänna alternativ
Name | Intervall | Typ | Standardvärde | Description |
---|---|---|---|---|
Datakälla | Lista | Datakälla eller mottagare | Azure Blob Storage | Målet kan vara en fil i Azure BLOB Storage, en Azure-tabell, en tabell eller vy i en Azure SQL Database eller en Hive-tabell. |
Använda cachelagrade resultat | TRUE/FALSE | Boolesk | FALSE | Modulen körs bara om det inte finns någon giltig cache. använd annars cachelagrade data från föregående körning. |
Ange autentiseringstyp | SAS/konto | AuthenticationType | Konto | Anger om SAS- eller kontoautentiseringsuppgifter ska användas för åtkomstauktorisering |
Offentlig lagring eller SAS – alternativ för offentlig lagring
Name | Intervall | Typ | Standardvärde | Description |
---|---|---|---|---|
SAS-URI för blob | valfri | Sträng | inget | SAS-URI för bloben som ska skrivas till (krävs) |
Filformat för SAS-fil | ARFF CSV TSV |
LoaderUtils.FileTypes | CSV | Anger om filen är CSV, TSV eller ARFF. (krävs) |
Skriva SAS-rubrikrad | TRUE/FALSE | Boolesk | FALSE | Anger om kolumnrubriker ska skrivas till filen |
Konto – Alternativ för privat lagring
Name | Intervall | Typ | Standardvärde | Description |
---|---|---|---|---|
Namn på Azure-konto | valfri | Sträng | inget | Namn på Azure-användarkonto |
Azure-kontonyckel | valfri | SecureString | inget | Azure Storage-nyckel |
Sökväg till blob som börjar med container | valfri | Sträng | inget | Namnet på blobfilen som börjar med containernamnet |
Azure Blob Storage skrivläge | Lista: Fel, skriva över | enum:BlobFileWriteMode | Fel | Välj metod för att skriva blobfiler |
Filformat för blobfil | ARFF CSV TSV |
LoaderUtils.FileTypes | CSV | Anger om blobfilen är CSV, TSV eller ARFF |
Skriva blobrubrikrad | TRUE/FALSE | Boolesk | FALSE | Anger om blobfilen ska ha rubrikrad |
Undantag
Undantag | Description |
---|---|
Fel 0027 | Ett undantag inträffar när två objekt måste ha samma storlek, men det är de inte. |
Fel 0003 | Ett undantag inträffar om ett eller flera indata är null eller tomma. |
Fel 0029 | Ett undantag inträffar när en ogiltig URI skickas. |
Fel 0030 | ett undantag inträffar när det inte går att ladda ned en fil. |
Fel 0002 | Ett undantag inträffar om en eller flera parametrar inte kunde parsas eller konverteras från den angivna typen till den typ som krävs av målmetoden. |
Fel 0009 | Ett undantag inträffar om namnet på Azure-lagringskontot eller containernamnet har angetts felaktigt. |
Fel 0048 | Ett undantag inträffar när det inte går att öppna en fil. |
Fel 0046 | Ett undantag inträffar när det inte går att skapa en katalog på den angivna sökvägen. |
Fel 0049 | Ett undantag inträffar när det inte går att parsa en fil. |
En lista över fel som är specifika för Studio-moduler (klassisk) finns i Machine Learning felkoder.
En lista över API-undantag finns i Machine Learning REST API felkoder.
Se även
Importera data
Exportera data
Exportera till Azure SQL Database
Exportera till Hive-fråga
Exportera till Azure Table