Automatisera dina datatransformeringar

  • 7 minuter

Att förbereda data för maskininlärning är ett nödvändigt steg när du vill skapa effektiva modeller. Azure Databricks kan effektivt bearbeta och förbereda stora datamängder på grund av Sparks beräkningskraft.

Nu ska vi utforska hur varje steg i maskininlärningsarbetsflödet som rör data kan utföras i Azure Databricks.

Lagra insamlade data i Azure Storage

När du samlar in data från olika källor är det bäst att lagra dina data i en lagringslösning som Azure Blob Storage eller Azure Data Lake.

Lagring av data i en Azure Storage-lösning i stället för direkt i Azure Databricks ger bättre skalbarhet, förbättrad säkerhet och integrering med andra Azure-tjänster.

Azure Storage-lösningar ger en robust och flexibel miljö för hantering av stora datamängder, vilket säkerställer att dina data är lättillgängliga för bearbetning och analys.

Om du vill hantera åtkomst till alla data som lagras i molnlagring använder du Unity Catalog. Unity Catalog tillhandahåller en enhetlig styrningslösning för alla datatillgångar så att du kan hantera behörigheter och åtkomstkontroller i din dataegendom.

Dricks

Läs mer om hur du ansluter till molnobjektlagring med Unity Catalog

Utforska och förbereda dina data

När du har anslutit till dina data vill du utforska data via Exploratory Data Analysis (EDA). Baserat på dina resultat förbereder du data för att hantera saknade data, utföra funktionsframställning och utföra andra datatransformeringar som du tror gynnar modellens prestanda.

För inledande analys använder du Databricks-notebook-filer för att utforska och förstå data. Du kan använda Spark SQL eller PySpark för att arbeta med stora datamängder, sammanfatta data, söka efter nullvärden och förstå datadistributioner.

Automatisera funktionsutveckling i Azure Databricks

Automatiserade verktyg och bibliotek för funktionsutveckling, till exempel Featuretools och AutoFeat, blir allt populärare när de effektiviserar processen att generera och välja funktioner. Dessa verktyg använder algoritmer för att automatiskt skapa funktioner från rådata, utvärdera deras betydelse och välja de mest relevanta för modellering. Den här metoden sparar tid och minskar beroendet av manuell funktionsutveckling.

Automatisera dina datatransformeringar i Azure Databricks

Efter utforskningen kan du välja att automatisera datatransformeringar genom att konfigurera pipelines. Ett sätt att uppnå automatisering är att konfigurera jobb i Azure Databricks för att automatisera notebook-filer och skript. Med Azure Databricks-jobb kan du schemalägga och köra dina notebook-filer eller JAR-filer som jobb, så att du kan automatisera dina arbetsflöden för databearbetning.

Följ dessa steg för att konfigurera ett jobb i Azure Databricks:

  1. Skapa ett jobb: I Databricks-arbetsytan navigerar du till fliken Jobb och väljer på Create job. Ange ett namn för jobbet och ange den anteckningsbok eller JAR-fil som du vill köra.
  2. Konfigurera jobbet: Ange parametrarna för jobbet, till exempel klusterkonfigurationen, schemat för att köra jobbet och eventuella beroenden. Du kan också ange e-postaviseringar för jobbstatusuppdateringar.
  3. Kör och övervaka jobbet: När jobbet har konfigurerats kan du köra det manuellt eller låta det köras enligt det schema som du har angett. Du kan övervaka jobbets förlopp och visa loggar för att felsöka eventuella problem.

Dricks

Läs mer om hur du skapar och kör Azure Databricks-jobb.

Du kan också använda Azure-tjänster för att skapa automatiserade datapipelines.

Automatisera dataintegrering med Azure Data Factory

Azure Data Factory är ett verktyg för att skapa och hantera datapipelines. Det gör att du kan skapa datadrivna arbetsflöden för orkestrering av dataflytt och transformering.

Följ dessa steg för att skapa en datapipeline i Azure Data Factory:

  1. Skapa en datafabrik: I Azure Portal skapar du en ny Data Factory-instans.
  2. Skapa en pipeline: I Data Factory-användargränssnittet skapar du en ny pipeline och lägger till aktiviteter i den. Aktiviteter kan omfatta dataförflyttning, datatransformering och kontrollflödesåtgärder.
  3. Konfigurera aktiviteter: Ange parametrarna för varje aktivitet, till exempel käll- och måldatalager, transformeringslogik och eventuella beroenden.
  4. Schemalägg och övervaka: Schemalägg pipelinen så att den körs med angivna intervall och övervaka dess körning. Du kan visa loggar och konfigurera aviseringar för eventuella problem.

Dricks

Läs mer om Azure Data Factory.

Genom att automatisera datatransformeringar och arbetsflöden med Azure Databricks-jobb eller Azure Data Factory säkerställer du konsekvent databehandling, vilket gör dina maskininlärningsmodeller effektivare och mer tillförlitliga.