Utforska modellutveckling

  • 9 minuter

När du börjar utveckla och träna maskininlärningsmodeller kan du använda Azure Databricks eftersom det ger kraftfulla databehandlingsfunktioner och en samarbetsmiljö.

Först ska vi utforska funktionerna i Azure Databricks som hjälper dig under modellutveckling och träning. Därefter kan du utforska några funktioner som hjälper dig och ditt team att arbeta och samarbeta effektivt.

Utveckla maskininlärningsmodeller med Azure Databricks

Under modellutvecklingen kan du använda olika funktioner som är tillgängliga i Azure Databricks för att:

  • Automatisera algoritmval och hyperparameterjustering.
  • Spåra modellträningsexperiment.
  • Hantera maskininlärningsmodeller.
  • Utvärdera modellens prestanda och noggrannhet.
  • Distribuera och integrera din modell.

Nu ska vi utforska var och en av dessa funktioner.

Automatisera algoritmval

Under utvecklingen vill du experimentera med olika algoritmer och hyperparametrar för att förstå vilken konfiguration som ger den bästa maskininlärningsmodellen .

För att snabbt och enkelt automatisera valet av algoritmer, hyperparameterjustering och modellutvärdering kan du använda AutoML (Automated Machine Learning).

AutoML förenklar modellutvecklingsprocessen och gör att du kan fokusera på att tolka resultat och fatta datadrivna beslut.

Dricks

Läs mer om Azure Databricks AutoML.

Utföra justering av hyperparametrar

Hyperparameterjustering är ett viktigt steg för att optimera maskininlärningsmodeller, och Azure Databricks tillhandahåller verktyg för att effektivisera den här processen.

Förutom att använda AutoML för att automatiskt utföra hyperparameterjustering åt dig kan du också använda Hyperopt för att effektivt utforska olika hyperparameterkonfigurationer och identifiera de bäst presterande modellerna.

Dricks

Läs mer om hyperparameterjustering i Azure Databricks.

Genom att optimera modellträningen genom justering av hyperparametrar kan du förbättra modellens noggrannhet och prestanda.

Spåra modellträning med experiment

I Azure Databricks kan du träna och utvärdera maskininlärningsmodeller med hjälp av populära ramverk som scikit-learn, TensorFlow och PyTorch.

Du kan också träna modeller i distribuerade datorkluster, vilket avsevärt minskar träningstiden när du använder stora datamängder eller beräkningsintensiva algoritmer.

Om du vill utveckla modeller på ett effektivare sätt kan du spåra de modeller som du tränar med hjälp av experiment via en integrering med MLflow, ett ramverk med öppen källkod för att hantera hela maskininlärningslivscykeln.

MLflow tillhandahåller funktioner för spårning av experiment, paketeringskod och delningsmodeller, vilket säkerställer reproducerbarhet och samarbete under hela utvecklingsprocessen.

Ett experiment innehåller alla nödvändiga metadata för att återskapa din modellträningsarbetsbelastning, inklusive alla indata och utdata. Utdata kan innehålla olika mått och visualiseringar för att utvärdera modellens prestanda för experimentet. När du spårar modellträning kan du enkelt jämföra olika modeller som du har tränat, med hjälp av olika konfigurationer, för att hitta den modell som bäst passar dina behov.

Dricks

Läs mer om hur du använder MLflow för livscykelhantering för maskininlärning i Azure Databricks.

Arbeta och samarbeta effektivt i Azure Databricks

När du använder Azure Databricks för livscykeln för maskininlärning från slutpunkt till slutpunkt kan du dra nytta av olika funktioner som gör att du kan arbeta och samarbeta mer effektivt.

Samarbeta om kod på en arbetsyta

Azure Databricks erbjuder en samarbetsarbetsyta där dataforskare och tekniker kan samarbeta i en enhetlig miljö.

Plattformen stöder olika programmeringsspråk, inklusive Python, R, Scala och SQL, så att du och dina teammedlemmar kan använda de verktyg och språk du föredrar. Samarbetsmiljön förbättrar produktiviteten och främjar teamarbete, eftersom du kan dela notebook-filer, visualiseringar och insikter.

Hantera din kod med versionskontroll

Det är viktigt att använda versionskontroll för att hantera ändringar i koden och samarbeta med ditt team.

Azure Databricks integreras med Git, så att du kan version dina notebook-filer och skript. Genom att ansluta databricks-arbetsytan till en Git-lagringsplats kan du spåra ändringar, återgå till tidigare versioner och samarbeta mer effektivt med ditt team.

Så här konfigurerar du Git-integrering i Azure Databricks:

  1. Anslut till en Git-lagringsplats: I din Databricks-arbetsyta går du till User Settings och konfigurerar Git-providern (till exempel GitHub, GitLab, Bitbucket). Autentisera med dina Git-autentiseringsuppgifter och anslut till lagringsplatsen.
  2. Klona en lagringsplats: Använd Databricks-användargränssnittet för att klona en lagringsplats till din arbetsyta. Genom att klona till en lagringsplats kan du arbeta med koden direkt i Databricks och checka in ändringar tillbaka till lagringsplatsen.
  3. Checka in och skicka ändringar: När du har gjort ändringar i dina notebook-filer eller skript använder du Git-integreringen för att checka in och skicka ändringarna till fjärrlagringsplatsen. Genom att använda Git-integreringarna ser du till att ditt arbete är versionshanterat och säkerhetskopierat.

Dricks

Läs mer om Git-integrering med Databricks Git-mappar.

Implementera kontinuerlig integrering och kontinuerlig distribution (CI/CD)

Azure Databricks stöder CI/CD-metoder för maskininlärningsmodeller, så att du kan automatisera distributionen och övervakningen av modeller. Genom att integrera med verktyg som Azure DevOps och GitHub Actions kan du implementera automatiserade pipelines som säkerställer att modeller kontinuerligt testas, valideras och uppdateras. Den här funktionen är viktig för att upprätthålla noggrannheten och tillförlitligheten hos modeller i produktionsmiljöer.

Azure Databricks är en omfattande och skalbar plattform för modellutveckling och träning. Dess samarbetsarbetsyta, avancerade databehandlingsfunktioner och sömlös integrering med andra Azure-tjänster gör den till ett idealiskt val för dataforskare och tekniker som vill skapa och distribuera högpresterande maskininlärningsmodeller.