Referenslösning för avbildningsprogram
Lär dig att dra slutsatser om distribuerade avbildningsmodeller från referenslösningsanteckningsböcker med pandas UDF, PyTorch och TensorFlow i en gemensam konfiguration som delas av många verkliga avbildningsprogram. Den här konfigurationen förutsätter att du lagrar många avbildningar i ett objektarkiv och om du vill kan du kontinuerligt hämta nya avbildningar.
Arbetsflöde för slutsatsdragning av bildmodell
Anta att du har flera tränade djupinlärningsmodeller (DL) för bildklassificering och objektidentifiering– till exempel MobileNetV2 för att identifiera mänskliga objekt i användaruppladdade foton för att skydda sekretessen – och du vill tillämpa dessa DL-modeller på de lagrade bilderna.
Du kan träna om modellerna och update tidigare beräknade förutsägelser. Det är dock både I/O-tungt och beräkningstungt att läsa in många bilder och använda DL-modeller. Lyckligtvis är slutsatsdragningsarbetsbelastningen pinsamt parallell och kan i teorin enkelt distribueras. Den här guiden vägleder dig genom en praktisk lösning som innehåller två viktiga steg:
- ETL-bilder i en Delta-table med Auto Loader
- Utföra distribuerad slutsatsdragning med pandas UDF
ETL-bilder i en Delta-table med automatisk inläsning
För avbildningsprogram, inklusive tränings- och slutsatsdragningsuppgifter, rekommenderar Databricks att du ETL-avbildningar i en Delta-table med Auto Loader-. Automatisk inläsning hjälper datahantering och hanterar automatiskt kontinuerligt ankommande nya avbildningar.
ETL bilddatamängd till en Delta table anteckningsbok
Utföra distribuerad slutsatsdragning med pandas UDF
Följande notebook-filer använder PyTorch och TensorFlow tf. Keras för att demonstrera referenslösningen.
Distribuerad slutsatsdragning via Pytorch och pandas UDF-notebook-fil
Distribuerad slutsatsdragning via Keras och Pandas UDF-notebook-fil
Begränsningar: Bildfilstorlekar
För stora bildfiler (genomsnittlig bildstorlek större än 100 MB) rekommenderar Databricks att du använder Delta-table endast för att hantera metadata (list filnamn) och läsa in bilderna från objektarkivet med hjälp av sökvägarna när det behövs.