Referenslösning för avbildningsprogram
Lär dig att dra slutsatser om distribuerade avbildningsmodeller från referenslösningsanteckningsböcker med pandas UDF, PyTorch och TensorFlow i en gemensam konfiguration som delas av många verkliga avbildningsprogram. Den här konfigurationen förutsätter att du lagrar många avbildningar i ett objektarkiv och om du vill kan du kontinuerligt hämta nya avbildningar.
Arbetsflöde för slutsatsdragning av bildmodell
Anta att du har flera tränade djupinlärningsmodeller (DL) för bildklassificering och objektidentifiering– till exempel MobileNetV2 för att identifiera mänskliga objekt i användaruppladdade foton för att skydda sekretessen – och du vill tillämpa dessa DL-modeller på de lagrade bilderna.
Du kan träna om modellerna och uppdatera tidigare beräknade förutsägelser. Det är dock både I/O-tungt och beräkningstungt att läsa in många bilder och använda DL-modeller. Lyckligtvis är slutsatsdragningsarbetsbelastningen pinsamt parallell och kan i teorin enkelt distribueras. Den här guiden vägleder dig genom en praktisk lösning som innehåller två viktiga steg:
- ETL-bilder i en Delta-tabell med automatisk inläsning
- Utföra distribuerad slutsatsdragning med pandas UDF
ETL-bilder i en Delta-tabell med automatisk inläsning
För bildprogram, inklusive tränings- och slutsatsdragningsuppgifter, rekommenderar Databricks att du ETL-bilder i en Delta-tabell med autoinläsningen. Automatisk inläsning hjälper datahantering och hanterar automatiskt kontinuerligt ankommande nya avbildningar.
ETL-bilddatauppsättning till en deltatabellanteckningsbok
Utföra distribuerad slutsatsdragning med pandas UDF
Följande notebook-filer använder PyTorch och TensorFlow tf. Keras för att demonstrera referenslösningen.
Distribuerad slutsatsdragning via Pytorch och pandas UDF-notebook-fil
Distribuerad slutsatsdragning via Keras och Pandas UDF-notebook-fil
Begränsningar: Bildfilstorlekar
För stora bildfiler (genomsnittlig bildstorlek större än 100 MB) rekommenderar Databricks att endast använda Delta-tabellen för att hantera metadata (lista över filnamn) och läsa in bilderna från objektarkivet med hjälp av sökvägarna när det behövs.