Förstå utvecklingslivscykeln för en stor språkmodellapp (LLM)
Innan vi förstår hur du arbetar med promptflöde ska vi utforska utvecklingslivscykeln för ett LLM-program (Large Language Model).
Livscykeln består av följande steg:
- Initiering: Definiera användningsfallet och utforma lösningen.
- Experimentering: Utveckla ett flöde och testa med en liten datamängd.
- Utvärdering och förfining: Utvärdera flödet med en större datamängd.
- Produktion: Distribuera och övervaka flödet och programmet.
Under både utvärdering och förfining och produktion kan du upptäcka att lösningen måste förbättras. Du kan återgå till experimentering under vilken du utvecklar flödet kontinuerligt tills du är nöjd med resultatet.
Nu ska vi utforska var och en av dessa faser i detalj.
Initiering
Anta att du vill utforma och utveckla ett LLM-program för att klassificera nyhetsartiklar. Innan du börjar skapa något måste du definiera vilka kategorier du vill ha som utdata. Du måste förstå hur en typisk nyhetsartikel ser ut, hur du presenterar artikeln som indata för ditt program och hur programmet genererar önskade utdata.
Med andra ord, under initieringen :
- Definiera målet
- Samla in en exempeldatauppsättning
- Skapa en grundläggande fråga
- Utforma flödet
För att utforma, utveckla och testa ett LLM-program behöver du en exempeldatauppsättning som fungerar som indata. En exempeldatauppsättning är en liten representativ delmängd av de data som du så småningom förväntar dig att parsa som indata till ditt LLM-program.
När du samlar in eller skapar exempeldatauppsättningen bör du säkerställa mångfald i data för att täcka olika scenarier och gränsfall. Du bör också ta bort sekretesskänslig information från datauppsättningen för att undvika sårbarheter.
Experimenterande
Du har samlat in en exempeldatauppsättning med nyhetsartiklar och bestämt vilka kategorier du vill att artiklarna ska klassificeras i. Du har utformat ett flöde som tar en nyhetsartikel som indata och använder en LLM för att klassificera artikeln. Om du vill testa om flödet genererar förväntade utdata kör du det mot din exempeldatauppsättning.
Experimenteringsfasen är en iterativ process där du (1) kör flödet mot en exempeldatauppsättning. Sedan (2) utvärderar du promptens prestanda. Om du är (3) nöjd med resultatet kan du gå vidare till utvärdering och förfining. Om du tror att det finns utrymme för förbättringar kan du (4) ändra flödet genom att ändra själva kommandotolken eller flödet.
Utvärdering och förfining
När du är nöjd med utdata från flödet som klassificerar nyhetsartiklar, baserat på exempeldatauppsättningen, kan du utvärdera flödets prestanda mot en större datamängd.
Genom att testa flödet på en större datamängd kan du utvärdera hur väl LLM-programmet generaliserar till nya data. Under utvärderingen kan du identifiera potentiella flaskhalsar eller områden för optimering eller förfining.
När du redigerar ditt flöde bör du först köra det mot en mindre datamängd innan du kör det igen mot en större datauppsättning. Genom att testa ditt flöde med en mindre datamängd kan du snabbare svara på eventuella problem.
När ditt LLM-program verkar vara robust och tillförlitligt i hanteringen av olika scenarier kan du välja att flytta LLM-programmet till produktion.
Produktion
Slutligen är ditt program för nyhetsartikelklassificering redo för produktion.
Under produktionen:
- Optimera flödet som klassificerar inkommande artiklar för effektivitet och effektivitet.
- Distribuera ditt flöde till en slutpunkt. När du anropar slutpunkten utlöses flödet för att köras och önskade utdata genereras.
- Övervaka lösningens prestanda genom att samla in användningsdata och slutanvändarfeedback. Genom att förstå hur programmet fungerar kan du förbättra flödet när det behövs.
Utforska hela utvecklingslivscykeln
Nu när du förstår varje steg i utvecklingslivscykeln för ett LLM-program kan du utforska den fullständiga översikten:
