Load testing Python chat app using RAG with LocustDit artikel bevat het proces voor het uitvoeren van belastingstests in een Python-chattoepassing met behulp van het RAG-patroon met Locust, een populair opensource-hulpprogramma voor belastingstests. Het primaire doel van belastingstests is ervoor te zorgen dat de verwachte belasting van uw chattoepassing niet hoger is dan het huidige TPM-quotum (Azure OpenAI Transactions Per Minute). Door gebruikersgedrag onder zware belasting te simuleren, kunt u potentiële knelpunten en schaalbaarheidsproblemen in uw toepassing identificeren. Dit proces is van cruciaal belang om ervoor te zorgen dat uw chattoepassing responsief en betrouwbaar blijft, zelfs wanneer u te maken hebt met een groot aantal gebruikersaanvragen.
Bekijk de demonstratievideo voor meer informatie over belastingstests van de chat-app.
Notitie
In dit artikel worden een of meer AI-app-sjablonen gebruikt als basis voor de voorbeelden en richtlijnen in het artikel. AI-app-sjablonen bieden u een goed onderhouden, eenvoudig te implementeren referentie-implementaties die u helpen een startpunt van hoge kwaliteit voor uw AI-apps te garanderen.
Vereisten
Azure-abonnement. Maak er gratis een
Toegang verleend tot Azure OpenAI in het gewenste Azure abonnement.
Op dit moment wordt alleen toegang tot deze service verleend door een aanvraag te doen. U kunt toegang tot Azure OpenAI aanvragen door het formulier in te vullen op https://aka.ms/oai/access.
Dev-containers zijn beschikbaar voor beide voorbeelden, waarbij alle afhankelijkheden vereist zijn om dit artikel te voltooien. U kunt de dev-containers uitvoeren in GitHub Codespaces (in een browser) of lokaal met behulp van Visual Studio Code.
- U hebt alleen een GitHub-account nodig
Python-chat-app met RAG : als u uw chat-app hebt geconfigureerd voor het gebruik van een van de oplossingen voor taakverdeling, helpt dit artikel u bij het testen van de taakverdeling. De taakverdelingsoplossingen omvatten Azure Container Apps.
Voorbeeld-app loadtest openen
De belastingstest bevindt zich in de Python-chat-app-oplossing als een Locust-test. U moet terugkeren naar dat artikel, de oplossing implementeren en vervolgens die ontwikkelomgeving voor containerontwikkeling gebruiken om de volgende stappen uit te voeren.
De test uitvoeren
Installeer de afhankelijkheden voor de belastingtest.
python3 -m pip install -r requirements-dev.txt
Start Locust, dat gebruikmaakt van het locust-testbestand: locustfile.py gevonden in de hoofdmap van de opslagplaats.
locust
Open de actieve locust-website, zoals http://localhost:8089.
Voer het volgende in de locust-website in.
Eigenschappen
Weergegeven als
Aantal gebruikers
20
Omhoog instellen
1
Host
https://<YOUR-CHAT-APP-URL>.azurewebsites.net
Selecteer Swarm starten om de test te starten.
Selecteer Grafieken om de voortgang van de test te bekijken.
Resources opschonen
Wanneer u klaar bent met het testen van belasting, schoont u de resources op. De Azure-resources die in dit artikel zijn gemaakt, worden gefactureerd voor uw Azure-abonnement. Als u deze resources in de toekomst niet meer nodig hebt, verwijdert u deze om te voorkomen dat er meer kosten in rekening worden gebracht. Nadat u resource hebt verwijderd die specifiek is voor dit artikel, moet u terugkeren naar de andere zelfstudie voor de chat-app en de stappen voor opschonen volgen.
Ga terug naar het artikel van de chat-app om deze resources op te schonen.
Hulp vragen
Als u problemen ondervindt met het gebruik van deze laadster, meldt u het probleem aan bij de problemen van de opslagplaats.
Dit artikel bevat het proces voor het uitvoeren van belastingstests in een Python-chattoepassing met behulp van het RAG-patroon met Locust, een populair opensource-hulpprogramma voor belastingstests. Het primaire doel van belastingstests is ervoor te zorgen dat de verwachte belasting van uw chattoepassing niet hoger is dan het huidige TPM-quotum (Azure OpenAI Transactions Per Minute). Door gebruikersgedrag onder zware belasting te simuleren, kunt u potentiële knelpunten en schaalbaarheidsproblemen in uw toepassing identificeren. Dit proces is van cruciaal belang om ervoor te zorgen dat uw chattoepassing responsief en betrouwbaar blijft, zelfs wanneer u te maken hebt met een groot aantal gebruikersaanvragen.
Bekijk de demonstratievideo voor meer informatie over belastingstests van de chat-app.
Notitie
In dit artikel worden een of meer AI-app-sjablonen gebruikt als basis voor de voorbeelden en richtlijnen in het artikel. AI-app-sjablonen bieden u een goed onderhouden, eenvoudig te implementeren referentie-implementaties die u helpen een startpunt van hoge kwaliteit voor uw AI-apps te garanderen.
Vereisten
Azure-abonnement. Maak er gratis een
Toegang verleend tot Azure OpenAI in het gewenste Azure abonnement. Op dit moment wordt alleen toegang tot deze service verleend door een aanvraag te doen. U kunt toegang tot Azure OpenAI aanvragen door het formulier in te vullen op https://aka.ms/oai/access.
Dev-containers zijn beschikbaar voor beide voorbeelden, waarbij alle afhankelijkheden vereist zijn om dit artikel te voltooien. U kunt de dev-containers uitvoeren in GitHub Codespaces (in een browser) of lokaal met behulp van Visual Studio Code.
- U hebt alleen een GitHub-account nodig
Python-chat-app met RAG : als u uw chat-app hebt geconfigureerd voor het gebruik van een van de oplossingen voor taakverdeling, helpt dit artikel u bij het testen van de taakverdeling. De taakverdelingsoplossingen omvatten Azure Container Apps.
Voorbeeld-app loadtest openen
De belastingstest bevindt zich in de Python-chat-app-oplossing als een Locust-test. U moet terugkeren naar dat artikel, de oplossing implementeren en vervolgens die ontwikkelomgeving voor containerontwikkeling gebruiken om de volgende stappen uit te voeren.
De test uitvoeren
Installeer de afhankelijkheden voor de belastingtest.
python3 -m pip install -r requirements-dev.txtStart Locust, dat gebruikmaakt van het locust-testbestand: locustfile.py gevonden in de hoofdmap van de opslagplaats.
locustOpen de actieve locust-website, zoals
http://localhost:8089.Voer het volgende in de locust-website in.
Eigenschappen Weergegeven als Aantal gebruikers 20 Omhoog instellen 1 Host https://<YOUR-CHAT-APP-URL>.azurewebsites.net
Selecteer Swarm starten om de test te starten.
Selecteer Grafieken om de voortgang van de test te bekijken.
Resources opschonen
Wanneer u klaar bent met het testen van belasting, schoont u de resources op. De Azure-resources die in dit artikel zijn gemaakt, worden gefactureerd voor uw Azure-abonnement. Als u deze resources in de toekomst niet meer nodig hebt, verwijdert u deze om te voorkomen dat er meer kosten in rekening worden gebracht. Nadat u resource hebt verwijderd die specifiek is voor dit artikel, moet u terugkeren naar de andere zelfstudie voor de chat-app en de stappen voor opschonen volgen.
Ga terug naar het artikel van de chat-app om deze resources op te schonen.
Hulp vragen
Als u problemen ondervindt met het gebruik van deze laadster, meldt u het probleem aan bij de problemen van de opslagplaats.